基于数字孪生与迁移学习的结构光条纹图像分析（特邀）

近年来，深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中，通过训练深度学习网络，可从单幅条纹图像中恢复高精度的相位信息。然而，为了训练神经网络模型，通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先，建立数字孪生条纹投影系统，并利用域随机化技术对虚拟照明光栅进行增强，使用计算机进行虚拟扫描，生成大量仿真光栅条纹图像；其次，利用仿真光栅图像对U-Net神经网络进行预训练；最后，引入迁移学习，采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性，提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明，采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果，神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练，所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。