基于U-Net网络的结构光三维测量术

结构光条纹投影是广泛应用的一种三维测量技术.虽然该技术经过几十年的研究和发展,但如何从单幅图像中快速获取物体三维形貌仍然是没有得到很好解决的难题之一.近几年,深度学习方法广泛应用于计算机视觉和图像处理领域.提出一种基于U-Net网络的结构光三维测量方法.该方法直接从单个变形条纹图中获取物体表面的深度信息,实现三维形貌的快速测量.仿真和实际实验数据证明了所提方法的有效性.由于仅从一幅变形条纹中计算得到三维数据,所提方法可应用于动态物体三维面形的测量.     

基于数字孪生与迁移学习的结构光条纹图像分析（特邀）

近年来,深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息。然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性,提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明,采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。     

单幅干涉条纹图的高精度波面重建技术

结合莫尔条纹、傅里叶变换和数字相移技术实现了对单幅干涉条纹图的高精度相位计算和波面重建.首先,用计算机生成与被处理干涉条纹频率相近的数字相移条纹图,与实际干涉条纹图叠加得到相移莫尔条纹图;然后,利用傅里叶变换、双频滤波、傅里叶反变换和相移技术得到干涉条纹图的相位数据;最后利用波面拟合技术重构原干涉条纹图对应的波面形状.研究结果表明,该技术不仅消除了干涉仪硬件相移产生的非线性误差和滤波时的频谱移中误差,高精度获得了单幅干涉条纹图对应的波前,而且简化了系统的机械结构.同时,对环境的要求明显降低,特别适用于生产现场的检测.     

结构光三维成像技术

近年来,结构光三维成像技术被深入研究和广泛应用,通常采用的技术方案是投影一个载频条纹到被测物体表面,利用成像设备从另一个角度记录受被测物体高度调制的变形条纹图像,再从获取的变形条纹图中数字解调重建出被测物体的三维数字像。与全息三维成像对应,结构光三维成像过程也是两步成像过程,先获取物体被结构光条纹调制的二维图像,再从包含变形条纹的二维像中通过数字重建方法得到物体的三维数字像。主要回顾了本课题组在基于结构光三维成像技术研究中的进展,讨论了基于傅里叶条纹分析、相移条纹分析和动态过程三维成像的方法,给出了相关应用的实验结果,分析了结构光三维成像的特点以及该领域今后的发展动向。     

深度学习技术在条纹投影三维成像中的应用

条纹投影（结构光）三维成像是一种广泛使用的三维成像手段。近年来，集成式的三维传感器发展迅速，特别是基于结构光原理的三维传感器件已逐渐成为高端智能手机必不可少的一个重要传感单元。然而随着应用需求的不断增多，人们对条纹投影三维成像这项技术的效率、精度、稳定性等方面的要求也越来越高。同时近年来，深度学习技术的飞速发展已经为光学成像技术的发展开启了一扇新的大门，并且从这扇大门中人们注意到伴随着人工智能概念的引入，条纹投影技术的发展也正在经历着新的突破。首先简要介绍了条纹投影三维成像的基本理论。随后举例分析通过运用深度学习技术，起初基于物理模型的条纹投影技术也可成为一种在“数据”驱动下实现的技术，而且在这种情况下，它展现出了超越传统算法的潜力。最后从神经网络模型、训练数据、训练方法等方面，讨论该领域面临的挑战与未来的研究方向。     

结构光三维传感器测量网相关技术

针对大尺寸复杂物体的全自动、高精度、大数据密度、真彩色三维成像与测量,基于条纹结构光三维传感器,阐述了多节点三维传感器测量网络相关技术。涉及单三维传感器的条纹分析和相位重建、系统标定和三维重建两大关键技术点分析,多节点三维传感器测量网络的构建与优化、多节点三维传感器测量网络的标定、测量三维深度数据与纹理数据的匹配与融合等相关技术。并给出了部分实验原型机及实验结果。     

基于深度学习的电子散斑干涉条纹图相位恢复

针对单幅电子散斑干涉条纹图的相位恢复问题，以U-Net为基础网络，融合子像素卷积模块和结构化特征增强模块，提出了USS-Net，实现对单幅条纹图端到端的相位恢复。首先改进上采样方式，采用子像素卷积使网络能学习到更多的条纹细节信息，同时降低反卷积零值填充对梯度计算的影响。其次在编码部分改进特征融合方式，采用结构化特征增强模块，充分融合不同尺度的特征信息，解决条纹疏密程度不均导致特征提取不佳的问题，进而提升对单个像素点的分割准确性。建立了ESPI条纹-相位仿真和实验数据集，对USS-Net模型进行测试与分析，验证所提方法的有效性。所提方法克服了传统相位恢复方法过程繁琐、容易受噪声干扰等缺点，有效提高了单幅条纹图相位恢复的准确率。     

基于连续相位稠密匹配的结构光三维重建优化方法

提出了一种基于连续相位稠密匹配的结构光三维（3D）重建优化方法。利用标定的相机阵列获取投影的结构光变形条纹,利用格雷码划分相位级次,提出等相位约束条件,实现不同相机图像之间的稠密匹配;然后利用空间3D点与相机阵列之间的投影关系,建立各相机位姿与重建点云全局优化模型;利用观测值反向投影的欧式距离建立非线性优化的目标函数,并将此优化问题转为李代数上的图优化模型进行迭代求解。利用公开数据集和实测数据进行实验,结果表明,所提方法可以实现360°无遮挡的3D重建,且重建精度相对传统无优化结构光方式提高了6.94%,相机位姿精度提高了9.77%。所提方法相比参考方法对相机畸变标定精度要求低,并可用于模型点云的非刚体融合。同时由于相机阵列的使用,重建过程中目标物体无需多次旋转,使得物体的3D重建更加方便。     

基于自学习稀疏先验的三维SAR成像方法

合成孔径雷达三维成像技术(3D SAR)能通过孔径维度扩展实现三维成像能力,但数据维度大、系统实现难、成像分辨率低。压缩感知稀疏重构技术在简化3D SAR系统、提升成像质量等方面展现出巨大潜力,但面临计算复杂度高、参数设置困难、弱稀疏场景适应差等新问题,制约了其实际应用。针对上述问题,该文结合卷积神经网络的特征学习及迭代算法的深度展开理论,提出了基于自学习稀疏先验的3D SAR成像方法。首先,探讨了常规3D SAR稀疏成像中矩阵向量线性表征模型的局限性,引入成像算子提升成像算法处理效率。其次,讨论了迭代算法映射网络的深度展开模型和实现方式,包括网络拓扑结构设计、算法参数的优化约束及网络的训练方法。最后,通过仿真数据和地面实验,证明了所提方法在提升成像精度的同时,其运行时间较传统稀疏成像算法降低一个数量级。      

基于方向感知网络的场景偏振三维成像技术（特邀）

针对场景偏振三维成像中光照不均匀、色彩、材料复杂和大视场下观测方向变化等原因造成的偏振法线梯度不准确和真实三维信息获取困难的问题,提出一种基于方向感知卷积神经网络的场景偏振三维成像新方法。首先,搭建具有方向感知能力的场景深度估计网络结构;其次,利用卷积神经网络所估计的场景深度对偏振法线梯度进行校正;最后,利用校正后的梯度通过基于梯度的积分算法进行三维重建。实验结果表明,所提方法解决了偏振固有的方位角模糊,提高了在光照不均匀、大视场范围场景条件下获取的法线梯度的准确性,最终在恢复场景真实三维形状的同时保留了丰富的纹理细节信息。实验结果证明了所提技术的有效性与优越性。     

深度学习技术在光度立体三维重建中的应用

光度立体三维（3D）重建是机器视觉和光度学领域中研究的热点问题，由于设备简单、成本低廉、分辨率高，得到广泛的应用。近年来，伴随着人工智能与深度学习技术的蓬勃发展，光度立体技术的发展进入一个崭新的时代。对深度学习技术在光度立体3D重建中的研究进展进行综述。首先，介绍光度学3D重建的研究背景和基本原理；其次，对光度立体3D重建方法的类型进行概述；接着，简要介绍常用的合成与实际拍摄数据集；然后，详细阐述深度学习技术在光度立体3D重建中的应用，它将基于物理模型的光度立体技术变为一种“数据驱动”下的技术，从而实现较高的预测精度；最后，进行分析与总结，并指出深度学习技术在光度立体领域所面临的挑战以及未来的研究趋势。     

深度学习精确相位获取的离焦投影三维测量

数字光栅投影三维测量技术,通过离焦投影二值光栅条纹,生成三维测量所需正弦光栅条纹,能够实现超高投影速度,在快速三维测量领域具有极大潜力。但是,二值光栅条纹不可避免地包含高次谐波,导致计算所得相位包含相位误差,进而降低了快速三维测量精度。提出了一种基于深度学习精确相位获取的离焦投影三维测量方法,通过构建含噪声相位到精确相位的端到端深度卷积神经网络,降低高次谐波引入的相位误差,进而实现快速精确三维测量。首先,以理论分析证明所提方法的可行性,并以仿真和实验进一步验证了所提方法的有效性和精确性。与现有快速三维测量方法相比,所提方法在保证测量速度的同时保证测量精度。     

三维小视场成像系统

研究了一套投影正弦光栅条纹,测量表面有大梯度或非连续结构等复杂形貌微小物体的三维测量系统。针对所测量物体大小,通过将体视显微镜、相机和投影仪组合,研制了具有较小视场的条纹投影系统。软件产生具有最佳条纹个数的三组正弦条纹图,每组包含四个彼此间有90相位移动的条纹。根据所测量物体表面颜色和纹理特性,选择投影系统的合适颜色通道投射软件所产生的正弦条纹序列到被测物表面。相机从另一角度获取经被测表面调制的变形条纹图。通过四步相移和最佳条纹选择方法分别计算得到折叠相位图和展开相位图。利用水平精密移动台定位一水平白板到几个已知位置,建立绝对相位和深度之间的关系,获得系统深度方向的数据。微小物体的三维形貌测量实验证明了所研制成像系统的可行性和准确性。     

无深度反转的集成成像一次拍摄方法

针对传统集成成像显示技术存在深度反转,需要进行二次成像的问题,提出一种无深度反转的集成成像一次拍摄方法。该方法采用离轴平行式集成成像拍摄结构对三维(3D)场景进行拍摄,通过设计合理的拍摄参数,重排图像元,生成无梯形畸变的图像阵列(EIA),直接用于集成成像显示,解决了传统集成成像的深度反转问题,避免了复杂且繁琐的图像校正和二次成像过程,可快速生成具有正确深度信息的EIA。该方法所获取的EIA在集成成像3D显示实验中重建的3D图像具有正确的深度和逼真清晰的立体显示效果,验证了本文方法的正确性。     

基于相位映射的三维主动视觉标定

通过在结构光发射单元和成像单元间施加几何约束条件,建立统一的坐标系.利用条纹投影和相位映射技术,构造了将编码相位图映射为物体的三维空间坐标的数学模型,进而获得深度图像空间坐标的计算值,然后将其与物体空间的三维标定数据基准进行比较,建立目标函数为误差平方和最小的非线性优化方程.两步法迭代求解这个优化方程,最终获得三维系统的结构参数.实验结果证明了本文提出的三维成像系统标定理论和方法的有效性.     

基于多编码器和Residual-Transformer的点云补全网络

点云数据具有无序和稀疏的特点。通过不完整点云数据恢复丢失的三维几何形状的3D点云补全任务是3D视觉技术中一个具有挑战性的问题。现有的3D点云补全网络一般都通过编码器-解码器（Encoder-Decoder）模型直接从部分点云预测完整的点云形状，这会干扰原始部分点云，引入噪声，导致几何位移损失。因此提出一个端到端的网络模型，集中生成平滑和分布均匀的点云对象。所提网络模型主要包含三部分：缺失点云预测、点云融合和点云平滑。第一个模块主要通过多编码器从残缺的点云对象提取局部和全局信息，预测缺失几何部分。第二个模块通过采样算法融合点云。第三个模块基于Residual-Transformer (RT)预测点位移，在避免破坏原始输入点云的空间结构下，可以使点分布得更加均匀。在基准数据集Shapenet-Part上，大量的实验结果表明，所提网络在3D形状补全方面取得了更好的量化结果和更好的视觉效果。     

基于U＿net网络的单幅全息图重建方法研究

全息重建方法是全息成像技术和全息术的一个核心部分。本文提出了一种基于U_net网络的单幅全息图重建方法。首先使用基于马赫-增德尔干涉仪的光路结构全息实验成像系统记录全息图,将得到的全息图作为训练集,然后采用训练集对U_net网络进行训练,在经过训练后得到全息图的数学模型,用该数学模型便可以对全息图进行重建。仿真和实验结果表明,基于U_net网络的单幅全息图重建方法计算速度更快还只需要更少的测量数据,并且仅使用单幅全息图就可以重建图像,且重建图像没有直流项和孪生项的干扰。     

基于双域神经网络的稀疏视角光声图像重建

光声计算断层成像(PACT)是近年来迅速发展的一种无损生物医学成像技术,在生物医学领域有着较高的应用价值。为了获得高质量的光声图像,成像系统的信号采集装置需要配备高密度的阵列探测器。但在实际应用中,由于经济成本、制造工艺及成像时间等因素的限制,探测器的排布往往较为稀疏,难以实现稳定重建,导致重建图像中出现条纹伪影。为了解决这一问题,本文提出一种基于双域神经网络的PACT图像重建算法。该算法主要包含三个模块：数据域网络、反投影层和图像域网络,其中数据域网络和图像域网络可分别对光声数据和光声图像进行增强,以提升图像质量。为了对网络进行训练和测试,构建了一个血管仿真数据集和一个小鼠活体试验数据集。研究结果表明,所提算法可以有效地抑制条纹伪影,提升图像质量,并且重建性能优于其他重建算法。     

结合条纹和伪随机结构光投影的三维成像

结合条纹和随机图案投影的优点,提出了一种基于条纹投影相移和伪随机图案相结合的三维成像方法。所提方法仅需投影四幅等步相移的正弦条纹图和一幅伪随机结构光图案,结合极线约束条件和图像相关技术,建立左右两相机折叠相位的相互对应关系,在相互对应的折叠相位中,用相位值作为编码来实现双目对应匹配,故不需要对折叠相位进行展开便可实现三维重建。实验结果表明,与传统方法相比,所提方法减少了图像序列采集时间,其三维重建结果的致密性、稳健性以及精度都未受影响。     

多场景下结构光三维测量激光中心线提取方法

结构光三维测量技术是获得物体三维信息的重要途径,激光条纹中心线提取是影响结构光三维测量精度和速度的关键因素。提出了一种适用于多场景下结构光三维测量的激光条纹中心线提取方法,充分利用图像中激光条纹的几何信息和相关性生成自适应卷积模板,实现激光条纹图像的滤波和增强处理,使激光条纹横截面灰度值满足高斯分布;经灰度加权法实现激光条纹中心线的亚像素精度定位与提取。实验测试结果表明:该方法可实现多场景下形状、材质各异物体的条纹中心线提取,有效克服了激光条纹亮度分布不均、噪声干扰等影响,单幅图像处理时间缩短为0.107 s且相对误差减少到0.076 5%,有效提高了激光条纹中心线的提取精度和速度。