基于散斑相关的宽视场成像技术研究进展（特邀）

散射成像技术因具备透过生物组织等散射介质后清晰成像的能力而受到广泛关注。近年来,基于散斑自相关的成像方法以其非接触、无需先验信息且能够单帧成像的特点得到迅速发展。然而,散斑自相关成像受光学记忆效应的限制。当多个目标之间的距离在记忆效应范围之外时,基于散斑自相关的成像方法会导致目标自相关信息在相关域发生混叠,导致成像严重退化。文中在光学记忆效应及散斑自相关成像基本原理的基础上,首先介绍了基于散斑自相关和与散斑相关成像有关的其他散射成像技术。接着介绍了拓展光学记忆效应的主要技术及相关应用。最后总结了基于散斑相关的宽视场成像技术目前存在的问题,并对未来的发展应用进行了展望。     

计算光学成像在散射中的应用

自然界中普遍存在光散射现象。如何通过散射介质实现高分辨率成像是光学成像领域亟待解决的重要问题。在早期研究中,多重光散射被认为是雾霾、云层、生物组织等复杂介质成像中的障碍。然而,最近研究表明,散射并不是成像的基本限制:光子在经过多次散射后仍然包含了大量信息。为了深入了解新兴的计算光学成像是如何解决多重光散射问题的,文中主要介绍了波前整形、散斑相关及深度学习等方法在散射成像领域中的研究进展。最新的研究成果表明:波前整形可以实现动态散射介质内部的高分辨率快速聚焦;散斑相关能够利用单帧散斑实现非侵入式成像;基于深度学习的成像技术能恢复出隐藏在光学厚度为13.4的白色聚苯乙烯平板背后的物体。     

基于深度学习实现透过浑浊介质图像重构（特邀）

不同于毛玻璃等固态散射介质静止不变的特点,浑浊介质对光束的散射作用同时体现在空间及时间上,当浑浊介质动态变化时,大多数的传统散射成像方法失效。针对以上问题,文中采用了一种基于深度学习恢复散斑图像的方法,研究了浑浊介质中,不同散射介质及散射介质浓度不同的条件下,神经网络的图像恢复效果,并利用不同浓度散射介质获得的散斑图像混合训练测试神经网络的泛化能力。实验结果表明,在不同散射介质及散射介质浓度不同的条件下,该网络均能够根据散斑图像获得较高保真度的恢复图像,且在不同浓度散射介质的散斑图像混合训练的情况下,网络泛化能力及鲁棒性强。     

深度学习下的散射成像:物理与数据联合建模优化（特邀）

为了利用被散射的光信号实现成像，越来越多的散射成像方法被提出。其中深度学习以其强大的数据表征和信息提取能力在散射成像领域发挥着重要的作用。相较于传统散射成像方法，基于深度学习的散射成像方法在成像速度、质量、信息维度等方面都有着巨大的优势。但是，模型训练、模型泛化等问题也制约着该方法的发展。因此，越来越多的研究将物理过程与基于数据驱动的方法进行联合建模，利用物理先验指导神经网络优化。相较于单纯的数据驱动方法而言，物理-数据联合建模的方法对数据量、神经网络参数量的依赖程度大大降低，在保证成像质量的前提下有效降低数据获取难度及对实验环境的要求。联合建模优化的方式实现了介质、目标类型等散射成像中关键节点的泛化。同时在训练过程方面，实现了从有监督到半监督再到无监督的训练优化过程迭代，不同模型和监督方式的提出大大提升了基于深度学习方法的训练效率，在降低对硬件和时间成本的同时，提升了基于深度学习的散射成像方法在非实验室场景应用的可能性。     

基于光学传输矩阵实现透过散射介质的动态目标成像

提出了一种实现动态目标散射成像的方法。通过四步相移干涉法测量得到光学传输矩阵,数值仿真了相位共轭、Tikhnov正则化和全变分最小化三种重建算法对透过散射介质的不同动态目标的跟踪与重建,并搭建实验装置,验证了此方法的可行性,分析比较了三种算法的重建能力。结果表明,全变分最小化算法的重建效果最好。该方法为生物医学领域中透过散射介质对动态目标成像提供了新思路。     

关于散射成像研究现状的一些思考（特邀）

透过散射介质的光学成像是人们长期追求但一直未能真正解决的问题。研究人员提出并发展了各种各样的方法和技术,从最早只利用弹道光的时间门和空间门技术,到后来利用了散射光的波前整形、散射矩阵测量和散斑自相关成像,再到近年热门的深度学习方法。尽管这些方法和技术都经过了毛玻璃、氧化锌薄膜、生物组织切片等薄散射介质的原理性验证,但随着介质厚度增加,所有方法和技术都迅速失效。厚度一直是难以克服的瓶颈。这篇评论归纳对比了散射成像的主要方法和技术,重新审视了经过散射介质波前被完全随机化等主流观点,分析了现有方法和技术无法透过厚散射介质成像的原因,并提出了未来有望真正解决问题的研究方向。     

透过薄散射介质的目标事件分类方法

现有的通过散射介质的目标分析主要针对静止目标，同时，环境或外部亮度条件对目标分析结果有着至关重要的影响，这就对图像采集设备的动态范围、时间分辨率等性能提出了极高要求。事件相机由于其高动态范围、高时间分辨率与低延迟等特点为应对上述问题提供了新的解决思路。本文针对低照度情况下运动目标透过薄散射介质探测效果差的问题，利用事件相机开展了透过薄散射介质的目标探测的研究。采用V2E算法利用灰度散斑制备“事件散斑”数据集，并采用ResNet分类网络进行目标分类，获得了94.27%的十分类精确率。实验结果表明，使用事件流在分析通过散射介质的目标信息方面有着巨大的发展潜力。     

基于水体退化函数补偿方法的水下傅里叶单像素成像

水下光学成像的探测环境相对复杂。前向散射、后向散射和吸收极大地降低了水下光学成像的成像质量。单像素成像因其较高的抗噪声性而被认为是一种适合于水下光学成像的技术。对于水下单像素成像系统,目前存在的问题是需要采用结构光进行照明,当散斑在水下传播时,前向散射会使预先生成的散斑发生畸变。因此,重建结果的分辨率降低,重建结果模糊不清。为了减小前向散射对单像素成像系统的影响,对傅里叶单像素成像的重建过程进行改进。在空间谱域傅里叶单像素成像系统的水下退化函数进行估计,然后根据估计的退化函数实现目标空间谱反演。最后利用傅里叶变换对反演后的目标空间谱进行变换,最终获得目标的强度图像。理论分析和实验结果证明了该方法的有效性。利用该方法,能够有效地减小前向散射对成像质量的影响,提高了水下傅里叶单像元成像的重建结果质量。     

一种结合Transformer和CNN的散斑图复原网络

近年来,深度学习已成功应用于计算成像领域,并取得了显著的成果。目前,实现激光透过散射介质后的图像复原技术成为热门的研究课题,本文提出了一种包含双编码器的深度学习网络模型Trans＿CNN,从散斑图复原目标物图像,该网络融合了来自Transformer编码器和卷积神经网络编码器的信息,并将融合的编码信息传递给解码器获得复原结果,从散斑图中最大程度地学习全局特征和局部特征,从而更好地从散斑图复原出目标图像。实验结果证明Trans＿CNN网络在复原散斑图像方面具有更好的性能和复原图像质量较好。     

涡旋光束经过散射介质产生散斑的理论和实验研究

研究了涡旋光束经过散射介质后形成的散斑特性 ．运用概率统计理论和光束传输理论,模 拟了不同拓扑电荷数的涡旋光束经过散射介质后形成的散斑,以及散射介质颗粒尺度对散斑 特性的影响。模拟结 果表明,随着涡旋光束拓扑电荷数的增大和散射介质颗粒尺度减小,形成 的散斑颗粒尺寸逐渐减小。实验上,利用螺旋相位板(SPP)产生涡旋光束,使其透过散射介 质后形成散斑。实验结果 表明,涡旋光束经过散射介质后,随着散射介质颗粒尺度减小,形成的散斑对比度逐渐增大 ;随着涡旋光束拓 扑电荷数的增大或散射介质颗粒的减小,所形成散斑的尺寸减小。实验结果与模拟结果 相吻合。     

YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

浴帘效应的模型发展及应用扩展（特邀）

散斑（自）相关和波前调制等成像技术是克服非均匀介质散射影响的高效并重要的光学成像手段。而该类技术依赖于光学记忆效应,因此视场有限且动态介质会退化其成像质量。浴帘效应是一种常见且不受散射介质动态变化和视场限制的效应。近年来,随着多种计算成像技术的发展,浴帘效应也被融合到其他克服散射的成像恢复技术中并应用于不同散射成像场合,已经展现出相较传统散射成像技术的独特优势。文中概括浴帘效应的物理模型演变,从调制传递函数出发,综述光学厚度、孔径大小等因素对浴帘效应的影响,介绍浴帘效应和傅里叶域浴帘效应在散射成像领域的应用。讨论傅里叶域浴帘效应与其他基于相位迭代算法成像技术的区别与联系,展望其与其他计算成像技术结合的可能。     

双孔散斑照相用于物体通过漫射介质成象

物体通过大雾等漫射介质的成象问题一直吸引众多研究者的注意。光学全息技术、光栅干涉仪技术已经显示出在实验室条件下的有效性。但由于所使用的设备比较复杂，很容易受外界震动的干扰，使其应用场所受到很大制约。本文提出了使用双孔散斑照相技术使物体通过漫射介质成象。用这种技术得到的实验结果显示这项技术在象的对比度方面比直接得到的象有很大提高。同时所使用的设备简单，受外界震动的影响小，因而具有很大的实用价值。     

Quasi-ray Gaussian beam algorithm for time-harmonic two-dimensionalscattering by moderately rough interfaces

Gabor-based Gaussian beam (GB) algorithms, in conjunction with the complex source point (CSP) method for generating beam-like wave objects, have found application in a variety of high-frequency wave propagation and diffraction scenarios. Of special interest for efficient numerical implementation is the noncollimated narrow-waisted species of GB, which reduces the computationally intensive complex ray tracing for collimated GB propagation and scattering to quasi-real ray tracing, without the failure of strictly real ray field algorithms in caustic and other transition regions. The Gabor-based narrow-waisted CSP-GB method has been applied previously to two-dimensional (2-D) propagation from extended nonfocused and focused aperture distributions through arbitrarily curved 2-D layered environments. In this 2-D study the method is applied to aperture-excited field scattering from, and transmission through, a moderately rough interface between two dielectric media. It is shown that the algorithm produces accurate and computationally efficient solutions for this complex propagation environment, over a range of calibrated combinations of the problem parameters. One of the potential uses of the algorithm is as an efficient forward solver for inverse problems concerned with profile and object reconstruction     

宽视场远距离光学散射成像技术研究进展

散射体内部颗粒分布及折射率分布的不均匀对经过散射体的携带目标信息的光子传播造成干扰,导致直接探测的图像失真。针对该问题,发展了众多的光学散射成像技术,实现了部分特定散射介质条件下的目标成像。介绍了基于弹道光子优化采集的部分传统散射成像技术的原理,还介绍了最新发展的计算散射成像技术的基本原理与技术特点。计算散射成像技术正朝着充分利用大光学厚度散射介质引起的非弹道光子的方向发展,其中基于光学记忆效应和相位恢复的算法、相干衍射成像、叠层迭代引擎等计算成像技术可能适应厚散射介质动态变化、目标非稀疏性等特点,有望应用于宽视场、远距离散射成像领域。     

基于光电混合神经网络的单像素快速运动物体分类（特邀）

对快速运动物体进行持续分类具有重要的应用前景。受限于有限的数据传输带宽和存储空间,目前基于场景图像的物体分类技术难以实现对运动物体的持续分类。受到单像素成像在时间上累积获取信息这一方式的启发,结合深度学习,提出了一种基于光电混合神经网络的单像素快速运动物体分类方法。该方法不需要获取目标物体的图像,利用对光场的空间调制和单像素测量,直接获取用于分类的特征信息,从而避免了在持续分类过程中基于图像分类方法产生的海量图像数据。单像素测量过程作为神经网络的一部分,将光计算与电子计算无缝衔接起来,构建了一个光电混合神经网络用于对物体的分类。通过对快速旋转圆盘上的手写数字进行持续分类实验测试,证明了提出的方法在分类快速运动的手写数字方面的能力,超过了人眼视觉。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。