多阶段深度学习单帧条纹投影三维测量方法

深度学习的应用简化了数字条纹投影三维测量的过程,在传统数字条纹投影三维测量技术条纹投影、相位计算、相位展开、相位深度映射的流程中,研究者们已经成功证明了前三个环节以及整个流程结合深度神经网络的可行性。基于深度学习,PDNet (Phase to Depth Network)神经网络模型被提出,用于绝对相位到深度的映射。结合多阶段深度学习单帧条纹投影三维测量方法,通过分阶段学习方式依次获得物体的绝对相位与深度信息。实验结果表明,PDNet能较准确地测量出物体的深度信息,深度学习应用于相位深度映射步骤具有可行性。并且,相较于直接从条纹图像到三维形貌的单阶段深度学习单帧条纹投影三维测量方法,多阶段深度学习单帧条纹投影三维测量方法可以明显提升测量精度,仅需单帧条纹图像输入即可获得毫米级测量精度,且能适应具有复杂形貌物体的三维测量。     

Phase unwrapping based on deep learning in light field fringe projection 3D measurement

Phase unwrapping is one of the key roles in fringe projection three-dimensional (3D) measurement technology. We propose a new method to achieve phase unwrapping in camera array light filed fringe projection 3D measurement based on deep learning. A multi-stream convolutional neural network (CNN) is proposed to learn the mapping relationship between camera array light filed wrapped phases and fringe orders of the expected central view, and is used to predict the fringe order to achieve the phase unwrapping. Experiments are performed on the light field fringe projection data generated by the simulated camera array fringe projection measurement system in Blender and by the experimental 3×3 camera array light field fringe projection system. The performance of the proposed network with light field wrapped phases using multiple directions as network input data is studied, and the advantages of phase unwrapping based on deep learning in light filed fringe projection are demonstrated.     

深度学习技术在条纹投影三维成像中的应用

条纹投影（结构光）三维成像是一种广泛使用的三维成像手段。近年来，集成式的三维传感器发展迅速，特别是基于结构光原理的三维传感器件已逐渐成为高端智能手机必不可少的一个重要传感单元。然而随着应用需求的不断增多，人们对条纹投影三维成像这项技术的效率、精度、稳定性等方面的要求也越来越高。同时近年来，深度学习技术的飞速发展已经为光学成像技术的发展开启了一扇新的大门，并且从这扇大门中人们注意到伴随着人工智能概念的引入，条纹投影技术的发展也正在经历着新的突破。首先简要介绍了条纹投影三维成像的基本理论。随后举例分析通过运用深度学习技术，起初基于物理模型的条纹投影技术也可成为一种在“数据”驱动下实现的技术，而且在这种情况下，它展现出了超越传统算法的潜力。最后从神经网络模型、训练数据、训练方法等方面，讨论该领域面临的挑战与未来的研究方向。     

深度学习精确相位获取的离焦投影三维测量

数字光栅投影三维测量技术,通过离焦投影二值光栅条纹,生成三维测量所需正弦光栅条纹,能够实现超高投影速度,在快速三维测量领域具有极大潜力。但是,二值光栅条纹不可避免地包含高次谐波,导致计算所得相位包含相位误差,进而降低了快速三维测量精度。提出了一种基于深度学习精确相位获取的离焦投影三维测量方法,通过构建含噪声相位到精确相位的端到端深度卷积神经网络,降低高次谐波引入的相位误差,进而实现快速精确三维测量。首先,以理论分析证明所提方法的可行性,并以仿真和实验进一步验证了所提方法的有效性和精确性。与现有快速三维测量方法相比,所提方法在保证测量速度的同时保证测量精度。     

Single-shot dense depth sensing with frequency-division multiplexing fringe projection

In structured light illumination (SLI) systems, multi-shot fringe patterns can reach higher precision than a single-shot fringe pattern. However, multi-shot methods are not suitable for dynamic scenes while single-shot ones are limited in the measurement accuracy. In this paper, a novel single-shot depth sensing method with frequency-division multiplexing (FDM) framework is proposed. To achieve a simultaneous casting, two fringe patterns with coprime periods are modulated into a single pattern. The method of fringe pattern extraction is similar to the demodulation in communication systems. The Gabor filter is adopted to get the phase information in the pattern, and the coprime theorem is used to solve the phase ambiguity. Quantitative and qualitative evaluations have proved that our method achieves higher accuracy in depth sensing compared with the Kinect v1 and ToF camera. In addition, benefiting from the single-shot pattern, our method is suitable for dynamic scenes.     

干涉图象相位解调算法的比较研究

干涉图象相位解调是信息光学处理的重要内容,其解调算法的复杂性、鲁棒性以及精度直接影响干涉法测量参数的实用性与精度。本文对三种相位解调算法1)基于傅立叶变换的分析算法(FTA)、2 )干涉图象分块多项式拟合迭代算法以及3 )基于小波变换的相位梯度解调算法的原理及性能进行了研究和比较。仿真实验表明,基于小波变换的相位梯度解调算法具有较高的精度和较好的鲁棒性。     

基于空间载波条纹图的相位提取方法研究进展

介绍了几种基于空间载波条纹图的相位提取方法,包括正弦拟合法、卷积法、傅里叶变换法和小波变换法,并对这些方法进行了综合比较.重点讨论了对傅里叶变换法的精度限制因素,并总结了对其改进的各种途径.     

Fast multiresolution motion estimation algorithms for wavelet-based scalable video coding

Motion estimation and compensation in wavelet domain have received much attention recently. To overcome the inefficiency of motion estimation in critically sampled wavelet domain, the low-band-shift (LBS) method and the complete-to-overcomplete discrete wavelet transform (CODWT) method are proposed for motion estimation in shift-invariant wavelet domain. However, a major disadvantage of these methods is the computational complexity. Although the CODWT method has reduced the computational complexity by skipping the inverse wavelet transform and making the direct link between the critically sampled subbands and the shift-invariant subbands, the full search algorithm (FSA) increases it. In this paper, we proposed two fast multiresolution motion estimation algorithms in shift-invariant wavelet domain: one is the wavelet matching error characteristic based partial distortion search (WMEC-PDS) algorithm, which improves computational efficiency of conventional partial distortion search algorithms while keeping the same estimate accuracy as the FSA; another is the anisotropic double cross search (ADCS) algorithm using multiresolution-spatio-temporal context, which provides a significantly computational load reduction while only introducing negligible distortion compared with the FSA. Due to the multiresolution nature, both the proposed approaches can be applied to wavelet-based scalable video coding. Experimental results show the superiority of the proposed fast motion estimation algorithms against other fast algorithms in terms of speed-up and quality.     

基于条纹投影的双目结构光成像系统

研究了一种 基于条纹投影 的双目三维成像方法,实现对表面有大梯度或非连续等复杂形貌物体的测量。计算机软件产 生的正弦条纹 经DLP投影仪投射到被测物体表面,左右两个CCD相机同时拍摄经被测物体表面调制的变形条 纹图。通过 四步相移和最佳条纹选择方法分别计算得到折叠相位图和展开相位图。建立绝对相位与深度 之间的关系, 得到两组不同坐标系下的三维点云数据。提出一种改进的最近点迭代(ICP)算法,在每一次 迭代过程中剔除 不可见点和噪声点,将两组点云数据转换到同一坐标系中。三维形貌测量实验证明了所研制 成像系统的可 行性和准确性。视场范围内的最大测量误差为0.072mm。     

基于学习的光栅图像噪声抑制方法

基于条纹投影的三维形貌测量广泛应用于工业制造、质量检测、生物医疗、航空航天等领域。然而在高速测量的场景下,由于光栅图像的采集过程曝光时间短,三维重建结果通常会受到较为严重的图像噪声干扰。近年来,深度学习技术在计算机视觉等领域得到了广泛应用,并且取得了巨大的成功。受此启发,提出了一种基于学习的光栅图像噪声抑制方法。首先构建了一个基于U-net的卷积神经网络。其次在训练过程中,构建的神经网络学习从含有噪声的条纹图像到对应高质量包裹相位之间的映射关系。当经过适当训练,该网络可从含有噪声的条纹图像中准确恢复相位信息。实验结果表明:针对离线的快速运动场景三维测量,该方法仅利用一幅光栅图像可恢复高精度的相位信息,且相位精度优于传统的三步相移方法。该方法可为提升运动高速场景三维测量的精度提供切实可靠的解决方案。     

单幅干涉条纹图相位提取新算法

散斑干涉测量中,得到的干涉条纹图必须通过提取当中的真实相位才能够得出所测的物理量。从干涉条纹图中提取相位常用的相移法,过程复杂、对环境要求较高,而且要通过解包裹运算才能求得真实相位,容易产生误差。通过希尔伯特变换,基于离散余弦求解泊松方程的方法,提出从单幅干涉条纹中提取真实相位的新算法。通过实验分析,本文提出的新方法能够有效地从单幅干涉条纹中提取真实相位,并且在现实情况中,本文提出的新方法从单幅干涉条纹图中提取相位误差小于相移法,而且运行速度快,为从干涉条纹图中提取真实相位提供了新的参考。     

基于经验模态分解法的光学条纹图像处理研究进展

条纹图处理是光学测量技术中一个非常重要的步骤。从早期的经典傅里叶变换,到随后引入局部分析能力的窗口傅里叶变换、小波变换、S变换,再到近些年变分模型分解、经验模态分解(EMD)等,条纹图处理技术经历了长足的研究和发展历程。在这些优秀的技术中,EMD算法由于具有较强的自适应性和复杂信号处理能力而在近些年受到一定的关注。文中结合条纹图处理的关键内容和发展历程,重点分析和总结了EMD算法及其应用于条纹图处理的关键问题和研究进展,指出了该技术尚存的技术难点和主要问题,为相关技术的发展提供了理论和实践的参考。     

基于深度学习的散斑投影轮廓术

针对传统的单幅散斑图像匹配算法测量精度低且无法测量复杂面型物体等问题,提出了一种基于深度学习的散斑投影轮廓术,即通过深度学习的方法实现散斑图像的逐像素匹配。设计利用孪生卷积神经网络结构,将目标散斑图像和参考散斑图像以图像块的形式输入神经网络。通过卷积层运算提取散斑图像块的特征信息,进而将子网络得到的特征信息融合为两个图像块之间的匹配系数,以获得散斑图像的视差数据,并最终可将视差数据转化为物体的三维信息。实验结果表明,该方法可以通过单幅散斑图像实现精度约为290 μm的三维轮廓测量。     

基于非下采样轮廓小波变换的图像去噪

针对采用下采样滤波器结构的轮廓波、轮廓小波在图像去噪过程中会引入伪吉布斯现象,利用小波变换(WT)和非下采样方向滤波器组(NDFB)构造了一种新的多尺度、多分辨率图像的非下采样轮廓小波变换(NWCT)。WT去除了拉普拉斯金字塔滤波器(LPF)的计算冗余,NDFB保证了该变换具有平移不变性。为了验证该变换的有效性,对其进行了图像去噪实验。实验结果表明,所提出方法能获得比WT、轮廓波变换(CT)、轮廓小波变换(WCT)更高的峰值信噪比(PSNR),并且能够很好地抑制伪吉布斯现象。     

A fuzzy convolutional neural network for enhancing multi-focus image fusion

The images captured by the cameras contain distortions, misclassified pixels, uncertainties and poor contrast. Therefore, the multi-focus image fusion (MFIF) integrates various input image features to produce a single fused image using all its objects in focus. However, it is computationally complex, which leads to inconsistency. Hence, the MFIF method is employed to generate the fused image by integrating the fuzzy sets (FS) and convolutional neural network (CNN) to detect focused and unfocused parts in both source images. It is also compared with other competing six MFIF methods like Neutrosophic set based stationary wavelet transform (NSWT), guided filters, CNN, ensemble CNN, image fusion-based CNN and deep regression pair learning (DRPL). Benchmark datasets validate the superiority of the proposed FCNN method in terms of four non-reference assessment measures having mutual information (1.1678), edge information (0.7281), structural similarity (0.9850) and human perception (0.8020) and two reference metrics such as Peak signal-to-noise ratio (57.23) and root mean square error (1.814).     

基于小波变换的单帧干涉图象分析

本文提出了利用复数小波变换对干涉图象相位进行分块线性拟合的一种新颖的单帧干涉图象分析方法。首先对干涉图象进行适当的分块,然后通过线性相位模型对每个子块的相位进行拟合;拟合系数通过干涉图象分块的小波变换与最小均方误差估计方法获得。该方法克服了傅立叶分析方法的相位去包裹过程以及迭代算法计算量大的缺点。仿真实验表明该方法具有较高的精度和可行性。     

基于五点法的单幅光学干涉条纹相位提取

针对单幅干涉条纹相位提取问题,构建了一种快速、高精度相位提取算法。该算法即中心五点法利用单幅线阵干涉条纹五点计算相位,即最大点、最大点两侧最近极小点以及上述三点间两中间点。数值模拟结果表明,无论有无噪声,相比FFT法和两次希尔伯特法,中心五点法结果与相移干涉法的一致性都更好。同两次希尔伯特相位提取算法比,中心五点法过程数据位数扩展少；同FFT法比,不涉及乘法器,无需存储大量数据。此外,算法无需去除干涉条纹直流分量,进一步简化了计算量。实验测试结果表明用中心五点法处理去直流分量前后单幅线阵干涉条纹,相位结果精度仅相差约9.55×10-5λ；相位解算结果同FFT法相对分辨率一致,同两次希尔伯特变换算法有约2.26 %的区别；利用FPGA技术实现了中心五点法、FFT法和希尔伯特变换法相位解算,前者资源消耗比后两者分别节省27 %和22 %,速度分别比后者快469 %和5 %。Abstract:关键词:Keywords:     

条纹投影动态三维表面成像技术综述

对条纹投影动态三维表面成像技术进行了总结,分析了典型方案的特点。首先介绍了该技术的基本原理,包括系统基本结构、三维表面成像原理及相移法和傅立叶变换法这两种典型的相位提取方法。接着介绍了动态成像方案,包括高速投影方案和采用速度相对低的相机进行动态三维表面成像的方案。然后介绍了动态三维成像中绝对相位获取方法,主要是模拟和数字编码法及区域统计特性编码法。最后介绍了高精度动态相位测量方案。     

激光干涉粒子成像乙醇喷雾场粒子尺寸和粒度分布测量

研究了一种基于激光干涉粒子成像(IPI)技术的粒子尺寸测量方法。该方法是利用粒子散射光在成像系统离焦像面上所形成的干涉条纹图,采用小波变换和模板匹配提取条纹图像中心,利用傅里叶变换和修正Rife方法提取干涉条纹间距/条纹数,进而计算得到粒子尺寸大小,其测量精度可达到亚像素精度。对51.1μm的标准粒子进行了测量,粒径测量值为(49.79±0.41)μm,绝对误差1.31μm,并应用于乙醇雾场粒子测量,给出了沿x方向和y方向不同测量点处的瞬时雾场粒子的粒径分布、平均粒径以及索太尔平均直径(SMD)。     

区间估计的FWNN及其区间学习算法

本文提出了一种基于子波的模糊神经网络，用以处理数据的区间估计，其网络结构基于模糊化的子波神经网络，在学习算法中，我们引入了区间学习算法的概念，使训练后的网络的输出为一个区间，其具体实现采用ＬＰ法，它同时提供了确定子波系数的另一种方法。