高分辨率多视点动态全息3D显示

提出了一种高分辨率多视点动态全息3D显示方法,观看视点位置变化时,观看者能够看到连续变化的3D效果。在进行全息图计算时,首先根据针孔阵列投影模型,渲染3D动画中每一帧3D模型的光场图像序列;然后从已渲染的多组光场图像序列中抽取对应视角信息的光场图像进行融合,得到融合后的动态光场图像序列;在进行全息图编码时,以动态光场图像序列中的一帧图像作为物光振幅,以来自于针孔的发散球面波的相位作为物光相位,引入平面参考光进行编码,得到一个单元全息图。由于每个单元全息图的计算是相互独立的,因此在计算过程中使用并行加速计算,实现了尺寸为32 mm×32 mm、分辨率为100000 pixel×100000 pixel的高分辨率全息图,其光场图像融合和全息编码的时间仅需27 min。光学再现结果证明了该方法的可行性。所提出的高分辨率多视点动态全息3D显示方法在全息包装和3D广告等领域具有广泛的应用前景。     

主动光场精确深度计算方法

提出一种精确、稳健的主动光场深度成像方法。利用结构光照明为场景提供编码信息,光场成像同时记录光线的方向信息和受深度调制的相位信息,相位编码信息可为构建光场深度线索提供强度不敏感的匹配特征,进而精确计算场景深度。实验结果表明,相比于被动方法,所提的主动方法能够获得更高质量的深度效果,实现精确、稳健的光场深度计算。     

光场相机成像模型及参数标定方法综述

光场相机成像模型与参数标定方法是拓展光场应用的理论基础和关键环节,已成为计算光场领域的研究热点。不同于传统相机的成像原理,光场相机通过新颖的光学系统将场景中的光线按照某种给定关系与图像传感器像元进行对应,实现对三维空间中光线位置和角度信息的采样与记录,可通过计算摄影学恢复场景的三维结构。利用微透镜阵列分析了光场相机标定的成像模型和参数化模型,比较了不同物理参数设置对光场采样结果的影响;分析了光场相机的光线提取与校正方法、参数标定模型、误差定义与精度度量等主要问题,对光场相机参数标定方法进行了归纳和总结。     

基于视点图像与EPI特征融合的光场超分辨率

光场（Light Field, LF）成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像（Viewpoint Image, VI）和极平面图像（Epipolar Plane Image, EPI）特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。      

光场相机建模与畸变校正改进方法

光场相机作为一种新型的成像系统,可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息,完成更加精准的场景深度计算,从而提升光场相机的三维重建的精度,需要实现精确的几何建模,并精确标定其模型参数。该方法从薄透镜模型和小孔成像模型出发,将主透镜建模为薄透镜模型,将微透镜建模为小孔成像模型,结合光场相机双平面模型,将每个提取到的特征点与其在三维空间中的射线建立联系,详细解释了内参矩阵中每个参数的物理意义,以及标定过程中初值确定的过程,并在镜头径向畸变模型的基础上进一步应用了相机镜头的切向畸变模型以及基于射线重投影误差的非线性优化方法,改进了光场相机的标定方法。实验显示,该方法的RMS射线重投影误差为0.332 mm,与经典的Dansereau标定方法相比,进行非线性优化后得到的射线重投影误差精度提升了8%。该方法详细分析的场景点与特定像素索引的推导过程对光场相机的标定具有重要的研究意义,为光场相机光学模型的建立与初始化标定奠定了基础。     

基于连续相位稠密匹配的结构光三维重建优化方法

提出了一种基于连续相位稠密匹配的结构光三维（3D）重建优化方法。利用标定的相机阵列获取投影的结构光变形条纹,利用格雷码划分相位级次,提出等相位约束条件,实现不同相机图像之间的稠密匹配;然后利用空间3D点与相机阵列之间的投影关系,建立各相机位姿与重建点云全局优化模型;利用观测值反向投影的欧式距离建立非线性优化的目标函数,并将此优化问题转为李代数上的图优化模型进行迭代求解。利用公开数据集和实测数据进行实验,结果表明,所提方法可以实现360°无遮挡的3D重建,且重建精度相对传统无优化结构光方式提高了6.94%,相机位姿精度提高了9.77%。所提方法相比参考方法对相机畸变标定精度要求低,并可用于模型点云的非刚体融合。同时由于相机阵列的使用,重建过程中目标物体无需多次旋转,使得物体的3D重建更加方便。     

使用梯度折射率液晶微透镜阵列的光场成像

光场成像可以获取场景的三维信息。通过在主透镜和图像传感器之间插入一个微透镜阵列,不仅可以记录光线的辐射度,还记录了光线入射的方向。提出了使用梯度折射率液晶微透镜阵列进行光场成像的方法。该阵列基于向列相液晶材料,利用其各向异性和双折射的特点,通过紫外光刻技术和湿法刻蚀技术制作,具有圆孔阵列图案。在该阵列的上下电极之间加载一个交流电压信号后,每个微透镜可以有效会聚入射光,搭建了测试系统来测试该阵列的聚焦特性和焦距。将该阵列与一个主透镜和一片图像传感器耦合得到一个光场成像相机,并使用该相机采集了图像。     

基于自适应短时傅里叶变换的结构光场单帧三维成像算法

单帧结构光图像的相位恢复、解相是三维成像领域的重要问题。理论上，在选择合适参数的条件下，短时傅里叶变换（STFT）可以有效地完成相位恢复，但“合适参数”这一前提条件往往因缺少先验信息而难以实现。在传统STFT的基础上，采用结构光场系统充分利用光场成像的特性，提出一种基于自适应STFT的结构光场单帧三维成像算法。所提算法将结构光场图像从纹理、瞬时频率和深度估计信息等3个角度进行融合，将光场图像分割为满足STFT约束的若干区域，对每个区域依据瞬时频率估计对应的STFT的参数，进而恢复相对相位。随后，采用结构光场的解相方法实现三维成像。实验结果表明，所提自适应STFT算法能够有效完成被测物体的三维成像。     

混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真

光场描述了光在自由空间传播的全四维信息,光场相机可用来获得光场图像。在传统的光场相机中,最终获得图像的空间分辨率受限于微透镜阵列中透镜的个数。聚焦型光场相机相较于传统光场相机能够获得更高的空间分辨率,但是以牺牲其角度分辨率作为代价。在Zemax中建立了传统光场相机与将聚焦光场相机的成像模型,仿真获得了两种光场相机的光场图像,分析了两种不同类型光场相机采样模式的区别。提出将可变焦液体透镜阵列放置在光场相机中,可以同时获得聚焦和非聚焦两种模式下的光场图像。根据记录的光场信息,讨论了相应的重聚焦方法,计算仿真了在不同景深下的重聚焦图像,并提出了一种基于图像融合和超分辨率重构的方法来提高重聚焦图像的分辨率,最终在相同的景深范围内获得了3倍于传统光场相机分辨率的重聚焦图像。     

四焦距聚焦型光场计算成像系统的设计

光场相机是一种在图像传感器前增加微透镜阵列的新型相机结构,除了记录不同位置下光的强度及颜色外,也记录不同位置下光线的方向信息,从而能够计算目标场景的深度图和高阶相位图。该技术由于景深和分辨率相互制约,获得大景深时分辨率会降低。分析了其结构特点并推导了景深和分辨率的关系,并就选定的设计参数绘制了变化曲线。在此基础上,提出了一种新型光场相机的设计方法,该结构基于具有四类焦距的微透镜阵列,可获得超大景深,同时将分辨率的下降程度控制在可接受范围。仿真结果表明:相对于三类焦距微透镜阵列,所设计的四类焦距微透镜阵列景深可提高三倍,而分辨率达到普通相机的18.9%。     

Background light ray modeling for change detection

This paper is an extension of the work that was originally reported in Shimada et al. (2013). This paper proposes a change detection method based on spatio-temporal light ray consistency. The proposed method introduces light field sensing, which is used to generate an arbitrary in-focus plane. Change detection is performed in a surveillance scene, where the background region can be filtered out by an out-focusing process. This approach resolves a longstanding issue in background modeling-based object detection, which often suffers from false positives in the background regions. To realize this new change detection method, a new feature representation, called the local ray pattern (LRP), is introduced. The LRP evaluates the spatial consistency of the light rays, and this plays an important role in distinguishing whether the light rays come from the in-focus plane or elsewhere. A combination of the LRP and Gaussian mixture model (GMM)-based background modeling realizes change detection in the in-focus plane. Experimental results demonstrate the proposed method’s effectiveness and its applicability to video surveillance.     

Light field all-in-focus image fusion based on spatially-guided angular information

Compared to traditional 2D images, light field images record both spatial and angular information of the scene, which can provide more data for image fusion. In this paper, a light field all-in-focus image fusion algorithm based on spatially-guided angular information is proposed. In the proposed method, the initial weight maps carrying the angular information are calculated by comparing the block variance of the 4D light field data. The initial weight maps are then guided by digital refocused images carrying the spatial information to obtain the refined weight maps. In the refocused image multi-scale decomposition, the micro-lens calibration error is considered and the additional edge layers are extracted to suppress the edge artifacts. Experiments demonstrate the effectiveness of the proposed algorithm. Quantitative evaluation results show that the proposed algorithm performs the best in the feature-based index and structural similarity-based index without sacrificing the information and perceptual sharpness of the fused image.     

光场相机成像质量评价方法研究

光场相机应用一种新的成像技术,利用光学手段获取四维光场信息,包括目标辐射的二维空间分布信息和辐射传播的二维方向信息。与传统相机相比,光场相机在实际应用中可以获得大的景深范围。由此成像质量评价是光场相机研究中一项十分关键的工作。结合光场成像的特点,对光场相机成像模型进行了分析,完成了实际系统中的光场追迹过程,并对点扩散模型进行了计算,仿真实验结果表明该评价方法有效。     

基于空间光调制器的多强度测量相位恢复方法

提出了一种基于相位型空间光调制器（SLM）的相位恢复方法。利用相位型SLM快速准确的相位调制特性,对待测物体的物光波前进行相位调制。每次相位调制后,在物光波的频谱面记录下强度分布。运用GS迭代算法,通过频谱面光强信息反演出相位信息,并且提出了内-外层迭代的思想,进一步提高了相位恢复精度。对一维相位光栅进行了相位恢复试验...     

光学系统杂散光分析

杂散光是光学系统中所有非正常传输光的总称，杂散光对光学系统性能的影响因系统不同而变化。因此，在现代光学设计中，杂散光分析成为光学设计工作中的一个重要环节。杂散光产生的原因比较复杂，讨论了漏光和透射面残余反射引起的杂散光，针对漏光杂散光给出了高密度取样的分析方法，对于残余反射的杂散光建立了带能量因子的光线光学模型和光线二叉树的数据结构，在保证计算精度的同时减少了计算时间。对一个卡塞格林光学系统进行了漏光杂散光分析和光学表面残余反射杂散光的近轴与实际光线分析，得到减少杂散光的措施，达到了杂散光分析的目的。     

基于无监督学习的ToF点云目标提取方法

飞行时间(Time of Flight,ToF)三维成像技术在人工智能领域具有重要的应用价值。间接ToF三维成像是通过向目标发射调制的光强信号,再经过目标反射到相位解调图像传感器获得相位差,通过计算获得目标的深度信息。由于间接ToF成像技术会受到背景界面多次反射产生的多路径干扰,因此在复杂环境中目标物体深度测量数据会受到侧面和背景界面的多次反射的回波信号影响,降低边缘处深度测量的精度水平,因此需要对原始点云数据进行目标提取和多路径去除的预处理。本文针对该问题提出一种多界面场景中基于点云矢量的目标提取方法,能够实现复杂多目标的快速提取和多路径强干扰的去除。首先基于kmeans提出一种FVPkmeans算法,完成目标点云数据的全局全矢量提取处理。再基于K NN提出一种迭代滤波算法,实现局部多路径干扰数据的滤除。通过与其它方法的比较研究,该方法能够有效去除TOF点云目标数据的多路径干扰,目标提取性能提高了40,实验表明本文提出的全局点云数据全矢量目标提取和多路径干扰去除算法能够实现对目标点云数据的无监督学习智能提取与滤波要求。     

基于高阶奇异值分解和深度学习的光场图像拼接方法

光场图像拼接旨在提高光场图像的视场角。考虑到光场数据包含较多冗余,且传统拼接方法对于低纹理场景的光场图像鲁棒性不足,本文提出一种基于高阶奇异值分解(high-order singular value decomposition, HOSVD)和深度学习的光场图像拼接方法。首先,通过光流估计和HOSVD对光场图像进行降维,得到所有视角下一致空间信息的主基和不同视角下高频信息的其他基带。其次,提出注意力增强的无监督单应性估计网络来提高图像的配准精度。最后,将扭曲后的参考基带和目标基带进行光场重建与图像融合,得到最终的拼接光场。实验结果表明,该方法在拼接光场的主客观质量和角度一致性方面表现出较好的性能。     

基于结构光的镜面/漫反射复合表面形貌测量

光学三维测量技术以其非接触、无损及快速测量的优势被广泛应用于不同领域。已有的条纹投影和条纹反射测量术分别适用于漫反射表面和镜面表面。然而,航空航天和先进制造中存在许多漫反射和镜面反射表面同时存在的复合反射表面。提出一种基于结构光投影和反射的方法来实现复合表面形貌的快速测量。首先,投影仪投射蓝色正弦条纹图于被测物体表面,同时显示屏显示的红色条纹被镜面部分反射。其次,彩色相机采集经被测表面调制的变形条纹图。然后,从相机不同颜色通道中提取对应不同类型反射表面的变形条纹,并计算变形条纹图的绝对相位。最后,通过系统标定建立相位信息与深度之间的直接关系,得到被测复合表面的三维形貌。实验结果表明:该方法不仅能够有效地实现非连续复合表面物体的测量,还能够同时测量独立的漫反射和镜面反射表面的三维形貌。     

多遮挡场景的光场深度优化估计

光场相机可以同时从多个视点记录场景的方向和光强信息,因此,光场图像具有更大的信息量及更强的可塑性。随着光场技术的发展,针对光场图像的深度估计逐渐成为研究热点,但多遮挡是尚未得到解决的技术难点问题。为此,提出了一种多遮挡场景的光场图像深度优化估计方法。该方法使用优化的高低阈值比的Canny边缘检测算法提取遮挡区域的边缘,在传统的AP聚类算法中引入了迭代加权更新的带加速算子,有效地提高了聚类的精度,较好地解决光场深度估计中的多遮挡问题。采用匹配成本估计初始深度,使用马尔科夫随机场对初始深度结果进行优化处理,得到最终的深度估计结果。实验结果表明,与现有的基于光场图像的深度估计方法相比,本方法不仅抗多遮挡效果显著,而且获得了更低的MSE值,得到了更好的深度估计结果。