一种新的基于散焦图像的深度恢复算法

由散焦图像求深度是计算机视觉中一个非常重要的课题。散焦图像中点的模糊程度随物体的深度而变化,因此可以利用散焦图像估计物体的深度信息,该方法不存在立体视觉和运动视觉中对应点的匹配问题,具有很好的应用前景。研究了一种基于散焦图像空间的深度估计算法：将散焦成像描述成热扩散过程,借助形变函数将两幅散焦图像扩张成一个散焦空间,再估计出形变参数,进而恢复物体的深度信息。最后利用实验验证了算法的有效性。     

基于高斯-柯西混合模型的单幅散焦图像深度恢复方法

单幅图像场景深度的获取一直是计算机视觉领域的一个难题。使用高斯分布函数或柯西分布函数近似点扩散函数模型(PSF),再根据图像边缘处散焦模糊量的大小与场景深度之间的关系估算出深度信息,是一种常用的方法。真实世界中图像模糊的缘由千变万化,高斯分布函数以及柯西分布函数并不一定是最佳的近似模型,并且传统的方法对于图像存在阴影、边缘不明显以及深度变化比较细微的区域的深度恢复结果不够准确。为了提取更为精确的深度信息,提出一种利用高斯-柯西混合模型近似PSF的方法;然后对散焦图像进行再模糊处理,得到两幅散焦程度不同的图像;再通过计算两幅散焦图像边缘处梯度的比值估算出图像边缘处的散焦模糊量,从而得到稀疏深度图;最后使用深度扩展法得到场景的全景深度图。通过大量真实图像的测试,说明新方法能够从单幅散焦图像中恢复出完整、可靠的深度信息,并且其结果优于目前常用的两种方法。     

单幅自然场景深度恢复

离焦测距算法是一种用于恢复场景深度信息的常用算法。传统的离焦测距算法通常需要采集多幅离焦图像,实际应用中具有很大的制约性。文中基于局部模糊估计提出单幅离焦图像深度恢复算法。基于局部模糊一致性的假设,本文采用简单而有效的两步法恢复输入图像的深度信息：1)通过求取输入离焦图和利用已知高斯核再次模糊图之间的梯度比得到边缘处稀疏模糊图 2)将边缘位置模糊值扩离至全部图像,完整的相对深度信息即可恢复。为了获得准确的场景深度信息,本文加入几何条件约束、天空区域提取策略来消除颜色、纹理以及焦点平面歧义性带来的影响,文中对各种类型的图片进行对比实验,结果表明该算法能在恢复深度信息的同时有效抑制图像中的歧义性。     

使用柯西分布点扩散函数模型的单幅散焦图像深度恢复

目的 当前,大多数单幅散焦图像的3维(3D)场景深度恢复方法,通常使用高斯分布描述点扩散函数(PSF)模型,依据图像边缘散焦模糊量与场景深度的对应关系获得稀疏深度图,采用不同的扩展方法得到整个场景图像的全深度图.鉴于现有方法的深度恢复结果还不够精准,对各种噪声干扰还不够健壮,提出一种基于柯西分布的点扩散函数模型计算物体图像边缘散焦模糊量的方法.方法 将输入的单幅散焦图像分别用两个柯西分布重新模糊,利用图像边缘两次重新模糊图像间梯度比值和两个柯西分布的尺度参数,可以计算出图像中边缘处的散焦模糊量.使用matting内插方法将边缘模糊量扩展到整个图像,即可恢复场景的全深度图.结果 将原始Lenna图像旋转并加入高斯噪声以模拟图像噪声和边缘位置误差,用原图与噪声图比较了柯西分布图像梯度比值与高斯分布图像梯度比值的平均误差.使用多种真实场景图像数据,将本文方法与现有的多种单幅散焦图像深度恢复方法进行了比较.柯西分布图像梯度比值的平均误差要小于高斯分布图像梯度比值的平均误差.本文方法能够从非标定单幅散焦图像中较好地恢复场景深度,对图像噪声、不准确边缘位置和邻近边缘具有更好的抗干扰能力.结论 本文方法可以生成优于现有基于高斯模型等方法的场景深度图.同时,也证明了使用非高斯模型建模PSF的可行性和有效性.     

室外自然场景下的雾天模拟生成算法

为了通过单幅真实拍摄的图像生成一系列具有雾天效果的虚拟场景,提出了一种完全基于图像的室外自然场景的雾天模拟算法,该算法首先对图像内容进行语义分割,将不同的场景内容标签为天空、地面和立于地面上的物体等;其次针对不同类型的场景分别进行深度信息的解析;最后利用大气散射模型进行雾天的模拟与仿真,从而得到室外自然场景的雾天虚拟图像.理论分析和实验结果表明,该算法的效率仅与图像的分辨率有关,且生成的雾天虚拟场景具有视觉真实感.     

基于移位反射边界条件的图像复原

在信号和图像处理中,期望将原始场景从观测到的降质数据中恢复出来.在数学上,这个过程就转化成为求解一个系数矩阵为模糊矩阵的线性系统.该模糊矩阵是由刻画模糊的点扩散函数和假设原始图像外部数据的边界条件所决定的.为了更好地保留边界连续性以及减少复原图像中的振铃效应,本文提出移位反射边界条件,并在不依赖于点扩散函数对称性的情形下,给出了对该边界条件下的模糊矩阵的Kronecker积逼近和相应的SVD型正则化算法.实验结果表明,基于移位反射边界条件的SVD型正则化算法效果很好.     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

基于快速行进算法的深度图像增强算法

由于Kinect设备采集的深度图像存在空洞,传统的算法无法对空洞进行有效地填充,针对这一问题研究了一种基于快速行进FMM(Fast Marching Method)的深度图像增强算法。该算法首先将彩色图像作为输入,计算各像素与邻域像素的多尺度结构相似性MSSIM(Multiple-Scale Structural Similarity);然后利用MSSIM构造扩散函数,通过改进的FMM算法,估计深度图像空洞区域像素的深度信息;最后为了突出深度图像中物体边缘信息,采用改进的引导滤波算法对修复后的深度图像进行增强,使得修复的深度图像具有保持边缘的特性。实验结果表明,该算法可以准确地填补深度图像的空洞,并且能够有效地保持物体边缘细节,解决了Kinect设备采集中存在深度图像空洞问题,并能促进三维重建技术的研究及应用。     

改进的运动模糊图像复原算法

提出了一种改进的运动模糊复原算法,首先利用改进的高通滤波(方向微分)快速算法判定运动模糊方向,然后利用边缘检测算法计算模糊尺度,从而确定点扩散函数,最后通过维纳滤波算法对模糊图像进行恢复。针对K值估计问题,提出了一种新的K值自动估计算法。实验结果表明,该方法鲁棒性强、实时性好,图像复原效果好。     

引入生成对抗网络的室外场景单目深度估计

生成对抗网络（GAN）算法在室外场景的深度估计任务中准确率较低,对于物体边界判断不准确。针对该问题,提出基于循环生成对抗网络（CycleGAN）的单目深度估计算法,将单幅图像映射到深度图像的过程拆分为两个子阶段。第一阶段中,网络学习图像的基本空间特征,得到粗糙尺度下的深度图像;第二阶段在前者的基础上,通过细节上的差异对比,优化深度图像,得到精细尺度下的深度图像。为了进一步提高深度估计的精度,在损失函数中引入了L1距离,让网络可以学习像素到像素的映射关系,避免出现较大的偏差与失真。在公开的室外场景数据集Make3D上的实验结果表明,与同类型算法相比,该算法的平均相对误差、均方根误差取得更好的效果。     

抗多遮挡物干扰的光场深度信息估计算法

针对光场的深度信息估计中，由遮挡带来的干扰，造成遮挡处的深度值估计精度低的问题，提出一种抗多遮挡物干扰的光场深度信息估计算法。对场景点的angular patch图像进行多遮挡物分析，分析遮挡物的位置分布特性。基于分类的思想提出改进AP（Affinity Propagation）聚类算法将场景点的angular patch图像进行像素点分类，将遮挡物和场景点分离。对分离遮挡物后的angular patch图像提出联合像素强度信息熵及中心方差的目标函数，最小化该函数，求得场景点的初始深度值估计。对初始深度值估计提出基于MAP-MRF（最大后验估计的马尔可夫随机场）框架的平滑约束能量函数进行平滑优化，并采用图割算法（Graph Cut Algorithm）求解，得到场景的最终深度值估计。实验结果表明，相较于现有深度信息估计算法，所提算法提升了遮挡处的估计精度。     

融合自监督单目图像深度估计的视觉里程计

针对直接法DSO（Direct Sparse Odometry）存在的明显的尺度不确定性问题,对尺度不确定性给系统定位精度带来的影响进行分析,提出将对单幅图像进行深度估计的深度学习网络和DSO相结合的融合算法;针对DSO后端耗时问题,提出运用预处理共轭梯度（Preconditioned Conjugate gradient,PCG）算法优化后端求解部分。在KITTI公开数据集上与ORB-SLAM2、DSO、LDSO进行对比测试,系统的定位精度得到显著提高。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于峭度图像的超分辨率重建算法

针对在强噪声环境下,传统的超分辨率重建算法重建图像效果不佳的问题,提出一种基于峭度图像的超分辨率重建算法。定义峭度图像,从统计学角度分析得到峭度图像的2个重要性质,即具有高斯不变性,并且图像越模糊,峭度绝对值越小。在满足高分辨率图像与低分辨率图像之间反卷积的剩余误差有界的前提下,通过最大化峭度绝对值求解未知的高分辨率图像,采用Lagrange乘子法则求解此约束优化问题。分析高斯噪声和非高斯噪声环境下算法性能。仿真结果表明,该算法在主观视觉和客观评价上都明显优于传统算法。     

基于多尺度特征融合的红外单目测距算法

由于MonoDepth2的提出,无监督单目测距在可见光领域取得了重大发展;然而在某些场景例如夜间以及一些低能见度的环境,可见光并不适用,而红外热成像可以在夜间和低能见度条件下获得清晰的目标图像,因此对于红外图像的深度估计显得尤为必要.由于可见光和红外图像的特性不同,直接将现有可见光单目深度估计算法迁移到红外图像是不合理...     

基于深度估计网络SS-Net的SLAM系统

现有的SLAM方案中,单目SLAM系统无法满足高精度定位。因此提出了一种基于深度估计网络的SLAM系统。此系统在ORB-SLAM的系统上,融合了Sobel边界引导和场景聚合网络（sobel-boundary-induced and scene-aggregated network,SS-Net）的系统,仅依靠单目实现精准定位。SS-Net考虑了不同区域的深度关系和边界在深度预测中的重要特征。基于边界引导和场景聚合网络（boundary-induced and scene-aggregated network,BS-Net）,SS-Net提出了边界提取模块（edge detection,ED）,改进了图像细化模块（stripe refinement,SR）。SS-Net网络能够考虑不同区域之间的深度相关性,提取重要的边缘,并融合不同层次下面的网络特征,可以处理单帧图像,从而获得整个序列的深度估计。在NYUD v2和TUM数据集上的大量实验表明,SS-Net深度预测有较高的准确性,并且证明了基于SS-Net的SLAM系统比原系统更优秀。     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

CT图像重建滤波反投影析算法的精度研究

CT是常被用于医学和工业领域的计算机断层成像技术,这是一种优质无损诊断技术,即利用投影数据重建物体断层图像。对于精密部件的检测在图像重建无损检测应用中需要有更高的精度要求,CT应用中期待解决的关键问题是怎么样能直接重建出满足工程目标的CT图像。本文就系统地深入地研究了解析式图像重建算法的精度。在重建算法中滤波反投影（FBP）算法是解析法的根本,所以本文以该算法的实现,利用定积分数值计算方法,根据反投影的特点,提出了基于辛普生公式的精确反投影方法。