基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

基于改进匹配代价和均值分割的最小生成树立体匹配算法

尽管传统的立体匹配模型在精度和鲁棒性方面都表现出了良好的性能，但在弱纹理和深度不连续区域的视差精度问题依然存在。针对上述问题，提出了一种基于改进匹配代价和均值分割的最小生成树立体匹配算法。首先，在匹配代价计算阶段，通过Census变换进行初始匹配代价计算，利用Sobel算子对输入图像进行边缘信息提取，将提取后的图像边缘信息与Census变换后的匹配代价值进行融合，并将其与基于图像亮度信息的代价值进行非线性融合，以提高匹配代价的精度；然后，使用最小生成树代价聚合模型进行聚合操作并利用赢者通吃策略估计图像的初始视差；最后，在视差优化阶段，采用MeanShift算法对图像进行分割，结合图像的轮廓信息对误匹配点进行修正，进一步提高在弱纹理及边缘区域的视差精度。实验结果表明，与一些传统算法相比，所提算法具有更高的视差精度，且视差图的边缘、纹理较其他算法更为平滑，具有更强的鲁棒性。     

一种基于图像分割的立体匹配算法

针对在立体匹配过程中的低纹理和视差不连续的问题,提出了一种基于图像分割的立体匹配算法。首先采用Mean-Shift算法对彩色图像进行图像分割,并认为分割区域块内的像素视差是平滑的,然后采用较大窗口匹配方法,提取左右彩色图像相似像素点作为种子点,根据区域内的平滑约束条件,利用小窗口匹配方法将种子点向周围区域扩散,最终得到稠密视差图。实验结果表明该算法相比传统的自适应匹配算法,视差不连续区域匹配误差降低10%左右。     

改进自适应加权的局部立体匹配算法

针对Yoon经典自适应加权法在深度不连续处误匹配率较高、边缘细节不突出以及匹配窗口大小凭经验设计不通用等缺陷,提出了一种改进自适应加权的局部立体匹配算法.在经典自适应加权局部立体匹配算法的基础上用高斯分布权值替换了几何空间权值,增加了边缘权值突出深度不连续处的边缘细节,采用赢家通吃原则(Winner Take All,WTA)获取单像素点视差,在目标视图中逐点求取视差,最终获得稠密视差图.实验结果表明,该算法相比于经典自适应加权法,在非遮挡区域错误匹配百分比上下降6％,在深度不连续处的误匹配率降低了5％,边缘细节毛刺明显减少.     

自适应区域划分立体匹配算法

针对现有立体匹配算法在弱纹理区域及深度不连续区域匹配精度低的问题，提出一种基于自适应区域划分的立体匹配算法。首先，利用十字交叉域算法获取像素点臂长，计算像素变化率完成区域划分。然后，通过绝对差算法，改进Census变换和自适应加权梯度算子计算初始代价卷，利用十字交叉域进行代价聚合，对聚合后图像通过改进引导图滤波优化，使用赢者通吃策略筛选最优视差。最后，利用左右一致性检测、迭代区域投票、视差填充优化和中值滤波得到最终视差图。在Middlebury测试平台上测试结果表明，所提算法平均误差率为4.21%，能够有效提升在弱纹理区域及深度不连续区域的匹配精度。     

基于斜平面平滑优化的半全局立体匹配

基于斜平面平滑的半全局匹配算法虽然能很好地处理深度不连续区域,减少视差断裂现象,具有很好的视差平滑效果.但此方法计算量大,并且若输入的左右图像对不是理想校正的,最终得到的视差图中可能会出现黑色小方块.针对上述问题,本文提出了一种基于斜平面平滑优化的双目立体视觉算法,优化了视差斜平面拟合过程,提高了斜平面平滑的运算速度;另,通过对初始视差图中无效的视差值进行临近插值填充,很好地解决了视差图中的方块现象;同时考虑到同一分割块内的像素梯度值应比较接近,对图像分割时用到的能量函数增加梯度项,使分割区域更加合理.实验结果表明,本文算法能取得更好的视差图,主观效果得到改善,运算速度提高约40%.     

基于YCbCr光场数据的视差重建算法

在光场计算成像中,场景深度重建问题被转化为视差重建问题。通过引入YCbCr颜色空间光场数据实现了基于光场数据单体化的高效视差重建。在Y通道进行区域匹配可避免RGB三通道匹配的冗余计算,进而提高了匹配效率。在Cb、Cr通道进行单体化可实现单体边缘去遮挡和内部视差一致性约束,解决了遮挡区域和平滑区域的误匹配问题。Cb、Cr色度信息为单体化提供了有效聚类信息,将区域生长和二分法相结合实现了单体的精准分割。在单体边缘处,根据单体边缘选取匹配窗口的形状和可见视点,避免了边缘遮挡误匹配的出现。在单体内部中,基于视差一致性先验实现了视差图的优化。模拟数据实验和实际数据实验的结果表明,所提方法在纹理、遮挡和平滑区域均能实现精确重建,对遮挡区域的视差重建具有很强的鲁棒性。     

图像多通道边缘信息辅助的快速立体匹配算法

提出一种基于图像边缘及色彩信息辅助的立体匹配算法.首先给出一种彩色边缘侦测算子来获取彩色图像边缘信息,利用基于归一化相关系数的极线立体匹配得到视差图像边缘像素的视差信息.然后利用已获取彩色图像对的边缘信息对双步骤动态规划匹配策略进行匹配指导,获取稠密视差图并进一步优化.实验表明,提出的算法能很好地降低图像对中强度接近物体的误匹配概率的同时,有效提高匹配算法的运行效率.     

一种快速区域立体匹配算法设计及实现

为了精确建立两幅图像像素间的对应关系,克服区域立体匹配算法计算量大的缺点,提出了一种改进的区域立体匹配算法。改进的区域匹配算法运用双向立体匹配策略来提高两幅图像像素间的匹配精度,并结合mean-shift图像分割技术,在同一区域具有相同视差的假设前提下获得图像的稠密视差;为了克服区域立体匹配计算量大的缺点,该算法引入伪极线约束将真正匹配点的位置限定在一个非常小的范围内,从而大大减少了匹配点的搜索范围,有效地降低了匹配算法的计算量。实验结果表明,改进的双向匹配算法可以有效地缩小匹配搜索范围,并实现图像间的精确稠密匹配。     

基于边缘修复的超像素平面立体匹配

视差估计的准确程度直接影响到整个系统的性能,为解决遮挡暴露引起的视差图中物体边缘出现较大面积的空洞问题,对半像素灰度差与Census变换得到初始视差图进行边缘区域修复,以此提高内点所占的比例,从而影响迭代计算的次数;然后基于RANSAC计算超像素视差平面.采用Middlebury提供的测试图,对固定窗口半径和动态规划中惩罚代价的最佳选取范围进行实验测试,结果表明经过边缘修复可以得到相对完整的物体轮廓视差图,并且适当增大Census的权重将有助于检测到细长的目标对象.     

基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

基于Tao 立体匹配框架的全局优化算法

传统的基于全局优化的立体匹配算法计算复杂度较高,在遮挡和视差不连续区域具有较差的匹配精度。提出了基于Tao 立体匹配框架的全局优化算法。首先采用高效的局部算法获取初始匹配视差;然后对得到的视差值进行可信度检测,利用可信像素点和视差平面假设使用具有鲁棒性的低复杂度算法修正不可信任像素视差值;最后改进置信度传播算法,使其能够自适应地停止收敛节点的消息传播,并对经修正的初始匹配进行优化,提高弱纹理区域匹配准确度。实验结果表明,文中算法有效地降低整体误匹配率,改善了视差不连续及遮挡区域的匹配精度;同时,降低了算法整体复杂度,兼顾了速度,具有一定的实用性。     

一种快速的亚像素图像配准算法

图像超分辨率重建是在现有红外探测器基础上提升空间分辨率的一种有效方法。超分辨率图像重建是利用一组相互之间存在亚像素位移的低分辨率图像构造出一幅高分辨率的图像,快速、高精度估计图像间的位移是其关键技术之一。提出了一种用于超分辨率重建的亚像素配准算法,算法由特征检测、像素级配准和亚像素级配准三个处理过程组成。在特征检测过程,首先采用梯度算子对图像进行边缘检测,然后对边缘点进行角点预检测,排除非角点像素点,之后再进行Harris角点检测,大大减少了计算量;在像素级配准过程,用NCC算法进行像素级配准,用统计方法去除误匹配点对;在亚像素级配准过程,先对像素级匹配点的邻域进行插值放大,再进行亚像素匹配,误匹配点剔除,相对偏移量计算。对提出的算法进行了仿真实验,结果显示本算法的速度较类似算法速度有较大的提高。     

基于结构特征的全局立体匹配算法

针对传统动态规划立体匹配算法会在边界区域产生明显条纹状瑕疵的问题,提出了一种基于结构特征的全局立体匹配算法。该算法在提出了结合图像局部灰度特征和图像纹理结构特征的基础上,构建了基于证据理论的多重判据,并以之作为相似性测度函数。然后结合Sobel算子、双边滤波和Canny算子提出了自适应图像边缘提取算法,对于图像边缘像素,放宽视差搜索范围,降低了边界处误匹配率。最后基于扫描行间约束,引入了行列双动态规划立体匹配算法,同时将视差搜索范围限制在一定范围内,以提高算法效率。实验表明,该算法可以有效降低视差图在边界区域的误匹配率,减少条纹瑕疵,提高图像匹配质量。     

一种利用MAP估计的双目运动体视算法

本文提出一种融合运动和体视信息的运动与结构参数的鲁棒估计算法，算法首先通过计算瞬时ＦＯＥ，实现对每个像素处位移的ＭＡＰ估计，并计算关联的置信度；然后利用位移估计，从两图像序列之一计算相对深度，导出能用于匹配两体视图像序列的视差先验概率分布，使体视对的两帧图像匹配，确定３Ｄ景物深度，算法可方便地估计每个像素处的视差，不需对表面作平滑假设。     

基于扩展相位相关的小基高比立体匹配方法

为获得高精度亚像素级视差以满足小基高比摄影测量需求,提出一种基于扩展相位相关的小基高比立体匹配方法.该方法采用分步式策略,首先利用自适应窗口匹配法计算整像素级视差,然后在整像素级视差的指导下建立同名像点之间的对应关系,再分别以左右同名像点为中心截取子图像,最后利用扩展相位相关匹配法对子图像进行亚像素级匹配,获得亚像素级视差.采用小基高比立体像对和带有亚像素级视差的模拟立体像对进行实验,结果表明基于扩展相位相关的小基高比立体匹配方法在精度和效率方面具有优越性能.     

基于深度调制的超像素分割和显著性检测

提出了一种基于深度调制的超像素分割和视觉显著性检测方法。对于一对匹配的纹理和深度图,该方法首先对深度图像进行超像素计算,然后借助纹理和深度信息对超像素结果进行融合,完成对图像的超像素分割,最后对分割区域进行纹理和空间的全局对比,从而产生全分辨率的显著性图。实验证明,该方法简单、高效,所得显著性检测结果具有更高的精度,明显优于现有的视觉显著性检测方法。     

基于改进Census变换与梯度融合的立体匹配算法

双目立体匹配根据视差原理将平面视觉转化到三维立体视觉,是三维重建的核心步骤之一。针对局部立体匹配算法在深度不连续、弱纹理区域匹配精度低且易受光照、噪声等因素干扰的问题,提出了一种改进的立体匹配算法。首先,在代价计算阶段将改进的Census代价与梯度代价进行融合,并采用引导滤波算法对图像进行多尺度代价聚合;然后,采用赢家通吃算法计算初始视差;最后,采用左右一致性检测、中值滤波进行视差后处理,得到最终的视差图。实验结果表明,本算法在Middlebury2.0测试平台上的平均误匹配率为5.11%,且具有很好的稳健性和实用性。     

基于互信息的亚像素级立体视觉点匹配方法研究

在立体视觉测量中,为获得更高精度,往往需要将视差计算精确到亚像素级。将互信息理论引入双目图像配准并结合多分辨率技术实现亚像素级点匹配。采用Bouguet立体校正算法对左右图像进行极线校正,利用Harris角点探测器检测目标并将获取角点作为待匹配点,采用最大互相关法进行搜索确定像素级匹配点。然后对以左右匹配点为中心的20×20邻域图像进行插值并分别放大10倍和100倍,采用互信息方法先对低分辨率图像进行配准,再在高分辨率图像上进一步细化求精,结合像素级匹配的整数视差可得最终亚像素级视差。实验结果表明,该方法能将视差精度提高到0.01像素。     

基于3D视频的深度图获取方法的研究与实现

本文采用基于区域的立体匹配方法从立体视频图像对中获取稠密视差图。在区域窗口大小选取上采用K-均值算法,保证每个子窗口位于同一物体内部,窗口内深度信息趋于一致;采用NCR算法运用匹配窗口周围的环境信息,提高窗口选取的智能性和匹配的准确性,改善少纹理区域的匹配效果;采用双向匹配方法有效去除因遮挡等原因产生的误匹配点,提高匹配精度,得到初始视差图;同时研究视差图优化方法,得到高质量稠密视差图,为后期新视图合成等其它应用提供基础。