自适应窗口和半全局立体匹配算法研究

针对区域立体匹配算法中匹配窗口的选择和在图像中视差不连续、弱纹理区域误匹配率较高的难题,提出了一种自适应窗口和半全局算法相结合的立体匹配算法.该算法先通过基于灰度的自适应窗口算法计算初始匹配代价,然后利用相邻像素之间的视差梯度作为约束,采用半全局立体匹配算法以得出视差图.最后对左右视差图进行左右一致性遮挡检测,获得精确的稠密视差图.针对不同的图像信息采用自适应窗口和半全局算法相结合的立体匹配算法,剔除、修正了视差不连续、弱纹理区域的误匹配点,得到匹配效果较好的视差图.实验结果表明:该算法有效降低了视差图在视差不连续、弱纹理区域和遮挡处的误匹配率.     

基于自适应权重AD-Census变换的双目立体匹配

针对AD-Census变换采用固定权重将AD变换代价与Census变换代价合成的双目立体匹配代价无法体现像素点区域特征的问题,提出一种基于自适应权重AD-Census变换的双目立体匹配算法。算法首先通过增加相邻像素点的灰度差阈值条件改善十字支撑自适应窗口;然后以每个像素点的十字支撑自适应窗口的最短臂长为自变量,利用指数形式的函数,进行AD变换代价与Census变换代价合成权重的自适应设置。由于像素点十字支撑自适应窗口的最短臂长能够反映像素点的区域特性,因此自适应设置的权重大小与像素点的区域特性直接相关,计算图像边缘区域像素点的匹配代价时,AD变换的权重大;计算平滑区域像素点的匹配代价时,Census变换的权重大。Middlebury第3代双目立体匹配评估平台的结果显示,基于自适应权重AD-Census变换的双目立体匹配性能与基于AD-Census变换的双目立体匹配性能相比,所有图像集的全部像素点的视差平均误差减小了25%,非遮挡像素点的视差平均误差减小了20%,性能得到了提升;平台上包括Adir在内的多个图像集的匹配结果表明基于自适应权重AD-Census变换的双目立体匹配更适合含纹理丰富、存在重复区域的图像。     

基于两阶段自适应优化的双目立体匹配算法

针对局部立体匹配算法在弱纹理区域匹配准确度低的问题,提出一种在代价初始化和代价聚合两阶段自适应优化的立体匹配算法。首先,在代价初始化阶段,通过双阈值线性约束条件构造像素点的十字支撑窗口,并依据十字支撑最短臂长构造自适应函数融合AD及Census特征测度;其次,在代价聚合阶段,利用十字支撑水平扩展及形态学处理的方法构造自适应滤波窗口,并通过区域滤波实现代价聚合;最后,通过视差选择及视差优化得到最终的视差图像。Middlebury平台测试结果表明:该算法与传统的AD-Census融合立体匹配算法相比,图像集的整体匹配误差减小了3.95%,在非遮挡区域的匹配误差减小2.17%;与传统区域滤波立体匹配算法相比,该算法在弱纹理区域可以取得更好的立体匹配效果。     

改进的基于多尺度融合的立体匹配算法

针对局部立体匹配算法在弱纹理或视差不连续区域匹配精度低等问题,提出了一种结合卷积神经网络(CNN)和特征金字塔结构(FPN)的多尺度融合的立体匹配算法。在卷积神经网络的基础上应用了特征金字塔,实现立体图像的多尺度特征提取和融合,提高了图像块的匹配相似度;利用引导图滤波器(guided filtering)快速有效地完成代价聚合,在视差的选择阶段采用改进的动态规划(DP)算法获得初始视差图,对初始视差图精细化得到最后的视差图。所提算法在Middlebury数据集上提供的图像进行训练和测试,结果表明该算法得到的视差图具有较好的效果。     

基于图像分割和可变窗的联合立体匹配

提出一种基于图像分割和可变窗的联合立体匹配算法。首先对参考图像和目标图像进行图像分割,根据视差在同一色彩分割区域平滑的假设,计算出分割区域的匹配代价;然后由窗口内的匹配误差均值、误差方差、偏向误差确定最佳可变窗并求出其匹配代价;最后综合两类匹配代价通过局部优化方法获得稠密视差图。实验结果表明,该算法能够较好的处理低纹理和深度不连续区域,得到较高匹配精度的同时降低了匹配时间。     

基于像素点分类和颜色分割的树型滤波立体匹配

针对树型滤波匹配算法只需颜色一个要素计算权重而引起的匹配错误,提出一种基于像素点分类和颜色分割的树型滤波局部立体匹配算法。首先,在计算初始匹配代价时,按照稳定度将像素点分类;其次根据参考图像的颜色信息将其建立为代价树,并在建树的过程中根据颜色分割约束获得颜色分割图像;利用颜色分割图像和像素点分类信息,改进代价树中各边的权值;最后执行树型滤波,并获得稠密的视差图,从而完成立体匹配。采用Middlebury数据集进行的实验结果表明,该算法相比传统的树型滤波算法,在各区域的精度上都有一定的提升。     

基于凸集论的稠密视差图优化算法

针对计算机视觉领域中立体匹配算法在图像无纹理区产生的误匹配问题,提出以全变差函数为凸约束集,使用次梯度投影法,对通过初始视差变换后的立体图像对之间的像素误差函数和视差二次平滑因子形成的严格凸函数进行求解,寻求立体图像对之间的最优视差图。实验结果表明,该方法不仅能保留初始视差图的边缘,而且减少了由先前立体匹配算法求得的视差图在无纹理区产生的误匹配点,取得了良好的视差图优化效果。     

基于限制搜索空间的快速立体匹配方法

为快速而准确地得到稠密视差图,提出了一种基于限制搜索空间的动态规划立体匹配算法。该算法以动态规划立体匹配方法为基础,通过初始匹配序列限制搜索空间以减少搜索变量个数。同时,提出一种基于自适应权重的多窗口累积策略来提高匹配精度,并在平滑性限制中引入亮度梯度以避免在物体边界的视差不连续处产生过度惩罚。实验结果表明,该匹配算法在匹配速度和匹配精度上都有很大的提高,是一种简单有效的立体匹配算法。     

像素扩展自适应窗口立体匹配算法

针对局部立体匹配方法中的视差图前景膨胀问题,依据格式塔视觉理论,采用基于像素扩展的自适应窗口立体匹配方法减少视差图中前景膨胀现象的产生。该方法首先通过扩展约束条件建立待匹配像素点窗口模型;然后通过待匹配点对的窗口相对重合率进行预匹配判定,在视差搜索范围内逐点筛选出满足匹配条件的窗口区域;最后利用窗口规则化的互相关系数方法以及平滑视差平面分割获得最终视差值。实验结果表明:该算法可以获得较准确的稠密视差图,提高立体像对中深度不连续区域和遮挡区域的匹配精度,在Bicycle2、Classroom2、Hoops和Staircase图像中平均误匹配率为14.9%。     

立体匹配中边界信息的强化算法

为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法。通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束。实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果。在图片无纹理区域可降低14％的错误率。     

基于互相关信息的非参数变换立体匹配算法

针对传统的非参数变换立体匹配算法实时性不强和可靠性不高的局限性,提出一种基于互相关信息的非参数变换立体匹配算法.将变换窗口内所有像素的灰度值进行平均,然后将平均值作为中心像素的灰度值;为了在立体匹配时能够考虑像素间的互相关信息,将变换窗口各邻域与中心像素的相对位置大于一个单位的像素,其灰度值用双线性插值后的灰度值替代;将变换窗口的像素灰度值进行非参数变换立体匹配,得到致密的视差图.实验结果表明:与其他基于局部的单一立体匹配算法相比,该算法得到的误匹配像素百分比与其他算法相当,能够有效提高传统非参数变换立体匹配算法的鲁棒性.     

改进的立体像对稠密匹配算法

针对目前主流方法对图像中纹理单一区域匹配效果不佳的问题,提出了一种改进的立体像对稠密匹配算法。该算法首先利用区域增长技术找到图像中的纹理单一区域,然后将整个区域作为匹配基元以得到纹理单一区域的稠密视差图。相对于点基元,区域基元包含的信息更多,且在图像中不易重复出现,因此可以减少误匹配发生的几率。在国际标准测试图像上进行了实验,结果证明该算法的可行性与准确性。     

基于RGB三分量亮度法线相似度的立体匹配算法

为了解决立体匹配算法中匹配精度不高的问题,在分析RGB彩色空间图像的光学特性的基础上,提出了RGB彩色空间R、G、B三彩色分量亮度法线的概念,并得出亮度法线反映了RGB图像像素三分量的高频信息的结论。为了获得双目立体图像间的精确稠密视差图,提出了采用RGB三分量亮度法线相似度来计算自适应权值的局部立体匹配算法,通过Middlebury测试平台与其他当前流行的立体匹配算法进行结果比较,实验结果显示,提出的算法得到了更加精确的匹配结果。     

基于宽基线立体视觉的远距离三维重建

针对月球车视觉导航中远距离场景的三维重建问题,提出一种基于相机自标定的宽基线立体视觉方法.该方法首先提取立体图对的尺寸不变性(SIFT)特征并进行匹配,得到特征点对应关系;再使用外极线几何约束描述立体图像校正的直射变换,对其Sampson误差使用Levenberg-Marquardt(LM)算法求得最小二乘最优解,完成相机参数估计和图像校正;对校正后的图像使用种子像素视差扩张算法进行宽基线立体匹配,根据匹配得到的视差完成目标场景三维重建.实验表明:该方法解决了月球车相机的现场标定难题,并能够解决宽基线立体视觉面临的光照差异、透视畸变、遮挡等问题,对远距离山脉等自然场景的三维重建效果良好,重建精度较高.     

Census立体匹配算法的硬件实现

立体匹配是立体视觉技术的核心算法,但计算量大,实时性差,现有的基于FPGA的实现方法虽然可实时实现,但芯片选型通常是高性能FPGA芯片。该文针对Altera高性价比CycloneII系列FPGA芯片提出一种Census立体匹配算法的硬件实现结构,可实现640×480立体图像的实时匹配。与现有方法相比,资源占用低,匹配速度快,适用于低成本应用。     

基于立体视觉的三维空间入侵检测

针对平面视频监控无法感知运动物体深度的缺点,提出了基于立体视觉进行三维空间入侵检测的理论和方法。采用双目平行摄像系统,基于立体校正后的左右图像进行视差计算,并在视差图的基础上直接对运动物体做入侵判别;同时,设计了三维敏感区域的设置和报警策略。为了加快计算速度,采用一种基于下采样块匹配的方法来计算代价空间,最后用快速的局部动态规划输出视差图。在计算某目标的实际视差时,与目标的运动区域检测相结合,以减小计算误差。实际测试结果表明,该方法可以有效地探测到三维空间的运动目标入侵。