基于细节信息增强的无监督双目立体匹配算法

无监督立体匹配算法在自动驾驶等领域有重要的应用,然而无监督立体匹配算法在物体连续、边缘等细节信息区域的视差精度较低,本文提出了一种提高细节信息区域精度的无监督立体匹配算法。通过在特征金字塔网络中引入空间注意力机制和残差网络,设计了一种空间特征金字塔网络算法,抑制特征提取过程中边缘和小目标细节信息的丢失。构建了视差融合模块,将半全局立体匹配算法生成的原始视差和视差回归生成的初步视差进行置信度视差融合,提升连续细节信息区域的精度。对于网络损失函数,集成了原始视差监督损失和置信度遮挡损失,保留更多图像边缘和连续区域处的细节信息。实验结果表明,本文算法在KITTI 2015测试集中非遮挡区域和所有区域的误匹配率分别为6.24%和5.89%,与其他经典算法相比在细节信息区域的效果、精度方面有较大提升。     

基于控制点约束及区域相关的立体匹配算法

立体匹配是计算机视党的关键问题。为了得到准确匹配的稠密视差图,通过对基于特征和基于区域立体匹配算法的讨论,结合这两种算法的优点,本文提出了一种新的基于控制点及区域相关的立体匹配算法。该方法首先在利用Harris角点检测算法检测出角点的基础上,对角点进行立体匹配得到精确的匹配点对即控制点,然后在控制点的约束下对非角点像素进行基于区域相关的立体匹配,得到整体稠密的视差图。这样既缩小了匹配搜索空间,又保证了匹配的可靠性。     

融合注意力和多尺度的优化立体匹配算法研究

当前基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成图像在不适定区域的特征提取能力较差,因此,提出了一种基于PSMNet改进的优化立体匹配算法。在特征提取阶段,全新的特征金字塔模块(SPP)能更好的聚合不同尺度和不同位置的环境信息构建代价体,从而充分利用全局环境信息;在构建匹配代价体时,提出组相关的策略来充分地利用特征中的全局和局部信息;在代价聚合阶段,优化沙漏结构并引入通道注意力机制以便网络来提取具有高表示能力和高质量通道注意力向量的信息特征;为了进一步优化视差图,设计视差优化网络来改善初始的视差估计。在Scene Flow、KITTI 2012和KITTI 2015立体数据集上评估,所提模型在Scene Flow数据集上平均预测误差EPE降低到0.71 pixels,在KITTI 2012和KITTI 2015立体数据集上的误匹配率分别下降到1.20%和1.86%,在实验结果表明,方法取得了较优越的性能。     

基于重排序Census变换的半全局立体匹配算法

摘　要针对立体匹配中传统局部算法在计算匹配代价时精度低、抗噪能力弱等问题,提出一种结合改进的Census变换和单方向动态规划优化的半全局立体匹配算法。首先,重排序不同尺度的Census变换窗口中的像素,取其中值计算Hamming距,解决了传统算法对Census变换窗口中心像素依赖的问题。其次,基于单方向动态规划的路径聚合算法对初始代价值进行优化,减少初始代价值中的异常匹配点,提高对弱纹理部分的视差重建,进一步提高匹配精度。最后,采用赢者通吃策略选择单个像素最小代价聚合值所对应的视差,并在视差优化阶段基于左右一致性原则剔除错误视差。实验结果表明,改进的半全局立体匹配算法生成的初始视差图平均误匹配率降低了8.22%,质量相对更高;且在不同噪声下的平局误匹配率均在8%以下,有效的增强了抗噪声的鲁棒性,提升了匹配精度。     

深浅层特征结合的自监督立体匹配

针对现有的立体匹配算法物体细节部分估计效果较差、有监督算法依赖大量真实视差图等问题，本文提出了一种深浅层特征结合的自监督立体匹配算法。该算法在特征提取网络中嵌入通道注意力机制来提取图片的浅层和更具表征能力的深层特征。基于深层特征构建代价体积预测初始视差图，并用浅层特征指导初始视差图进行优化。此外在损失函数部分在左右视差一致性损失的基础上本文提出左右特征一致性损失，加强浅层特征信息对视差的约束作用，提高算法的鲁棒性。本文在KITTI 2015数据集上训练评估，并应用到拍摄的实际场景中。实验结果表明，本文提出的方法与其他算法相比能获得更好的效果，特别是在视差突然变化的细节区域。     

基于跨尺度PatchMatch的立体匹配算法

针对现有的PatchMatch（3D标签优化）立体匹配算法存在对图像中弱纹理、视差不连续区域匹配精度低的问题,提出了一种结合超像素分割和跨尺度PatchMatch的立体匹配算法。首先,通过高斯下采样获得多尺度图像并对各尺度图像超像素分割。其次,基于四色定理腐蚀超像素边界使3D标签在超像素上迭代传播具有子模性和独立性,生成的子模能量用图割（Graph Cut,GC）算法得到最优解。最后,提出跨尺度能量函数模型,约束不同尺度下同名像素3D标签能量一致,使3D标签迭代传播可在不同尺度进行GC优化,获得最优视差图。在Middlebury数据集上的实验结果表明,本文算法对21组弱纹理、复杂纹理图像的平均误匹配率为2.20%,相比其他改进的PatchMatch立体匹配算法误匹配率降低了10.1%,且视差图误匹配可视化显示,弱纹理、视差不连续区域匹配效果优于其他改进的PatchMatch立体匹配算法。     

顾及图像分割信息的半全局立体匹配算法研究

针对传统半全局立体匹配算法(SGM)在高分辨率图像弱纹理以及视差不连续区域的误匹配问题,提出了一种顾及图像分割信息的SGM算法。该算法在代价计算阶段,首先根据图像分割信息自适应调整匹配窗口大小,采用不同状态信息的改进Census变换计算初始代价,解决传统算法对Census变换窗口中心像素依赖的同时减少了匹配时间;在代价聚合阶段,将图像分割信息与传统SGM算法的全局能量函数进行有机结合,提高算法在弱纹理以及深度不连续区域的匹配效果;最后通过左右一致性检测和子像素细化得到优化后的视差图。所提算法利用Middlebury平台标准数据进行验证,实验结果表明,平均误匹配率为4.54%,与传统SGM算法和一些改进算法相比,该算法能够在影像弱纹理和视差不连续区域获得更高匹配正确率。     

全距离深度平衡立体匹配网络

针对当前视差估计网络在将视差转换成深度时,存在深度精度受相机参数影响,且在远距离处产生深度精度急剧下降 的问题,提出一种全距离深度平衡立体匹配网络(FRDBNet)。 首先构建深度代价体,使网络学习到全距离深度的概率分布,进 行深度回归直接生成深度;然后采用视差与深度损失融合的训练策略使网络同时关注远中近三分段全距离的深度估计;最后, 基于初始视差右图对应点 7 邻域特征设计视差优化模块进一步提高网络的深度估计精度。 在大型真实驾驶场景 DrivingStereo 数据集上的实验表明,针对全距离[1,100]m 的深度估计,FRDBNet 在[1,30]m 近距离、[30,60]m 中距离和[60,100]m 远距离 处深度精度相比 CVPR2022 性能表现优越的 ACVNet 分别提高 10. 38%、15. 11%和 20. 35%,达到了良好的深度精度平衡。     

基于改进Census变换的自适应局部立体匹配

针对现阶段局部立体匹配在弱纹理区域具有匹配精度低且过度依赖中心像素的缺点,提出一种基于改进Census变换的自适应局部立体匹配算法。首先根据中心像素领域的纹理复杂度采用自适应支持窗口改进Census变换,引入Tanimoto系数与Hamming距离算法结合,并融合颜色或亮度差的绝对值用作新的初始匹配代价计算。通过十字交叉域算法进行代价聚合并采用赢家通吃算法计算视差,在视差优化阶段采用左右一致法、迭代投票、插值填充和亚像素细化,针对边缘模糊化将改进的自适应中值滤波用作抑制噪声得到最后的视差图。实验结果表明,本文所提出的算法在Middlebury数据集上的平均误匹配率为4.39%,相较于其他改进的Census变换算法有明显提升,并在抗噪能力上具有一定的鲁棒性和适应性。     

基于改进Census代价和优化引导滤波立体匹配算法

为了提高局部立体匹配的精度，提出了一种基于改进Census代价和优化引导滤波的立体匹配算法。针对传统Census代价计算在视差不连续区域代价计算不准确的问题，在Census变换过程中进行邻域像素有效性标记，通过给不同有效性处计不同代价值，降低无效像素对整体代价的影响；在引导滤波代价聚合阶段，采用两种大小的窗口计算线性系数，然后根据图像区域划分结果选取不同线性系数，解决了固定窗口尺寸造成的局部区域代价聚合不适应的问题；最后通过视差计算和视差优化得到最终视差图。在Middlebury v3立体匹配评估平台上进行实验，结果表明，本文算法在非遮挡区域和所有区域的平均误匹配率分别为 18.17%和23.81%，与很多现有算法相比表现更优。     

基于稀疏轻量卷积神经网络的管道泄漏检测

针对传统供水管网泄漏检测问题,本文提出了一种基于稀疏轻量卷积神经网络的管道泄漏检测算法。首先通过声音传感器采集管道泄漏的声音信号,经过立体声转换、重采样、长度对齐等预处理操作后,将其转换成梅尔频谱图。然后,构建一种稀疏轻量化的卷积神经网络模型来对梅尔频谱图进行特征抽取和泄漏检测。针对声音特征图的稀疏和时延性质,本文采用Inception网络结构来进行提高模型的特征抽取能力。此外,因为该模型需要被部署到边缘侧,因此设计了一种基于SqueezeNet的轻量化卷积神经网络模型来减少模型的参数,降低模型复杂度。实验结果表明,提出的管道泄漏检测算法在保证复杂度较低的同时具有较高的识别准确率。     

基于特征融合的自适应多尺度无锚框目标检测算法

为了提高 CenterNet 无锚框目标检测网络的目标检测能力,提出一种基于注意力特征融合和多尺度特征提取网络的改 进 CenterNet 目标检测网络。 首先,为了提升网络对多尺度目标的表达能力,设计了自适应多尺度特征提取网络,利用空洞卷积 对特征图进行重采样获取多尺度特征信息,并在空间维度上进行融合;其次,为了更好地融合语义和尺度不一致的特征,提出了 一种基于通道局部注意力的特征融合模块,自适应地学习浅层特征和深层特征之间的融合权重,保留不同感受域的关键特征信 息。 最后,通过在 VOC 2007 测试集上对本文算法进行验证,实验结果表明,最终算法的检测精度达到 80. 94%,相较于基线算法 CenterNet 提升了 3. 82%,有效提升了无锚框目标检测算法的最终性能     

基于改进SSD的骑行人员佩戴头盔检测

为了解决骑行人员佩戴头盔检测任务中目标小、密集、准确率差、检测速度慢、应用困难等问题,本文基于SSD网络提出了EfficientNetV2-SSD算法。针对原SSD网络参数多的问题,使用改进后的轻量级网络EfficientNetV2替换SSD中的特征提取网络,减少网络参数,提升网络检测速度;针对难检测的小目标,使用自上而下与自下而上的FPN金字塔结构,最大程度丰富所有预测特征层信息,提升小目标的检测准确率;针对头盔等被检测的目标特征,重新设计先验框尺寸与比例,提高了小目标检测的准确率,同时加快网络收敛速度,减小网络体积。实验结果表示,EfficientNetV2-SSD网络对佩戴头盔的检测平均精度均值相比SSD网络提高7.01%,网络体积减少75%,具有更好的实用性。     

基于双目立体视觉的连铸辊尺寸三维测量方法

针对连铸车间中,扇形段连铸辊尺寸人工测量效率低下的问题,提出了一种基于双目视觉系统的连铸辊尺寸测量方法。首先,对双目相机采集的图像进行预处理并采用Otsu法分割工件前后背景;接着,针对边缘检测精度不高的问题,将传统Canny边缘检测算法的梯度模板增加到8个以提取工件轮廓,结合多项式插值公式提取亚像素级别特征点;然后,在SAD与Census变换融合的立体匹配基础上引入RANSAC算法来消除错误匹配;最后,采用三角测量原理计算出零件的尺寸。实验结果表明,系统测量的平均相对误差为0.14%,测量方法具有较高的精度,其稳定性与精确性满足连铸辊的尺寸自动检测任务。     

基于双目视觉的纸箱尺寸测量立体匹配方法研究

针对智能仓库物资自动化出入库流程,对于储存于纸箱中物资的出入库,需进行纸箱尺寸测量、纸箱拆解、物资倾倒、物资拣选等任务,因此首先应对纸箱进行无人化尺寸测量,提出自适应GrabCut的SGBM改进算法,实现纸箱尺寸自动测量。该方法首先完成双目相机的标定,利用NLM算法对采集的图片进行去噪处理,完成纸箱图片的立体校正,采用NCC、SGBM、AD-Census三种立体匹配算法得到纸箱的视差图,在分析其效果的基础上,提出基于模板匹配自适应GrabCut的SGBM改进算法用于纸箱立体匹配并得到其尺寸信息。实验结果表明,改进算法可以实现纸箱尺寸信息的精确测量,尺寸误差小于10 mm,满足实际的生产要求。     

基于深度学习的钢筋绑扎机器人目标识别定位

为了解决钢筋绑扎机器人对绑扎点识别准确率低,定位精度差的问题,提出一种基于深度学习的钢筋绑扎机器人目标识别与定位方法。首先采用YOLOv4算法对绑扎点目标框识别和裁剪,完成绑扎点初始定位;其次设计轮廓角点选取方法,利用角点计算绑扎点的图像坐标;之后通过融入CBAM注意力机制改进Monodepth算法的特征提取部分,解码部分引入路径增强PAN结构,以提高模型的特征提取能力,进一步提高立体匹配精度;最后通过双目立体视觉定位技术获得绑扎点深度信息,并由坐标变换求解钢筋绑扎机器人手眼坐标系映射关系,从而实现对绑扎点的精确识别和定位。实验结果表明：该方法针对绑扎点目标框的识别准确率达到了99.75%,每秒传输帧数达到54.65;在空间中的定位精度最大误差为11.6mm。可较好地识别定位绑扎点位置,为自动绑扎工作提供有力支持。