局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

基于双目视觉的不规则堆料体积测量研究

针对不规则堆料的体积难以直接测量的问题,提出一种基于双目视觉的不规则堆料体积测量方法。首先,使用双目相机采集堆料的俯视图像,对图像进行预处理;接着通过立体匹配求出堆料图像的视差图,并采用中值滤波和最邻近插值算法对于视差图中的空洞进行填充,同时计算出视差图对应的三维点云坐标;再采用改进的OTSU阈值分割算法将视差图中的堆料区域提取出来,计算出堆料区域的平均高度和面积,最后计算出堆料的体积。实验结果表明,体积测量误差小于5%,可以快速有效地测量出堆料的体积,能够满足工业检测领域的需求,同时为准确快速地测量堆料体积提供了一种新的思路。     

基于分割稳健而快速的局部立体匹配及医学应用

为了快速消除双目立体匹配的歧义性,提出一种基于局部信息和分割、快速高效的两步立体匹配算法.首先分割彩色立体图像对,并基于改进的Geman-McClure函数得到初始匹配成本;在水平、垂直双方向上采用分割自适应权重方法,消除匹配特征的相似歧义,计算鲁棒匹配代价,择优选取初始视差.为了最优地分配遮挡等歧义区域,采用贪婪策略估计视差,包括不可靠视差检测、基于分割窄遮挡处理、基于极线最小二乘填充及基于映射的视差组合.实验结果表明,该算法结构简单、计算快速高效,能有效地消除匹配歧义,得到分段平滑、精度高的稠密视差图;可在临床医学疾病诊断应用中自动地为计算机辅助诊断系统提供可靠深度信息感知.     

基于改进CV模型的立体图像分割方法

为了克服Chan-Vese(CV)模型对初始轮廓敏感的不足,提高分割效率,针对双目立体图像,提出了一种基于双目视差的CV模型。该方法利用双目立体图像的双目视差进行预分割,将分割得到的结果自适应地构造为CV模型的初始轮廓,再通过改进后的能量泛函进行曲线演化,使其接近真实目标边缘,最后得到预期的分割结果。经过实验证明,该模型能有效分割双目立体图像,提高分割效率,对初始轮廓也具有较好的鲁棒性。     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

双目视觉图像边缘区域处理的精确立体匹配

立体匹配是双目视觉系统最关键一步,其处理图像的速度和精度直接影响系统结果。针对传统SAD(Sum of absolutedifferences)算法存在较多冗余计算问题,引入线性插值法降低算法复杂度;针对光照对算法干扰,提出一种融合算法策略避免光照影响;为了提高融合算法处理图像精度,引入Sobel边缘检测算子及自适应惩罚系数约束和保护图像边缘区域;为了获取边缘信息且抵御光照变化影响,采用基于结构森林快速边缘检测及大律法(OTSU)进行图像边缘和非边缘区域的分割;针对图像边缘出现的遮挡,采用左右一致性检测(Left-rightchecking)算法,并采用引导滤波器实现边缘优化。将该算法与传统SGM(Semi-global matching)算法在Middlebury测试集进行对比实验,平均误匹配率降到7.55%以下,平均运算时间较SGM算法缩短3.5s。     

AF-RetinaNet:一种基于自适应融合与特征细化的微小行人检测算法

为解决目前目标检测算法在微小行人的识别与定位过程中准确率较低的问题,提高微小行人检测能力,提出一种基于自适应融合与特征细化的微小行人检测算法AF-RetinaNet.首先,将特征增强模块与ResNet相结合构建特征提取网络,采用并行结构获得增强特征;其次,使用上下文自适应学习模块,通过获得目标上下文的特征信息,从而关注相似特征的差异性,缓解误检问题;最后,构造具有图像超分思想的特征细化模块,对目标特征信息进行放大重构,优化小目标的特征表达能力,缓解漏检问题.在TinyPerson数据集上,AF-RetinaNet算法的检测精度达到56.78%,漏检率达到85.38%.与基于RetinaNet算法的研究基准相比,检测精度提高5.57%,漏检率降低3.67%.实验结果表明,该模型能有效提高对微小行人的检测和识别精度.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

复杂热红外监控场景下行人检测

目的 复杂热红外监控场景中的行人检测问题是计算机视觉领域的重要研究内容之一,是公共安全、灾难救援以及智慧城市等实际应用中的重要基础任务。现今的热红外行人检测算法大多依据图像中人体目标的灰度值高于场景环境这一假设,导致当环境温度升高热红外图像发生灰度值反转时行人检测率较低。为提高行人检测系统在不同场景中的鲁棒性以及行人目标检测率,提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法。方法 该算法首先对热红外图像进行基于频域的显著性检测,生成对行人目标全覆盖的显著图;然后结合热红外原图像生成感兴趣区域图作为输入,以行人目标概率图为输出,搭建全卷积网络;最后,对热红外行人检测系统进行端对端训练,获取网络输出的行人目标概率图,进而实现行人目标检测。结果 论文使用俄亥俄州立大学建立的红外视频数据集OTCBVS中的OSU热红外行人数据库对算法进行验证,与目前5种较为成熟的算法进行对比。实验结果表明,本文算法可以在各种场景中准确检测出行人目标,以MR-FP（丢失率—假阳率）为对比依据,本文算法7%的平均丢失率低于其他算法,具有更高的检测率,对热红外图像中的灰度值反转问题具有更好的鲁棒性。结论 本文提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法,在实现检测算法端对端训练的同时,提高了其对各种复杂场景的鲁棒性以及行人目标检测率,提升热红外监控系统中行人目标检测性能。     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

基于多尺度卷积神经网络的立体匹配算法研究

针对传统障碍物检测中的立体匹配算法存在特征提取不充分，在复杂场景和光照变化明显等区域存在误匹配率较高，算法所获视差图精度较低等问题，提出了一种基于多尺度卷积神经网络的立体匹配方法。首先，在匹配代价计算阶段，建立了一种基于多尺度卷积神经网络模型，采用多尺度卷积神经网络捕获图像的多尺度特征。为增强模型的抗干扰和快速收敛能力，在原有损失函数中提出改进，使新的损失函数在训练时可以由一正一负两个样本同时进行训练，缩短了模型训练时间。其次，在代价聚合阶段，构造一个全局能量函数，将二维图像上的最优问题分解为四个方向上的一维问题，利用动态规划的思想，得到最优视差。最后，通过左右一致性检测对所得视差进行进一步精化，得到最终视差图。在Middlebury数据集提供的标准立体匹配图像测试对上进行了对比实验，经过实验验证算法的平均误匹配率为4.94%，小于对比实验结果，并提高了在光照变化明显以及复杂区域的匹配精度，得到了高精度视差图。     

改进型SIFT立体匹配算法研究

针对机器人视觉系统立体匹配中存在的匹配重复或错误等问题,提出了一种基于尺度不变特征变换（Scale Invariant Feature Transform,SIFT算法）和余弦相似度匹配规则的立体匹配方法。该方法以左、右两幅图像中特征向量较多的图像作为基准匹配图像,另一幅图像作为待匹配图像;再由二者的特征向量之间的余弦相似度所建立的匹配规则进行立体匹配。实验结果表明,改进型立体匹配方法有效地降低了匹配错误或重复比,具有较强的鲁棒性,匹配效果较佳,更加有利于机器人视觉系统的三维重建与定位。     

基于Cauchy模型的行人轮廓提取及目标检测

为了提高行人目标轮廓参量的提取精准度数值,实现对待监测目标的实时稳定跟踪,提出基于Cauchy模型的行人轮廓提取及目标检测算法;基于Cauchy分布原理,估计行人轮廓目标的最大似然值,再结合计算第二类统计量方法,完成基于Cauchy模型的行人目标统计建模;在此基础上,建立卷积神经网络,利用卷积化与反卷积参量,提取Gabor行人轮廓特征;在目标图像分割理论的作用下,识别既定区域内的所有行人目标,持续标记各类已存在的行人目标,实时检测行人轮廓目标,实现基于Cauchy模型行人轮廓提取及目标检测;实验结果表明,与Kinect型检测算法相比,应用Cauchy型算法后,行人目标轮廓的检测精度值提高至93%,而PTR实测指标降低至3.97,可有效实现待监测行人轮廓目标的实时稳定跟踪。     

双目机器视觉及RetinaNet模型的路侧行人感知定位

目的 行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障。传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生。对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位。方法 利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用RetinaNet深度学习模型进行目标行人自动识别;通过半全局块匹配（semi-global block matching,SGBM）算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位。结果 实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27%。与YOLOv3（you only look once）和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42%,比YOLOv3和Tiny-YOLOv3分别提高0.9%和3.03%;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01。结论 本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值。     

基于改进区域分割遥感图像的航天器目标自动识别方法

：传统的航天器目标自动识别方法识别精准度差,为了解决这一问题,基于改进区域分割遥感图像研究了一种新的航天器目标自动识别方法,通过人工排查的方式来追踪航天器所提供的位置信息,并建立三角形立体体系,提取出航天器所追踪的目标和航天器之间的位置关系,实现航天器目标检测,分别针对复杂场景和运动场景对目标进行识别,引用击穿识别方法,基于遗传算法以及变换算法,实现了在复杂的自然遥感图像中能够识别多种目标,但是对于残缺和不完整的目标识别性差,因此又在方法中引入了自动学习智能识别算法,解决了在遥感图像中残缺不完整的目标识别效果差的问题。设定对比实验,结果表明,相较于传统方法,基于改进区域分割遥感图像的航天器目标自动识别方法识别准确率提高了15.23%。     

油田安防领域基于改进的深度残差网络行人检测模型

油田安防中行人目标检测是是当今前沿的一个热门研究课题,针对野外场景采集的图像视频分辨率低,背景复杂等问题,本文在单次多目标检测器(Single Shot MultiBox Detector,SSD)模型的基础上,提出了一种改进的行人检测算法,该算法首先利用聚合通道特征模型对图像或者视频序列进行进行预处理,获得疑似目标区域,大大降低单帧图像检测的时间;然后对SSD的基本网络VGG-16替换为Resnet-50,通过增加恒等映射解决网络层数加深但检测精度下降的问题;最后采用强大而灵活的双参数损失函数来优化训练深度网络,提高网路模型的泛化能力。定性定量实验结果表明本文所提检测算法的性能超过现有的检测算法,在保证行人检测准确率的同时提高检测效率。S     

一种室外非理想光照条件下的立体匹配算法

针对室外非理想光照条件和图像低纹理、低对比度造成立体匹配效果较差的问题,提出一种HSL(色相-饱和度-亮度)颜色空间下基于边缘图分割的立体匹配算法.区别于传统的RGB颜色空间下基于像素强度的度量方式,该算法采用一种HSL颜色空间下的像素非相似性度量公式来获得匹配代价,然后基于左右输入图像的边缘检测结果进行图像区域分割和立体匹配.在实验中采用一系列不同光照条件的图片集和具有明显低纹理区域的图片集,对本文算法与现有算法进行对比验证.实验结果证明,该算法能够得到比较理想的视差图,对非理想的光照条件和低纹理图像具有很好的鲁棒性,并且基本达到实时性要求.     

基于双阈值运动区域分割的AdaBoost行人检测算法

结合单目摄像机静止拍摄的视频序列使用背景差法或AdaBoost算法检测行人时分别存在易受噪声干扰或检测速度慢的问题,提出一种双阈值运动区域分割的AdaBoost快速行人检测算法。首先建立背景帧,利用前景帧与背景帧的差分图像拟合噪声曲线,提取噪声与亮暗运动目标的阈值,消除噪声,分割出运动区域;然后通过AdaBoost学习算法选择少量有效的Haar-like弱矩形特征构造强分类器;最后在运动区域利用强分类器检测是否包含行人。实验结果表明,该方法迅速缩小了检测范围,加快了检测速度,降低了误检率。     

Implementation of a 3D Vision System on DSPs TMS320C31

In this paper, the implementation of a new stereo vision process on a specialized architecture which comprises of three DSPs TMS320C31 is described. The first step of our stereo vision system is a self-adaptive image segmentation algorithm based on a new concept that we call declivity. The second step is a new and fast stereo matching algorithm based on dynamic programming and using self-adaptive decision parameters. The goal of our work is to develop a stereo vision system that achieves an acceptable level of performance using a modest amount of hardware. This implementation is organized as follows: declivity extraction from the two stereo images is performed in parallel on two DSPs, one for the right image and the other for the left one. Then, the last DSP computes the declivity matching based on our dynamic programming method as well as the 3D maps calculation. Finally, experimental results obtained using real pairs of stereo images on a VME 150/40 Imaging Technology Vision System are presented. They show the feasibility and the effectiveness of our system. These results can surely be improved by using a new generation of DSP in order to consider real-time applications.