基于弱纹理检测及视差图融合的立体匹配

为了在消除弱纹理区域匹配歧义性的同时保证纹理区域的匹配率,提出了一种基于弱纹理区域检测及视差图融合的立体匹配算法.该算法首先根据输入图像的颜色(灰度)变化情况检测出弱纹理区域,然后基于这一检测结果,对输入图像对应用改进的极线距离变换算法,以提高弱纹理区域像素的可区分性,接着,采用窗口匹配算法和置信度传播算法分别对原始输入图像和极线距离变换后的图像计算视差图谱,最后,以弱纹理检测的结果为基准,对这2张视差图谱进行融合,以实现在弱纹理区域和纹理区域的同步最优匹配.通过对弱纹理化后的Middlebury图像库中图像的实验表明,在几乎不增加计算复杂度的同时,该算法的匹配率比当前先进算法提高至少20％,同时,实验还表明了该算法对照度不一致输入图像对匹配的鲁棒性.     

利用自适应窗口实现不连续保护立体匹配

摘 要：针对计算机视觉中图像对应点的误匹配问题,提出了一种以扫描线优化为能量最小化框架,以最佳自适应窗口为匹配基元的立体匹配算法。该算法首先采用一种融合亮度和梯度信息的非相似度,然后通过平均匹配误差、匹配误差方差及较大窗口的偏移组成的窗口代价函数选取每个视差的最佳窗口作为匹配基元,并利用扫描线优化法及视差变化伴随亮度变化的约束寻找一条最优的匹配路径,最后通过回溯最佳路径得到稠密的视差图。实验结果表明,所提算法不仅能够保留基于自适应窗口的匹配算法能较好地处理大的低纹理区域和视差不连续区域的优点,而且可以加强相邻匹配基元间的视差连续性,从而获得更平滑、准确的视差图,另外所提算法的计算量比原有算法缩短了约3/ 4 。     

半全局立体匹配算法的改进研究

针对半全局立体匹配中单一 Census 精度不足且边缘区域视差效果较差的问题,提出一种基于颜色差信息 BTCensus 和加入分割约束的半全局匹配算法。首先该算法采用联合三通道 BT 算法和 Census 变换的计算方式实现代价计算,缓解重复纹理歧义并提高不连续区域配精度;同时将图像分割得到的场景信息作为约束对代价聚合函数进行改进,保证割块内部的纹理平滑,提高边界纹理区域的匹配精度;最后引入图像分割信息进行分步中值滤波,平滑视差图。实验表明,该算法在重复纹理区域、视差不连续区域和弱纹理区域都取得了较好的视差效果,可获得高匹配率的视差图。     

利用改进的Retinex进行人脸图像光照处理

为了提高光照变化条件下的人脸识别率,针对Retinex算法处理人脸侧光照图像时会误增强阴影的边缘提出了一种基于新的传导函数的自适应平滑Retinex算法。该传导函数用空间梯度和像素的局部不一致性两种方式共同测量灰度的剧烈变化,在平滑图像的同时没有边缘增强效应,且不会损失人脸特征边缘。在平滑估计的迭代过程中,选取上一次与此次迭代结果中的较大值作为约束条件来保证估计出的亮度图像能满足Retinex理论的约束条件。在YaleB人脸库上的实验结果表明,本文算法能有效克服强侧光照时的阴影现象且没有损失人脸特征边缘;与较经典Retinex算法相比,侧光照时的识别率在最好情况时提高了24.2%,无强侧光照时也可提高4%左右,具有光照鲁棒性,可适用于任何光照条件下的人脸识别。     

一种基于自适应窗口和图切割的快速立体匹配算法

针对基于图切割的立体匹配算法计算量大的缺点,提出了一种新的快速立体匹配算法。首先根据图像边缘特征自适应变化窗口,并采用灰度差平方和匹配(SSD)作为相似判定准则计算初始视差图,再通过左右一致性校验去除误匹配点,在构造能量函数时,将初始视差作为能量函数的一个参考项,最后采用图切割(graph cuts)算法求取使全局能量最小的视差最优分配。通过标准图像对测试了提出的方法,并与其他方法进行了比较,实验结果表明,该算法不仅能够保留基于图切割的立体匹配算法对大的低纹理区域和遮挡像素较好处理的优点,而且匹配时间短,运行时间比原有算法约缩短了三分之二,能够满足工程实用性的要求。     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

基于Snake模型的特定人脸三维重建方法

以双目立体视觉为基础,构建一种特定人脸重建系统,提出基于Snake模型的特定人脸三维重建方法,利用已标定的摄像机拍摄立体图像对,采用肤色检测得到人脸区域。在对立体图像对进行摄像机畸变校正、立体图像对的外极线对齐、人脸区域选择及归一化等预处理后,采用金字塔结构相关匹配算法,在误匹配点数与精度两者之间达到较好的平衡。针对人脸提出能量最小化方程,考虑顺序匹配约束、连续性约束、曲线上各点曲率的估计和相关性约束条件,大大提高视差提取的正确率,解决了立体视觉中立体匹配的难点,成功地恢复出人脸的三维数据,实现特定人脸的重建。试验结果表明：基于Snake模型的视差抽取,并经过光顺处理和纹理映射后,除了脸部部分边缘存在一些变形外,主体部分的重建效果真实感强。该算法不需要结构光等设备,基本不需要人工干预,就能恢复出特定人脸的三维数据,效果好,实用性强。     

水下双目立体视觉对应点匹配与三维重建方法研究

针对水下双目立体视觉成像稠密立体匹配因不满足空气中极线约束问题,提出一种水下对应点匹配与三维测量方法,可将水下双目相机采集的立体图像校正为符合共面行对齐原则的图像对,再套用空气中成熟的立体匹配方法得到水下左右相机图像视差图,从而实现水下目标的三维重建。首先,将进入相机的所有光线总和看成光场,采用四维光场参数表达对每一条光线建模,据此建立相机的折射成像模型和双目立体视觉模型并计算光线的方向向量;根据光线的光场表达将光线转化为点矢量的形式,计算方向图像上任意像点对应原图像的像素坐标并确定位置映射关系。通过插值即可快速得到符合行对齐原则的左、右方向图像,并最终获得每条光线对应的视差图。仿真结果表明,方向图像的行对齐误差小于0.8 pixel。水池实验采用事先标定的靶球作为目标物,利用随机散点主动投射以增加目标物表面的纹理信息,对靶球多次测量的均方根误差为2.8 mm,具有较高的测量精度。     

一种基于点线融合的室内视觉惯性SLAM方法

以实现室内移动机器人高精度、高鲁棒性的定位与建图为目标,针对单目视觉SLAM方法在室内弱纹理环境下由于特征点稀疏、相机移动过快所导致的定位精度下降甚至跟踪失败问题,提出一种结合点线特征的视觉惯性融合SLAM方法。利用改进的LSD算法提取线特征以提升数据关联的准确性,通过最小化点线及IMU等残差构成的目标函数得到准确的位姿估计。根据对比多组公开数据集及实际室内环境中的实验结果表明：该方法提高了室内定位精度,具备较好的鲁棒性。     

基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究

针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题,本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定,通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配,提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测,将预测的深度信息通过阈值法与MVS深度图相融合,对MVS深度图进行修正,重建出物体的稠密点云,提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明,本算法比原始MVS重建算法重建的点云模型点云数目多31.25%,整体重建时间节省了21.16%。     

基于种子点传播的快速立体匹配

针对计算机视觉中的对应点误匹配问题,提出了一种基于种子点传播的快速局部立体匹配算法来进一步提高匹配算法的运行效率。该算法首先利用Canny算子提取图像边缘,结合边缘信息构造动态匹配窗口,以克服固定窗口对匹配带来的不利影响;然后利用AD-Census联合匹配代价在动态窗口上进行代价聚集,用WTA搜索策略得出初始视差图,对视差值进行筛选以确定种子点;随后利用像素间颜色差异将种子点的视差值传递给周围非种子点;最后采用区域投票和局部校正方式对视差值求精,进而获取精确的稠密视差图。实验结果表明,该算法可对Middlebury测试图生成高质量的视差图。与目前较新的局部立体匹配算法相比,其运行速度提高了1.8倍,满足了实际应用对速度和精度的要求,具有较高的实用价值。     

基于Stixel world及特征融合的双目立体视觉行人检测

针对单目视觉行人检测无法获得深度信息从而导致冗余信息较多、检测效率和准确度存在局限性的问题,首先,在图像的预处理阶段提出了一种利用双目立体视觉产生的视差信息优化分析来简化复杂场景的动态规划棒状像素场景(stixel-world)表达方式;然后,在行人目标检测阶段,对传统HOG特征中block尺度进行分析、降维,采用Fisher准则筛选得到了适用于道路环境下的多尺度HOG(multi-HOG)特征,将Multi-HOG特征与LUV颜色通道特征进行融合,最后采用交叉核支持向量机(hikSVM)分类器对行人目标分类。实验结果表明,采用改进过后的Stixel-world算法用于图像预处理极大地减少了计算时间。缩小了行人检测的候选区域,基于特征融合和hik-SVM的目标检测算法在保证检测准确度的前提下,具有较好的实时性和鲁棒性。     

Multi-Range approach of stereo vision for mobile robot navigation in uncertain environments

The detection of free spaces between obstacles in a scene is a prerequisite for navigation of a mobile robot. Especially for stereo vision-based navigation, the problem of correspondence between two images is well known to be of crucial importance. This paper describes multi-range approach of area-based stereo matching for grid mapping and visual navigation in uncertain environment. Camera calibration parameters are optimized by evolutionary algorithm for successful stereo matching. To obtain reliable disparity information from both images, stereo images are to be decomposed into three pairs of images with different resolution based on measurement of disparities. The advantage of multi-range approach is that we can get more reliable disparity in each defined range because disparities from high resolution image are used for farther object a while disparities from low resolution images are used for close objects. The reliable disparity map is combined through post-processing for rejecting incorrect disparity information from each disparity map. The real distance from a disparity image is converted into an occupancy grid representation of a mobile robot. We have investigated the possibility of multi-range approach for the detection of obstacles and visual mapping through various experiments.     

Fast stereo matching based on edge energy information

A new improvement is proposed for stereo matching which gives a solution to disparity map in terms of edge energy.We decompose the stereo matching into three parts:sparse disparity estimation for image-pairs,edge energy model and final disparity refinement.A three-step procedure is proposed to solve them sequentially.At the first step,we perform an initial disparity model using the ordering constraint and interpolation to obtain a more efficient sparse disparity space.At the second step,we apply the energy function by the edge constraints that exist in both images.The last step is a kind of disparity filling.We determine disparity values in target regions based on global optimization.The proposed three-step simple stereo matching procedure yields excellent quantitative and qualitative results with Middlebury data sets in a fast way.     

基于特征点匹配的接触网磨损检测研究

跨座式单轨交通接触网磨损检测中,传统的人工巡检方式存在效率低下、安全性差等问题。研究了线阵立体视觉在接触网磨损检测中的应用。立体匹配是立体视觉中的重点与难点。在线阵立体匹配过程中。首先,分别提取对应的左右图像的加速分割检测特征点(FAST); 其次,对特征点生成加速鲁棒性特征(SURF)的特征向量; 最后,利用双向快速近似最近邻搜索算法得到初始匹配点集,并使用随机采样一致性确定最终匹配点集。由匹配点集生成稠密、准确的视差图,进而获得接触网的实际残高。实验结果表明,该方法能快速、准确的检测出接触网的磨损情况     

一种改进的快速立体匹配算法

提出了一种改进的快速立体匹配算法。对于双目视觉系统采集的2幅图像,首先采用区域匹配算法进行初始快速立体匹配,再采用左右一致性检验剔除误匹配点,得到立体匹配的初始视差图。然后将初始视差作为图割法构图的限制条件,对初始视差图进行二值分割。最后对分割获得的前景区域和背景区域施加不同的限制,并通过修正能量函数,使构图网络大大减小,从而进一步提高了匹配速度。试验结果表明,该算法既提高了立体匹配速度,又保证了匹配精度。     

基于预搜索的高效双目分形视频编码

设计了基于预搜索的高效双目分形视频编码,并成功应用于立体视频编码之中.对基本分形双目视频编码进行了改进.利用了树状划分准则,起始帧采用块离散余弦变换(DCT)编码,简化了块搜索范围并提前减少了重复运算.在双目立体视频编码中,以左通道为基本层,采用单独的运动补偿预测( MCP)方式进行编码,充分利用了预搜索限制条件、改进的非对称十字形多层次六边形格点搜索算法、去方块环路滤波和分数像素块匹配算法;以右通道为增强层,采用MCP加视差补偿预测(DCP)方式进行编码,选择误差最小的匹配块作为预测结果.在进行DCP编码时,充分利用视差分布约束条件,提出了快速的视差估计算法.实验结果表明,提出的编码方法在保证一定的峰值信噪比(PSNR)前提下,平均压缩时间是基本分形双目视频编码的18％～23％,压缩比提高了15.13～47.49,显著地改善了基本分形视频压缩算法的性能,使分形视频压缩的应用具有更大的灵活性和实用性.     

巡检机器人中的指针式仪表读数识别系统

为了解决智能巡检机器人仪表读数识别中易受光照变化影响、识别精度不高等问题,结合高压变电场中常见指针区域的图像特点,建立了指针式仪表读数高精度识别系统。鉴于巡检机器人的室外工作环境,提出了迭代最大类间方差算法,实现了多种光照条件下仪表图像的指针区域提取。经过分析指针转动和图像特性,提出了基于Hough变换的指针角度识别,推导出指针角度与仪表读数的函数关系。该算法较传统Hough变换角度提取法,增加了指针中心线通过表计中心等约束条件,提高了指针角度提取的精度,降低了搜索数据量和搜索时间。通过大量实验验证所建立的表计读数识别系统可实现室外各种光照条件下表计读数识别,获得95%以上的正确识别率。多组鲁棒性实验分析表明,该系统对光照条件、指针宽度、表盘干扰、拍摄角度(不产生指针阴影)具有较好的鲁棒性,但由于拍摄角度而产生指针阴影时,会引起较大的指针中心线提取和角度计算偏差,从而降低仪表读数识别精度。