基于控制点的分层双向动态规划立体匹配算法

提出一种基于控制点的分层双向动态规划立体匹配算法．首先，利用改进Volumetric迭代算法获取具有高可靠度的控制点，将其作为具有正确视差的匹配点．其次，在高可靠度控制点的指导下，利用分层双向动态规划算法在DSI（disparity-space image）视差空间图中进行初匹配，进而在Delta DSI（delta disparity-space image）视差变化空间图中进行精匹配，从而获取高密度视差图．实验结果表明，该算法不仅可以改善传统直接动态规划立体匹配算法产生的带状条纹瑕疵，而且计算速度较快，匹配结果也优于传统动态规划的匹配结果．     

基于区域分割和邻域相关性的立体匹配算法

提出一种在图像分割基础上生成稠密视差图的立体匹配算法,利用滑动窗口生成鲁棒性较好的视差空间图DSI,运用分水岭算法将图像分割成多个小区域,根据每个区域在视差空间图内的视差分布情况计算该区域的信赖度,并综合各区域的邻域对其产生的影响,以获得稠密视差图,采用国际标准数据对该算法进行测试,实验结果表明,该算法能够获得较好的匹配结果。     

Dense Features for Semi-Dense Stereo Correspondence

We present a new feature based algorithm for stereo correspondence. Most of the previous feature based methods match sparse features like edge pixels, producing only sparse disparity maps. Our algorithm detects and matches dense features between the left and right images of a stereo pair, producing a semi-dense disparity map. Our dense feature is defined with respect to both images of a stereo pair, and it is computed during the stereo matching process, not a preprocessing step. In essence, a dense feature is a connected set of pixels in the left image and a corresponding set of pixels in the right image such that the intensity edges on the boundary of these sets are stronger than their matching error (which is the difference in intensities between corresponding boundary pixels). Our algorithm produces accurate semi-dense disparity maps, leaving featureless regions in the scene unmatched. It is robust, requires little parameter tuning, can handle brightnessdifferences between images, nonlinear errors, and is fast (linear complexity).     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

Accurate real-time neural disparity MAP estimation with FPGA

We propose in this paper a new method for real-time dense disparity map computing using a stereo pair of rectified images. Based on the neural network and Disparity Space Image (DSI) data structure, the disparity map computing consists of two main steps: initial disparity map estimation by combining the neuronal network and the DSI structure, and its refinement. Four improvements are introduced so that an accurate and fast result will be reached. The first one concerns the proposition of a new strategy in order to optimize the computation time of the initial disparity map. In the second one, a specific treatment is proposed in order to obtain more accurate disparity for the neighboring pixels to boundaries. The third one, it concerns the pixel similarity measure for matching score computation and it consists of using in addition to the traditional pixel intensities, the magnitude and orientation of the gradients providing more accuracy. Finally, the processing time of the method has been decreased consequently to our implementation of some critical steps on FPGAs. Experimental results on real datasets are conducted and a comparative evaluation of the obtained results relative to the state-of-art methods is presented.     

基于视差优化的立体匹配网络

现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。     

用于立体视频会议系统的立体对象分割与跟踪算法

基于对象的立体视频编码压缩技术能在立体视频会议系统中得到很好的应用，从立体视频信号中正确分割出立体视频对象是基于对象的立体视频编码压缩的一个前提条件，基于立体视频会议图像序列的时空特性和左右通道间的视差特性，提出了一种立体视频对象分割与跟踪算法，首先利用空域分割和运动检测相结合的方法，提取左通道中的运动物体；然后，提出一种左右通道间基于边缘轮廓的二级视差匹配算法，并根据已分割的左通道运动对象提取右通道的视频运动对象；最后利用对象边界轮廓的跟踪方法对后续图像中的运动对象进行快速跟踪，实验结果说明文中算法能够应用于立体视频会议图像序列的立体对象分割与跟踪。     

基于双序列比对算法的立体图像匹配方法*

在分析现有立体匹配方法的基础上,提出一种基于双序列比对算法的立体图像匹配方法。将立体图像对中同名极线上的像素灰度值看做是一对字符序列,使用基于动态规划思想的双序列比对算法对这些对字符序列进行匹配,以获取立体图像视差。为验证该方法的可行性和适用性,采用人脸立体图像对进行实验。实验结果表明,使用该方法进行立体图像匹配能获得光滑的、稠密的视差图。基于动态规划思想的双序列比对算法能够有效地解决立体图像匹配问题,从而为图像的立体匹配提供了一个实用有效的方法。     

一种基于特征约束的立体匹配算法

立体匹配一直是计算机视觉领域的一个中心研究问题,为了得到适用于基于图象绘制技术的视图合成高密度视差图,提出了基于边缘特征约束的立体西欧算法,该方法首先利用基于特征技术来得到边缘特征点的准确视差图,然后在边缘特征点视差图的约束下,对非边缘特征点采用区域相关算法进行匹配,这样既缩小了匹配搜索空间,又保证了匹配的可靠性,边缘特征点和边缘特征点的匹配采用双向匹配技术又进一步保证了匹配的可靠性,实验结果表明,该算法效果良好,有实用价值。     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

小型无人机动平台的双目立体匹配方法研究

针对双目立体匹配中存在的误匹配、视差场稀疏等不足,提出了一种将区域匹配和特征匹配相结合的块匹配算法.对匹配图像对进行极线校正和限定搜索区域,采用SAD算法进行相似度测量.对小型无人机动平台的双目系统采集的任意一幅图像对用不同大小的匹配窗进行匹配.对结果进行了分析,结果表明了该方法的良好效果及实用性.     

自适应窗口的时间规整立体匹配算法

针对立体视觉中图像对应点的误匹配问题,以时间规整算法(DTW)为基础,提出了自适应窗口的立体匹配算法．根据外极线的约束,在自适应窗口内采用灰度相关技术得到长度不相等的两个灰度段作为相容的匹配序列;利用动态规划法及连续性约束寻找一条最佳的匹配路径．根据回溯得到的匹配路径及其坐标值得到高密度视差图．实验结果表明,该算法具有较高的运行效率和良好的匹配效果．     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

Multi-scale sparse feature point correspondence by graph cuts

This paper presents a global stereo sparse matching technique based on graph cut theory to obtain accurate correspondence of stereo point pair in vision measurement applications.First, in order to obtain accurate location of feature points, a new multi-scale corner detection algorithm is proposed where wavelet coefficients are used to determine feature points by calculating an auto-correlation matrix.A sparse graph is constructed based on the feature points according to the graph cut theory.Then, the featur...     

基于特征约束及区域相关的体视匹配方法

立体匹配是计算机视觉领域的一个关键问题,同时也是难点问题。为了得到准确的高密度视差图,通过对基于区域和基于特征的体视方法的讨论,综合两种方法的优点,提出了基于边缘特征约束及区域相关的立体匹配算法。该方法首先利用基于特征技术来得到边缘特征点,对边缘特征点再做灰度等区域相关匹配处理,然后在匹配的边缘特征点约束下,对非边缘特征点采用区域相关算法进行匹配,得到整体高密度视差图。这样既缩小了匹配搜索空间,又保证了匹配的可靠性。实验结果表明,该算法具有良好的效果和实用价值。     

基于分层视差估计的立体图象编码

基于立体视频数据压缩的目的，提出了一种基于分层视差估计/补偿的立体图象编码方案。该方案是采用JPEG标准独立编码参数图象，并利用视差估计/补偿技术编码目标图象，应用分层马尔可夫随机场（MRF）模型。率失真（RD）模型以及交叠块匹配的混合视差估计/补偿算法，可得到光滑准确的视差场，与通常的变尺寸块匹配（VSBM）相比，该算法得到的视差补偿图象的峰值信噪比（PSNR）可提高2.5dB左右；双向半像素精度的视差估计/补偿的性能要比单向整像素搜索提高3dB，实验结果表明，该立体图象编码方案能有效地压缩立体图象数据，并可推广到立体序列图象的编码压缩中。     

一种改进的基于图割的立体匹配算法

为了提高立体匹配算法的精确度,提出了一种结合图割与Mean Shift图像分割的立体匹配算法。首先用Mean Shift算法对参考图像进行图像分割,得到分割后的标记图,然后将分割信息结合到图割算法的能量函数中,最后用改进的能量函数和图割算法得出致密的视差图。实验结果表明,提出的算法具有更高的精确度和更好的边缘特征。     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

一种新的基于特征点的立体匹配算法

目前,立体匹配是计算机视觉领域中最活跃的研究主题之一。为了快速并更精确的对特征点进行立体匹配,本文提出了一种新的基于特征点的立体匹配算法。该方法独立于特征点的检测算法,先以扫描线作为匹配单元,然后以鲁棒函数为匹配代价函数,最后用顺序约束对每一匹配单元的视差图进行检测与校正。实验证明,该方法的匹配精度高于传统的基于NCC(norm alized cross-correlation)的立体匹配算法,并且运行时间快,可以应用于纯软件的基于特征点的立体视觉系统中。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。