基于双序列比对算法的立体图像匹配方法*

在分析现有立体匹配方法的基础上,提出一种基于双序列比对算法的立体图像匹配方法。将立体图像对中同名极线上的像素灰度值看做是一对字符序列,使用基于动态规划思想的双序列比对算法对这些对字符序列进行匹配,以获取立体图像视差。为验证该方法的可行性和适用性,采用人脸立体图像对进行实验。实验结果表明,使用该方法进行立体图像匹配能获得光滑的、稠密的视差图。基于动态规划思想的双序列比对算法能够有效地解决立体图像匹配问题,从而为图像的立体匹配提供了一个实用有效的方法。     

基于区域分割和邻域相关性的立体匹配算法

提出一种在图像分割基础上生成稠密视差图的立体匹配算法,利用滑动窗口生成鲁棒性较好的视差空间图DSI,运用分水岭算法将图像分割成多个小区域,根据每个区域在视差空间图内的视差分布情况计算该区域的信赖度,并综合各区域的邻域对其产生的影响,以获得稠密视差图,采用国际标准数据对该算法进行测试,实验结果表明,该算法能够获得较好的匹配结果。     

一种利用动态规划和左右一致性的立体匹配算法

立体匹配是计算机视觉领域研究的一个重要课题,为了得到准确、稠密的视差图,提出了一种利用动态规划和左右一致性的立体匹配算法。该算法首先分别以左、右图像为基元图像,计算各自的视差空间图像,在视差空间图像上利用动态规划,计算得到左视差图和右视差图;然后通过使用左右视差图之间的一致性关系,消除误匹配点,得到较为准确的部分视差图;最后利用视差图的顺序约束关系,给出未匹配视差点的搜索空间计算方法,并利用一种简单有效的方法来计算这些点的视差值。在一些标准立体图像对上所做的实验结果表明,该算法效果良好。     

基于自适应聚合的立体视觉合作算法

提出了一种恢复高质量稠密视差图的立体视觉合作算法.该算法采用基于形态学相似性的自适应加权方法,迭代地进行局部邻域的自适应聚合和抑制放大,实现高效率和高质量稠密视差图计算.将该算法推广到三目摄像机立体匹配系统中,通过重建摄像机坐标系实现图像校正,并根据连续性假设和唯一性假设,建立视差空间中的支持关系和三目摄像机之间的抑制关系.实验结果表明,三目立体合作算法能够得到精确的场景视差映射,并可以实现多基线方向的遮挡检测.该算法特别适用于由多个廉价摄像机组成的立体视觉系统,在几乎不增加软件和硬件资源的情况下,就可以得到高质量的稠密视差图.     

融合匹配特征的立体图像颜色校正方法

立体图像颜色校正方法的目标在于消除立体图像左右视图之间的颜色差异.现有的立体图像颜色校正方法存在校正效果和时间效率不平衡的问题.为了解决这一问题,本文提出一种融合匹配特征的立体图像颜色校正方法.首先,通过视差注意力颜色校正网络得到待校正目标图像的初始校正图.然后,将初始校正图和参考图像输入基于光流的图像匹配网络得到光流匹配目标图.最后,由图像融合网络融合初始校正图、光流匹配目标图、参考图像和目标图像的特征并进行图像重建,得到最终的校正结果.实验结果表明,本文的方法具有先进的性能,能够在保持高时间效率的同时实现高质量的立体图像颜色校正效果.     

一种用于三维重建的彩色Sift准稠密匹配算法

针对复杂光照条件下Sift算法对彩色图像匹配能力较差,基于Kubelka-Munk理论,提出了一种适用于未标定图像的准稠密立体匹配算法,有助于更精确地进行三维重建。该算法首先求出彩色图像各个像素的颜色不变量,提取彩色特征点并通过构造彩色Sift特征描述子进行初匹配,采用RANSAC鲁棒算法消除误匹配生成种子点;然后依据视差约束提出一种基于视差梯度均值自适应窗口方法,根据视差梯度均值调整搜索范围;最后采用最优先原则进行区域增长。实验证明,该算法能获得比较满意的匹配效果,是一种有效的用于三维重建的准稠密匹配算法。     

基于深度匹配的由稀疏到稠密大位移运动光流估计

针对非刚性大位移运动场景的光流计算准确性与鲁棒性问题,提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法.首先利用深度匹配模型计算图像序列相邻帧的初始稀疏运动场;其次采用网格化邻域支持优化模型筛选具有较高置信度的图像网格和匹配像素点,获得鲁棒的稀疏运动场;然后对稀疏运动场进行边缘保护稠密插值,并设计全局能量泛函优化求解稠密光流场.最后分别利用MPI-Sintel和KITTI数据库提供的测试图像集对本文方法和Classic+NL,DeepFlow, EpicFlow以及FlowNetS等变分模型、匹配策略和深度学习光流计算方法进行综合对比与分析,实验结果表明本文方法相对于其他方法具有更高的光流计算精度,尤其在非刚性大位移和运动遮挡区域具有更好的鲁棒性与可靠性.     

基于纹理分析的视差估计算法

针对传统方法难以可靠估计图像中纹理单一像素点视差的问题,提出一种新的基于纹理分析的视差估计算法。与已有方法不同,在以极线约束计算像素点视差时,将极线上纹理单一且近似的像素点合并成直线段,根据连续性和唯一性约束对直线段进行整体匹配,采用直线段的视差得到纹理单一区域的稠密视差图。利用直线段进行整体匹配,提高比较基元包含的信息量,减少扫描范围,从而降低误匹配产生的概率和算法时间复杂度。实验结果表明,该方法能提高纹理单一区域稠密视差图的精度,匹配速度快,具有实用价值。     

一种沿区域边界的动态规划立体匹配算法

提出一种基于图像区域分割的立体匹配算法.与通常的沿扫描行进行动态规划的立体匹配算法不同,该算法以图像"区域"为基元计算视差.首先使用相关法得到初始视差,然后利用一种区域边界上的多种子动态规划算法对视差进行精细计算,最终通过插值得到整个图像的稠密视差.实验结果表明,此算法速度较快、可靠性较高.     

全景纵向漫游中极线匹配的置信传播算法

深度信息的获取是全景纵向漫游的关键基础,为了提高前后场景图像匹配的精确度,提出一种极线匹配的置信传播算法.首先根据对极几何原理,以图像中心点为基准全方向发散构建出前后场景图像的对极线;其次利用对极线路径信息在匹配代价函数中增加垂直方向的匹配代价分量,并用置信传播算法生成视差图;最后通过前后场景图像的几何关系构建视差与深度的计算模型,从而获取深度信息.实验结果表明,与局部优化算法相比,该算法深度图的结构相似性平均提高了0.22,峰值信噪比平均提高了24%,对于前后场景图像深度信息的获取具有更好的效果.     

On 3-D scene flow and structure recovery from multiview image sequences

Two novel systems computing dense three-dimensional (3-D) scene flow and structure from multiview image sequences are described in this paper. We do not assume rigidity of the scene motion, thus allowing for nonrigid motion in the scene. The first system, integrated model-based system (IMS), assumes that each small local image region is undergoing 3-D affine motion. Non-linear motion model fitting based on both optical flow constraints and stereo constraints is then carried out on each local region in order to simultaneously estimate 3-D motion correspondences and structure. The second system is based on extended gradient-based system (EGS), a natural extension of two-dimensional (2-D) optical flow computation. In this method, a new hierarchical rule-based stereo matching algorithm is first developed to estimate the initial disparity map. Different available constraints under a multiview camera setup are further investigated and utilized in the proposed motion estimation. We use image segmentation information to adopt and maintain the motion and depth discontinuities. Within the framework for EGS, we present two different formulations for 3-D scene flow and structure computation. One formulation assumes that initial disparity map is accurate, while the other does not. Experimental results on both synthetic and real imagery demonstrate the effectiveness of our 3-D motion and structure recovery schemes. Empirical comparison between IMS and EGS is also reported.     

基于多目立体匹配的深度获取方法

提出一种深度获取方法,利用基于颜色分割的多目立体匹配算法,从多个视点图像中提取深度信息。利用mean-shift算法,根据颜色信息分割参考图像,提取图像中的颜色一致性区域,通过局部窗口匹配算法进行多目立体匹配得到多幅初始视差图,根据融合准则将多幅视差图合成为一幅视差图以提高视差图的精度并对视差图进行优化后处理,按照视差与深度的关系,将视差图转化为深度图。该算法能有效处理匹配过程中的遮挡区域,提高匹配精度和视差图的准确度。     

Stereoscopic Scene Flow Computation for 3D Motion Understanding

Building upon recent developments in optical flow and stereo matching estimation, we propose a variational framework for the estimation of stereoscopic scene flow, i.e., the motion of points in the three-dimensional world from stereo image sequences. The proposed algorithm takes into account image pairs from two consecutive times and computes both depth and a 3D motion vector associated with each point in the image. In contrast to previous works, we partially decouple the depth estimation from the motion estimation, which has many practical advantages. The variational formulation is quite flexible and can handle both sparse or dense disparity maps. The proposed method is very efficient; with the depth map being computed on an FPGA, and the scene flow computed on the GPU, the proposed algorithm runs at frame rates of 20 frames per second on QVGA images (320×240 pixels). Furthermore, we present solutions to two important problems in scene flow estimation: violations of intensity consistency between input images, and the uncertainty measures for the scene flow result.     

Utilization of stereo disparity and optical flow information for the computer analysis of human interactions

We propose a system that simultaneously utilizes the stereo disparity and optical flow information of real-time stereo grayscale multiresolution images for the recognition of objects and gestures in human interactions. For real-time calculation of the disparity and optical flow information of a stereo image, the system first creates pyramid images using a Gaussian filter. The system then determines the disparity and optical flow of a low-density image and extracts attention regions in a high-density image. The three foremost regions are recognized using higher-order local autocorrelation features and linear discriminant analysis. As the recognition method is view based, the system can process the face and hand recognitions simultaneously in real time. The recognition features are independent of parallel translations, so the system can use unstable extractions from stereo depth information. We demonstrate that the system can discriminate the users, monitor the basic movements of the user, smoothly learn an object presented by users, and can communicate with users by hand signs learned in advance. Received: 31 January 2000 / Accepted: 1 May 2001 Correspondence to: I. Yoda (e-mail: yoda@ieee.org, Tel.: +81-298-615941, Fax: +81-298-613313)     

张量分析在视差图生成中的应用

针对当前视差图生成算法中常用的匹配代价对光晕等复杂光学畸变比较敏感的问题,在对相机成像模型进行分析的基础上提出了一种基于张量分析的匹配代价。和目前常用的匹配代价相比,该匹配代价不但对光晕效应具有更强的鲁棒性而且能够更加准确的反映图像的局部结构信息,有效的降低了匹配的歧义性。在本文中,张量在积分图像上构造,张量间的距离在黎曼流形上测量;此外,提出了一种简单有效的视差图后续处理方法进一步修正了初始视差图中的不可信视差。在标准测试集和人工图像上的实验结果验证了该方法的有效性。     

Monocular scene flow estimation via variational method

Scene flow provides the 3D motion field of point clouds, which correspond to image pixels. Current algorithms usually need complex stereo calibration before estimating flow, which has strong restrictions on the position of the camera. This paper proposes a monocular camera scene flow estimation algorithm. Firstly, an energy functional is constructed, where three important assumptions are turned into data terms derivation: a brightness constancy assumption, a gradient constancy assumption, and a short time object velocity constancy assumption. Two smooth operators are used as regularization terms. Then, an occluded map computation algorithm is used to ensure estimating scene flow only on un-occluded points. After that, the energy functional is solved with a coarse-to-fine variational equation on Gaussian pyramid, which can prevent the iteration from converging to a local minimum value. The experiment results show that the algorithm can use three sequential frames at least to get scene flow in world coordinate, without optical flow or disparity inputting.     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

基于三角形网格的浓密视差图提取

提出一种基于三角形网格的浓密视差图提取算法。用SUSAN算法从立体图像对中提取某一幅图像的特征点,用Delaunay的方法将特征点三角化,然后再进行视差的计算,最终得到浓密的视差图。该算法将SUSAN算法和DT(Dalau-nay triangulation)网格结合起来,使算法更加简单化,实现了浓密视差图的快速提取。     

基于相位与区域分割的视差估计算法

提出一种结合小波变换与图像分割的立体匹配算法。该算法利用双树复小波多通道提取立体像对带通相位信息作为匹配基元,求取初始视差场。针对单独通道提出一个相位匹配程度方程式,将视差计算归结为求解该方程的极大值。结合图像分割与视差平面拟合的方法对初始视差场进行修正,从而得到精度较高的密集视差图。实验结果表明,该算法结构简单,能快速有效地产生密集视差场。