基于SIFT特征的月面模拟环境视差估计

根据对月球车双目立体视觉系统及其工作环境特点的分析,给出了一种基于SIFT特征的月面模拟环境视差估计方法;首先通过尺度不变特征变换方法从图像中提取关键点作为特征点,然后以特征点特征向量的相异度作为匹配度量进行特征点匹配,最后通过已匹配特征点的种子扩散来进行视差的估计;与传统的SIFT特征匹配算法相比,通过减少特征点的维数可以提高月面模拟环境图像的匹配速度,而利用行扩散的传播方式可以提高匹配精度;实验结果表明,该算法用于室外地形图对的匹配时,可以生成较为准确和稠密的视差图,证明了该算法的实用性和有效性.     

基于频率敏感三维自组织映射的视差估计算法

提出基于频率敏感三维自组织映射的立体视频视差估计算法,视差预测采用基于亮度分类频率敏感三维自组织映射(Classified Frequency Sensitive Three-Dimensional Self-Organizing Map,CFS-3DSOM)的视差模式识别(Disparity pattern recognition,DPR)算法。其基本思想是对视差图像的低亮度区域和高亮度区域分别进行预测,在训练模式库时引入频率敏感方法。实验表明,与传统基于块的视差估计算法相比,CFS-3DSOM-DPR算法的视差预测图像的平均峰值信噪比提高了0.78~1.78dB,时间减少了70%。     

联合运动估计的多视点视频视差估计新方法

针对多视点视频编码中运动估计和视差估计运算量大的特点,提出了一种联合运动估计的多视点视频视差估计方法。在时域上对每个视点的宏块的运动状态建立 Kalman 滤波器,预测当前宏块的运动矢量。在运动估计基础上结合空域信息,分析了视差矢量和运动矢量的几何关系,计算了当前宏块的视差矢量。实验结果表明,本文方法和全搜索算法及快速算法相比,在大幅节省了编码时间基础上又提高了率失真性能。     

均值偏移的多视点视差估计新方法

针对多视点视频编码视差估计计算量大的特点,提出一种基于均值偏移的多视点视差估计方法。在时空域上,分析了视差矢量和运动矢量的相关性,计算了预测视差矢量,确定了视差匹配的初始搜索位置。将该位置作为均值偏移迭代计算的初值,在参考帧中完成宏块的最佳匹配。通过实验表明：新方法与全搜索算法相比,在率失真性能降低甚微的情况下编码时间降低了94%以上;和快速搜索算法相比,新方法编码时间降低10%以上,率失真性能获得提高。     

视差估计下VR图像几何特征数字化提取

为了快速理解图像信息,提高可视化识别分类效果,提出视差估计下VR图像几何特征数字化提取.将图像几何特征分为面积、周长、质心与延伸方向等类型,利用视差估计法获取图像相邻块间相似尺度,设定阈值,选取最佳参考视点;根据参考视点,引入高斯卷积核确定空间内核,构建尺度空间,保留图像边缘信息;定义候选点,初步划分关键点区间,针对候选点空间函数值,通过阈值比较,过滤出对比度较低的点,建立关键点集合;利用离散Gabor小波变换方法,得出Gabor变换系统数均值和方差,组成几何特征向量;结合最大能量值实现所有特征空间的向量排序,完成几何特征数字化提取.仿真结果表明,上述方法可利用较少的特征点准确提取出几何特征,更有利于图像识别分类.     

立体视频编码中运动和视差联合估计算法的研究

立体视频编码不仅要在同一个视点间进行运动估计,还要在相邻视点间进行视差估计,计算复杂度非常高.如何有效地结合运动估计和视差估计,降低运算复杂度是当前亟待解决的问题.本文详细分析了立体视频左右通道视频流之间的相关性,提出一种运动和视差联合估计快速算法.根据运动—视差模型,结合时空域的多参考帧来进行联合的运动和视差估计,实现对数据的有效编码压缩.实验证明,该算法与传统的全搜索算法相比,能在保证率失真性能基本不变的前提下,降低96.45%的运算复杂度,大大提高编码速度.     

基于视差和阈值分割的立体视频对象提取

视频对象分割和提取是编码、通信以及视频检索等基于内容视频处理中的关键问题，为了从只有单一全局运动、含有重叠多对象的立体视频序列中提取对象，提出了一种基于视差分析和阈值分割的对象提取方法。该方法首先用改进的区域匹配法进行立体视差估计，并通过合理减少匹配窗的运算量及根据视差特性设定搜索路径来加快匹配速度；然后针对图像中不同的对象分别采用迭代阈值法和自适应阈值法进行二次分割；最后从阈值分割结果中提取出各个对象。实验提取出的各深度层视频对象效果良好，表明该方法是一种有效的适用于全局运动的立体视频序列对象提取方法。     

面向立体视频的视差-运动同步联立预测算法

针对立体视频序列的时间空间冗余和交叉冗余,提出一种快速编码算法.应用立体-运动约束模型在视差域和运动域进行联合迭代搜索,根据每次迭代后的模型误差设置自适应修正窗口来保证预测矢量精度,视差矢量和运动矢量可以快速同步获得.实验结果表明,该算法在保证高率失真性能的同时,可以大幅度降低编码复杂度.     

基于半规则网格的视差估计算法

立体视频中视图间的视差估计是压缩的关键技术。针对视差估计中传统网格法的缺点,提出一种使用半规则的网格来估计视差的方法。该方法综合了节点均匀分布的规则网格和节点贴合物体边界的非规则网格这两种方法,选择具有最高的梯度和的行和列的交点作为网格的节点,并且利用每个节点的梯度值进一步剔除在缺少纹理区域中的节点,最后在多分辨率下混合块迭代和网格迭代对剩余的节点进行匹配。该算法剔除了匹配时易于出错的节点,同时也减少了需要估计的节点数。实验结果表明该方法改善了标准网格法的匹配质量,同时也降低了匹配的计算复杂度。     

基于视差矢量特点的视差估计快速算法

视差估计是立体视频压缩中的一项关键技术。针对极线校正算法存在的不足,提出了一种基于视差矢量特点的快速视差估计算法。算法分析了平行摄像机与会聚摄像机系统中视差矢量特点,并根据它们的特点通过三步搜索来确定最佳匹配块。分别在分辨率640×480与1280×720两种素材中进行了实验,实验结果表明,与JMVC中的TZ搜索算法相比,所提算法能够在保证图像质量与压缩效率基本不变的前提下,有效缩短编码时间,提高编码效率。由于所提算法不再进行极线校正,所以不会产生极线校正算法存在的问题。     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

基于前向搜索的快速视差范围估计方法

在立体匹配中,设置合理的视差搜索范围能够提高匹配的速度和精度。为此,提出了一种基于前向搜索的图像迭代细分方法用以估算视差范围的上下限。将参考图像均分为若干个图像块,在对每一块的匹配过程中,采用前向搜索策略,对当前匹配块继续均分成若干子块,并对其子块进行相似度匹配。在计算视差范围上限时,用当前块的子块视差中的最大值来表示其视差值,找到视差最大的图像块后继续迭代细分,直到得到稳定的视差范围上限。在计算视差范围下限时,用当前块的子块视差中的最小值来表示其视差值,找到视差最小的图像块后继续迭代细分,直到得到稳定的视差范围下限。实验结果表明,采用前向搜索策略计算视差范围的方法,在搜索空间降低比率达到28.8%的同时能够达到98%的命中率,相较直接进行匹配误匹配率降低了47.4%,能够得到更精确的视差范围。     

Fast motion and disparity estimation for multiview video coding

Multiview video involves a huge amount of data, and as such, efficiently encoding each view is a critical issue for its wider application. In this paper, a fast motion and disparity estimation algorithm is proposed, utilizing the close correlation between temporal and inter-view reference frames. First, a reliable predictor is found according to the correlation of motion and disparity vectors. Second, an iterative search process is carried out to find the optimal motion and disparity vectors. The proposed algorithm makes use of the prediction vector obtained in the previous motion estimation for the next disparity estimation and achieves both optimal motion and disparity vectors jointly. Experimental results demonstrate that the proposed algorithm can successfully save an average of 86% of computational time with a negligible quality drop when compared to the joint multiview video model (JMVM) full search algorithm. Furthermore, in comparison with the conventional simulcast coding, the proposed algorithm enhances the video quality and also greatly increases coding speed.     

冗余离散小波变换立体视差估计及DSP实现

立体图像技术将是未来多媒体发展的重点方向,其中视差估计是立体图像处理的关键,针对目前视差估计方法的不足,提出了一种基于冗余离散小波变换的视差估计算法。首先对参考图像进行冗余小波变换,提取特征点,然后根据特征点在目标图像进行视差估计。实验表明该算法能有效获得视差矢量,视差匹配后能得到良好的重建图像。同时在TI公司的多媒体器件DM642上进行了实验。结果表明,提出的设计方案具有实时可行性,并较有效地减少了运算复杂性。     

3D feature extraction of head based on target region matching

In order to recognize and track all of the heads exactly in top view images, a novel approach of 3D feature extraction of heads based on target region matching is presented. The main idea starts from the disparity of head region, which is generally extracted in global dense disparity image obtained by block matching method. Deferent from the block matching, the correspondence searching in target region matching is not done in the regions around every pixel in image but in the candidate head regions extracted in advance by monocular image processing. As the number of candidate head regions is far less than the resolution of image, the computational complexity and time consume can be largely reduced. After the disparity of candidate head regions are obtained, the 3D features of head, including the height feature and the perspective feature, can be extracted to largely improve the accuracy of head recognition.     

多层次特征融合的人群密度估计

目的 人群数量和密度估计在视频监控、智能交通和公共安全等领域有着极其重要的应用价值。现有技术对人群数量大,复杂环境下人群密度的估计仍存在较大的改进空间。因此,针对密度大、分布不均匀、遮挡严重的人群密度视觉检测,提出一种基于多层次特征融合网络的人群密度估计方法,用来解决人群密度估计难的问题。方法 首先,利用多层次特征融合网络进行人群特征的提取、融合、生成人群密度图;然后,对人群密度图进行积分计算求出对应人群的数量;最后,通过还原密度图上人群空间位置信息并结合估算出的人群数量,对人群拥挤程度做出量化判断。结果 在Mall数据集上本文方法平均绝对误差（MAE）降至2.35,在ShanghaiTech数据集上MAE分别降至20.73和104.86,与现有的方法进行对比估计精度得到较大提升,尤其是在环境复杂、人数较多的场景下提升效果明显。结论 本文提出的多层次特征融合的人群密度估计方法能有效地对不同尺度的特征进行提取,具有受场景约束小,人群数量估计精度高,人群拥挤程度评估简单可靠等优点,实验的对比结果验证了本文方法的有效性。