快速分形立体视频编码系统的设计

提出了一种基于分形视频编码的快速立体视频编码算法。首先,对传统分形视频编码方法进行了改进:采用基于DCT变换的方式对I帧图像进行编码,同时采用树状划分方法对非I帧图像进行块匹配。在立体视频编码中以左通道为基本层,右通道为增强层;左通道采用单独的运动补偿预测方式(MCP)进行编码,右通道采用MCP加视差补偿预测方式(DCP)进行编码。在进行DCP编码方式时,充分利用立体平行摄像结构中的偏振性和方向性简化DCP搜索方式,由此提出了一种快速搜索算法。实验结果表明,在保证峰值信噪比(PSNR)和压缩比(CR)基本不变的前提下,本文所提出的快速编码算法能够将运算复杂度降低为全搜索算法的0.028～0.029倍,增强了立体视频编码的实用性。     

一种对立体视频序列进行视差估计的新方法

提出了一种对立体视频序列进行视差估计的新方法,利用立体视频序列前后帧之间的运动信息,来提高视差估计的精度.为了得到精确的视差图,必须找出遮挡区域并对遮挡区域的视差进行补偿.在立体视频序列中,由于前景或背景对象的运动,当前帧中的遮挡区域在前后几帧中的运动对应区域可能不是遮挡区域,因此可以利用这些对应区域的视差值来补偿遮挡区域的视差.实验结果表明本方法能对大部分遮挡区域的视差进行补偿,得到更精确的视差图.     

基于短基线双目内窥镜成像系统的3D视频标定与校正

为了解决短基线双目内窥成像系统获得的视频图像在裸眼3D显示设备中观看到的视频纵深感和立体感较弱的问题,通过分析双目内窥镜的参数以及立体视频中图像对的视差,提出了基于短基线双目内窥成像系统的立体视频校正和视差调整方法。首先,对采用的双目结构内窥系统进行相机标定,获取各相机参数和相机间的位置参数;其次,利用获得的参数进行相机视频校正,再针对裸眼3D显示设备对视频源的参数要求进行图像对的视差调整,最终获得符合裸眼3D立体显示设备要求并适合人眼观看的双目内窥系统实时显示立体视频。通过实验验证了方法的可行性,实际搭建了一套基线距离为8 mm的短基线双目内窥成像系统,原始视差范围(0,64)像素,经视差调整后达到（-30, 30）像素,双路并行视频处理25 帧/s并实时显示。与实验室设计的裸眼3D立体显示系统匹配,可实现具有明显立体感的医用内窥镜实时裸眼3D成像。     

H.264快速运动估计算法的改进

为了提高视频压缩效率,对H.264中采用的快速运动估计算法UMhexagonS进行了改进。首先,在起点预测后加入一个结束搜索条件,判断是否结束对当前宏块的运动估计。然后,对于需要进一步运动估计的宏块,从两个方面对原算法进行了改进。提出了搜索模板分割方法,在进行十字形模板和大六边形模板搜索时,只需要根据该方法选择少量搜索点进行运动估计。根据运动矢量的统计特点,减少了正方形模板和扩展六边形模板的搜索点数。同时验证了所采用的搜索区域分割方法的合理性。实验结果显示,改进算法的运动估计时间比原算法平均减少了15.59%,而峰值信噪比和码率基本不变,并且能够适应各种运动类型的视频序列。得到的结果表明改进算法提高了总体编码性能。     

基于分形和H.264的视频编码系统

基于具有快速编解码速度的分形编码技术,提出了新的H.264中P帧预测方法,用于减少视频压缩编码时间并降低码流输出.首先,分析了H.264的帧内预测算法、帧间预测算法和P帧预测算法的优缺点,介绍了本文提出的基于分形编码的新型视频压缩编码方法,讨论了该方法的优缺点.然后,结合H.264和分形的优点,用分形预测的方式对H.264中的P帧进行预测.最后,给出了在H.264中用分形预测改进P帧编码所产生的分形系数的编码和残差的编码.实验结果表明:与目前国际视频压缩标准H.264的标准测试模型JM15.1相比,在忽略峰值信噪比的情况下(平均降低0.09 dB),改进的P帧预测方法的码流和压缩时间分别降低为JM15.1的65％和19％,并且能够适应各种运动类型的视频序列.研究显示,改进的P帧预测方法显著提高了H.264的总体编码性能.     

针对H.264改进的快速整像素运动估计算法

以视频压缩标准H.264联合开发模型(JM)中的运动估计算法UMHexagonS为基础,提出了一个新的快速整像素运动估计算法来改进压缩编码性能.在起始搜索点预测部分,提出了新的预测运动矢量(MV)检测顺序,以提高起始搜索点的准确度;在全局搜索部分提出了自适应全局搜索方法,根据准确度最高的两个预测MV之间的关系,适当跳过非对称十字型模板搜索和非均匀多重六边形模板搜索,并通过对不同序列的测试,验证了判断准则的可行性与准确性.根据实际序列中最佳MV相对起始点的分布,提出了改进5×5搜索.另外,增加了针对子宏块的提前终止策略,在不增加额外运算量的前提下,进一步减少了运动估计开销.实验结果表明,相对UMHexagonS算法,提出的改进算法使搜索点总数平均减小了83.80％,信噪比平均下降了0.021 dB,或输出码率等效增加了0.46％.该算法有效降低了运动估计的运算量,而只带来了很小的编码性能下降,且对不同运动强度的视频序列具有均匀的算法效果.     

一种运动补偿时域滤波中的快速块匹配搜索算法

采用一种具有搜索初始点预测的自适应十字-准菱形搜索算法,对多个不同运动特征的典型视频序列进行运动估计以及补偿、时域滤波、重建,获得了较理想的效果.试验结果表明,该算法是一个准确而快速的块匹配搜索算法.     

基于前景提取的车辆识别与测量

立体匹配是双目立体视觉测量中的关键环节,具有重要的研究价值。本文提出了一种基于背景减除法和BM匹配算法相结合的车辆检测方法。该方法主要通过对视频帧和背景图像进行背景减除来屏蔽复杂外界环境因素干扰,并可以有效地提取车辆前景;进一步利用BM立体匹配算法对车辆进行块匹配,获取车辆的视差图并对车辆尺寸进行测量。实验结果表明:该系统能得到轮廓清晰、成像效果好的车辆视差图,且车辆尺寸的测量数据相对准确,具有一定的实时性和可靠性。     

基于双目视觉特性的立体视频编码码率控制算法

为了使立体视频中的比特分配更加符合人眼视觉感知特性,提出了一种非对称质量的立体视频编码码率控制算法。首先,建立了左右帧的码率分配比例与量化参数差值之间的立体指数RRQ(Rate-ratio Quantization)模型。然后,将码率控制算法分为SGOP(Stereoscopic Group of Pictures)层、立体图像对层和帧层等3个码率控制层。在SGOP层计算每个SGOP的目标码率和关键帧的量化参数;在立体图像对层根据剩余比特数和缓冲区饱和度计算每个立体图像对的目标比特;在帧层则通过分析双目视觉掩蔽效应,用一种适合于立体视频的率失真优化方法合理分配左右帧的目标码率。实验结果表明,本文算法的码率控制偏差平均值为0.21%;立体视频客观质量比对称质量算法和Wang的算法分别提高了0.23dB和0.06dB,且质量波动较为稳定。因此,该算法基本满足网络带宽传输要求。由于充分利用了人眼双目视觉特性,可满足人们对立体视频的视觉需求。     

基于双目立体视觉的深度信息测量

介绍了双目立体视觉三角测距原理和视觉测量系统,双目摄像机拍摄彩色图像,提取颜色、轮廓、纹理等识别特征用于目标区域识别。采用区域匹配算法获得视差图,根据视差计算目标区域的三维坐标信息。完成了目标测量实验并对实验结果进行分析。     

基于生物信息学中双DNA序列比对 算法的图像立体匹配及其实现

提出了一种基于生物信息学中双DNA序列比对算法的图像立体匹配新方法。图像立体匹配和生物信息学中双DNA序列比对的实质都是在匹配准则下搜索最佳匹配基元,因而新颖地将双序列比对算法引入图像立体匹配。首先介绍了基于动态规划的双序列比对算法原理及其用于图像立体匹配的实现方法,然后根据左右摄像机的最大视差是一个有限定值,进行了算法改进,极大地减少了计算量,并给出了VC6.0中的实现流程,最后采用4组不同的图像对进行了实验验证。该方法具有较低的计算复杂度和适宜于并行计算的特点,生成的视差图效果表明双序列比对算法为图像立体匹配提供了一个实用有效的方法。     

弱纹理环境双目视觉稠密视差鲁棒估计方法

精确稠密视差估计是立体视觉系统恢复观测场景三维信息的关键。从立体视觉在机器人环境感知的实际应用角度出发,提出了对于弱纹理、阴影和遮挡等关键影响因素,具有良好鲁棒性、精度和处理速度的稠密视差图估计算法。针对弱纹理、阴影和深度不连续的问题,设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计。由视差级数定义的消息向量通过异向平行迭代进行传播,消息向量包含表征像素点灰度相似性和平滑性的能量信息,通过全局能量函数的迭代收敛,快速获得视差初始估计。根据独立连通区域通常具有相似纹理特征和视差一致性的先验知识,提出了基于Mean-Shift聚类分割算法和参数空间投票自适应视差近似面估计算法,进行稠密视差的精细优化估计。利用具有不同弱纹理特征的5组标准测试图像、4组室内环境实际图像、4组室外环境实际图像和4组月面模拟特殊光照环境的实际环境图像进行了测试实验,实验结果表明了本文算法的良好鲁棒性和有效性。     

基于彩色图像的快速立体匹配算法研究

为了实现彩色图像的快速立体匹配,获取准确和致密的视差图,在全局匹配基础上提出了基于区域增长的全局匹配算法,该算法将图像对按行进行区域增长匹配,匹配后的视差图再通过均值滤波器,可以滤除由于误匹配产生的不可靠视差。实验结果表明,在保证可靠性的前提下,采用改进后的匹配算法极大缩短了图像处理时间。     

一种改进的快速立体匹配算法

提出了一种改进的快速立体匹配算法。对于双目视觉系统采集的2幅图像,首先采用区域匹配算法进行初始快速立体匹配,再采用左右一致性检验剔除误匹配点,得到立体匹配的初始视差图。然后将初始视差作为图割法构图的限制条件,对初始视差图进行二值分割。最后对分割获得的前景区域和背景区域施加不同的限制,并通过修正能量函数,使构图网络大大减小,从而进一步提高了匹配速度。试验结果表明,该算法既提高了立体匹配速度,又保证了匹配精度。     

基于种子点传播的快速立体匹配

针对计算机视觉中的对应点误匹配问题,提出了一种基于种子点传播的快速局部立体匹配算法来进一步提高匹配算法的运行效率。该算法首先利用Canny算子提取图像边缘,结合边缘信息构造动态匹配窗口,以克服固定窗口对匹配带来的不利影响;然后利用AD-Census联合匹配代价在动态窗口上进行代价聚集,用WTA搜索策略得出初始视差图,对视差值进行筛选以确定种子点;随后利用像素间颜色差异将种子点的视差值传递给周围非种子点;最后采用区域投票和局部校正方式对视差值求精,进而获取精确的稠密视差图。实验结果表明,该算法可对Middlebury测试图生成高质量的视差图。与目前较新的局部立体匹配算法相比,其运行速度提高了1.8倍,满足了实际应用对速度和精度的要求,具有较高的实用价值。     

支撑点扩展快速立体匹配方法的设计与应用

为精确构建计算机立体视觉中的视差图,提出了一种快速全局优化匹配算法。该算法采用吉布斯随机场模型描述空间点与其邻域之间的关系,由改进的Graph Cuts方法对空间点的邻域进行匹配来获取场景的致密视差图。首先,计算出一组具有明确匹配关系的稀疏匹配点,将这些匹配点命名为“支撑点”;然后,对每一个支撑点的邻域进行扩展,采用改进的Graph Cuts全局优化算法计算扩展后的邻域空间的匹配关系,并将满足一定匹配度的邻域点设置为新的支撑点。最后,重复上述步骤并逐级扩展,直至扩展出的匹配空间覆盖整个视图,进而获取待匹配图对的致密视差图。实验结果表明,该方法不仅对不同场景视差图的质量具有良好的一致性,而且匹配速度较快(匹配时间约为0.8~1.2 s),大大高于其他传统的全局匹配算法。为体现本文算法的实际应用价值,以Smart Eye Ⅱ立体视觉试验台为测试平台,对真实场景进行了视差图构建,取得了良好的试验效果。     

一种基于自适应窗口和图切割的快速立体匹配算法

针对基于图切割的立体匹配算法计算量大的缺点,提出了一种新的快速立体匹配算法。首先根据图像边缘特征自适应变化窗口,并采用灰度差平方和匹配(SSD)作为相似判定准则计算初始视差图,再通过左右一致性校验去除误匹配点,在构造能量函数时,将初始视差作为能量函数的一个参考项,最后采用图切割(graph cuts)算法求取使全局能量最小的视差最优分配。通过标准图像对测试了提出的方法,并与其他方法进行了比较,实验结果表明,该算法不仅能够保留基于图切割的立体匹配算法对大的低纹理区域和遮挡像素较好处理的优点,而且匹配时间短,运行时间比原有算法约缩短了三分之二,能够满足工程实用性的要求。     

Fast stereo matching based on edge energy information

A new improvement is proposed for stereo matching which gives a solution to disparity map in terms of edge energy.We decompose the stereo matching into three parts:sparse disparity estimation for image-pairs,edge energy model and final disparity refinement.A three-step procedure is proposed to solve them sequentially.At the first step,we perform an initial disparity model using the ordering constraint and interpolation to obtain a more efficient sparse disparity space.At the second step,we apply the energy function by the edge constraints that exist in both images.The last step is a kind of disparity filling.We determine disparity values in target regions based on global optimization.The proposed three-step simple stereo matching procedure yields excellent quantitative and qualitative results with Middlebury data sets in a fast way.