沉浸式视频中三维场景的视差精炼方法

视差估计是多视点视频中的关键技术,针对沉浸式视频中丰富的场景信息,给出一种有效的提取精炼视差图的方法。对左右图像进行平滑及基于颜色的分割,然后利用像素增益直方图得到的匹配函数计算初始视差空间分布（DSD）,通过执行平滑限制和连续性限制来精炼DSD,最后进行一定的平滑处理。实验结果表明该方法能得到精确光滑的视差图,有利于获得高质量的中间视。     

视频修补有绝招

某日，东东下载的视频有不能播放，虚心向球球求教。目空一切的球球大笑：如此简单看我一个修复软件搞定它，不一会儿，球球也败下阵来，这下傻眼了，这时落落在一边不温不火地搭腔，两个苯蛋，病急乱投医，视频修复要先搞清楚损坏的情况才行啊！     

面向立体视频的视差-运动同步联立预测算法

针对立体视频序列的时间空间冗余和交叉冗余,提出一种快速编码算法.应用立体-运动约束模型在视差域和运动域进行联合迭代搜索,根据每次迭代后的模型误差设置自适应修正窗口来保证预测矢量精度,视差矢量和运动矢量可以快速同步获得.实验结果表明,该算法在保证高率失真性能的同时,可以大幅度降低编码复杂度.     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

基于视差和阈值分割的立体视频对象提取

视频对象分割和提取是编码、通信以及视频检索等基于内容视频处理中的关键问题,为了从只有单一全局运动、含有重叠多对象的立体视频序列中提取对象,提出了一种基于视差分析和阈值分割的对象提取方法。该方法首先用改进的区域匹配法进行立体视差估计,并通过合理减少匹配窗的运算量及根据视差特性设定搜索路径来加快匹配速度;然后针对图像中不同的对象分别采用迭代阈值法和自适应阈值法进行二次分割;最后从阈值分割结果中提取出各个对象。实验提取出的各深度层视频对象效果良好,表明该方法是一种有效的适用于全局运动的立体视频序列对象提取方法。     

联合运动估计的多视点视频视差估计新方法

针对多视点视频编码中运动估计和视差估计运算量大的特点,提出了一种联合运动估计的多视点视频视差估计方法。在时域上对每个视点的宏块的运动状态建立 Kalman 滤波器,预测当前宏块的运动矢量。在运动估计基础上结合空域信息,分析了视差矢量和运动矢量的几何关系,计算了当前宏块的视差矢量。实验结果表明,本文方法和全搜索算法及快速算法相比,在大幅节省了编码时间基础上又提高了率失真性能。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

逐像素偏移纹理坐标的视差映射改进方法

视差映射技术可以通过沿着视点方向平移纹理坐标来实现纹理图像的真实感绘制, 然而不正确的纹理坐标偏移量将导致纹理图像的滑动现象.根据视差映射技术原理, 通过定义纹理坐标值与高度值之间的映射函数得到偏移量与当前视点坐标的对应关系;利用GPU技术计算得到正确的纹理坐标偏移量, 使得在视点动态变换时纹理图像的绘制不会产生滑动现象.实验结果表明, 与传统视差映射方法及现有GPU技术校正纹理坐标偏移量方法相比, 在没有增加算法复杂度的前提下, 采用文中方法可改善纹理图像真实感绘制的效果.     

一种大视差场景下的实时视频拼接系统

随着虚拟现实技术和视频直播技术的发展,全景视频直播受到广泛的关注。传统的全景产品在处理大视差场景时易发生图像畸变,且难以兼顾实时性要求。为了解决这些问题,设计一种两路视频拼接系统。首先建立拼接背景模型。然后结合ORB(Oriented FAST and Rotated BRIEF)和基于移动DLT(Direct Linear Transformation)的APAP（As-Projective-As-Possible）算法完成图像配准,并改进一种基于最小能量检测的方法寻找最优接缝以避免移动前景引起的鬼影和错位。最后通过拼接模型计算阶段所得的参数索引表,对重叠区域进行融合完成视频帧的实时拼接。实验结果表明该系统可以处理大视差场景,具有良好的实时拼接效果。     

基于纹理分析的视差估计算法

针对传统方法难以可靠估计图像中纹理单一像素点视差的问题,提出一种新的基于纹理分析的视差估计算法。与已有方法不同,在以极线约束计算像素点视差时,将极线上纹理单一且近似的像素点合并成直线段,根据连续性和唯一性约束对直线段进行整体匹配,采用直线段的视差得到纹理单一区域的稠密视差图。利用直线段进行整体匹配,提高比较基元包含的信息量,减少扫描范围,从而降低误匹配产生的概率和算法时间复杂度。实验结果表明,该方法能提高纹理单一区域稠密视差图的精度,匹配速度快,具有实用价值。     

一种改进的基于样例的图像修复方法

以基于样例修补的目标移除方法为基础,改进了基于样本块的图像修补方法。在自然图像上通过傅里叶变换,发现许多自然图像具有方向性纹理的特征,将搜索空间约束到纹理方向的范围,优化了Criminisi方法优先块的选取,提高了搜索精度;并通过在源图像区使用图像分割的方法实现分区,使搜索目标块仅在其相邻的源区域内搜索,进一步缩小样本图搜索范围,增强搜索的准确性。在自然图像上进行的实验结果表明:改进的方法不仅显著提高了图像修补的时间,且有效地维持了图像的线性结构,取得了良好的修补效果。     

一种有效的大面积图像修复方法*

现有的图像修复技术只能修复图像上细小的划痕,而单一地使用纹理合成可能会产生明显的错误结果。由此提出了一种新算法,结合现有的图像修复和纹理合成技术的优势,弥补了单独使用它们的不足,可以有效地对图像中较大区域的破损进行修复。     

空-频域联合的交通监控视频去雨方法

阴雨天气下交通监控视频处理的效率较低,可靠性较差,因此,文中提出自适应判别雨量、空-频域联合的交通监控视频去雨方法.将视频帧的非下采样剪切波变换的低频系数清零,利用大津法获得全部边缘信息图.采用显著性映射计算景深图,经双边滤波并保留高频系数,得到主要边缘信息图.结合全部边缘信息图、主要边缘信息图和帧差,判断雨滴/雨线区域及雨量,若是中、大雨,利用曲率驱动扩散法修复雨滴/雨线,否则将两个尺度下的检测结果取并集.实验表明,文中方法可有效去除视频中的雨滴/雨线,保持物体形状和纹理细节,提高运动目标跟踪等后处理质量.     

一种基于视点相似度的参考视点选择方法*

研究多视点视频处理中视差估计的多参考视点问题,提出了一种基于视点相似度准则的多参考视点选择策略。实验证明本算法能在保证编码质量的前提下,减少视差估计的计算复杂度。     

易错环境中视频传输空域差错恢复的优化方法

在易错环境如因特网、无线通信网中传输视频流,误码率相当高。讨论了一种有效的在易错网中传输视频信号时,提高空域差错恢复能力的方法。同步标记可限制空域差错在视频帧之问传播。但是,如果其使用太频繁,会导致不必要的开销。为优化同步标记插入过程,给出一个同步标记插入算法。最后,为验证该算法,提供了仿真实验结果。     

Tracking multiple people with recovery from partial and total occlusion

Robust tracking of multiple people in video sequences is a challenging task. In this paper, we present an algorithm for tracking faces of multiple people even in cases of total occlusion. Faces are detected first; then a model for each person is built. The models are handed over to the tracking module which is based on the mean shift algorithm, where each face is represented by the non-parametric distribution of the colors in the face region. The mean shift tracking algorithm is robust to partial occlusion and rotation, and is computationally efficient, but it does not deal with the problem of total occlusion. Our algorithm overcomes this problem by detecting the occlusion using an occlusion grid, and uses a non-parametric distribution of the color of the occluded person's cloth to distinguish that person after the occlusion ends. Our algorithm uses the speed and the trajectory of each occluded person to predict the locations that should be searched after occlusion ends. It integrates multiple features to handle tracking multiple people in cases of partial and total occlusion. Experiments on a large set of video clips demonstrate the robustness of the algorithm, and its capability to correctly track multiple people even when faces are temporarily occluded by other faces or by other objects in the scene.     

视频数据的错误隐藏算法研究

由于实时视频数据流在存储或传输中的错误、丢包等原因,解码器接收到的数据流可能不完整,无法正常解码。错误隐藏是解决这个问题的方法之一,文章回顾了当前的主要错误隐藏算法。根据视频编码的特点,对传输信道的错误隐藏算法进行了分类,包括时间、空间、时-空结合以及频域的相关算法,并对它们进行了比较和评述;同时对存储系统的错误隐藏算法也进行了分类比较和评述。最后对未来研究方向进行了展望,给出了若干值得研究的问题。     

Tracking multiple features using relaxation

A new algorithm is introduced for tracking multiple features in an image sequence. First, the proposed method iteratively reduces the disparity of each possible match by relaxation labeling. It is assumed that all trajectories are smooth and the smoothness is used as the measure for correspondence. Some cases of wrong correspondences can be recovered by a proposed scheme called constraint-aided exchange during the tracking process. Occluded or missing feature points can be detected and predicted in the proposed algorithm. Finally, the algorithm is applied to data obtained from real world scenes. The human motion analysis can be achieved by the tracking algorithm.