多视点视频中基于局部直方图匹配的亮度和色差校正

由于相机性能的差异,多视点视频序列之间总是存在亮度和颜色的差异,为降低这种差异对多视点系统中各种后续处理效果的影响,提出了一种基于部分重叠局部直方图匹配的亮度和色差校正算法。该直方图匹配算法先通过原图像直方图和参考图像直方图的匹配建立映射函数,然后使用该映射函数来校正原图像的亮度和色差值。根据映射函数的计算方法不同,直方图匹配可以分为全局直方图匹配和局部自适应直方图匹配。在全局直方图匹配算法中,由于整幅图像是使用统一的映射函数,因此校正性能较差。而局部自适应直方图匹配算法则是利用局部信息为每个像素建立唯一的映射函数,因此能够准确地校正图像不同区域的差异,但是算法的复杂度非常高。该部分交叠的局部直方图匹配方法中,一小块范围内的像素是使用同样的局部直方图来建立映射函数,然后使用条件去块滤波器去除可能存在的块效应。与自适应局部直方图匹配算法相比,该算法不仅可减少计算直方图和映射函数的次数,而且在降低计算复杂度的同时,还能够自适应地校正图像不同区域的差异。该算法可作为多视点视频系统中的预处理技术,实验结果表明,该算法能够提高后续压缩过程的性能。     

多视点视频编码去相关颜色校正

多视点视频编码效率受到各个视点图像之间颜色不均衡的影响。在三色激励值近似线性无关的lαβ颜色空间中,对多视点视频数据实现了颜色校正。根据视频序列原始数据的特点,选择合适的变换矩阵,提供了YUV到lαβ空间的变换式。为降低不同视点间亮度差异的影响,在块搜索和匹配中结合相关分析法,获取最优匹配块。将匹配块数据变换到从lαβ衍生的一个线性无关的颜色空间中,采用统计量逼近的方法对数据进行了更简便的校正。结果表明,所校正的数据变换回YUV空间后,主观效果良好,消除了颜色差异,在编码性能上,Y分量平均PSNR提高达l.4dB以上,证明了该颜色校正算法的有效性。     

多视点视差估计中基于图像块特征矢量和相似尺度的参考视点选择方法

在多视点视频处理中，采用多参考视点的视差估计方法能够在很大程度上消除各个视点间的冗余性，达到对多视点视频数据有效编码压缩的目的。研究了多视点信号处理中视差估计的多参考视点选择问题，采用快速Walsh变换谱构造图像块特征矢量，并提出了基于图像块特征和相似尺度的多参考视点选择方法。实验结果证明，本文方法能在保证编码质量的前提下，减少视差估计的计算复杂度。     

一种新颖的多视点视频偏色校正算法

针对多视点视频序列中视点间出现偏色的问题,提出了一种偏色校正算法.该算法在编码端只处理目标序列的亮度分量,在解码端利用运动矢量信息和参考序列,使用色彩扩散的方法恢复出目标序列的颜色信息.在完成偏色校正的同时,有效地提高了编码效率.以标准多视点视频测试序列为实验对象,将本文算法与直方图匹配校正、未校正序列进行比较,表明本文算法可以有效校正偏色现象,并获得良好的主观效果.     

沉浸式视频中三维场景的视差精炼方法

视差估计是多视点视频中的关键技术,针对沉浸式视频中丰富的场景信息,给出一种有效的提取精炼视差图的方法。对左右图像进行平滑及基于颜色的分割,然后利用像素增益直方图得到的匹配函数计算初始视差空间分布（DSD）,通过执行平滑限制和连续性限制来精炼DSD,最后进行一定的平滑处理。实验结果表明该方法能得到精确光滑的视差图,有利于获得高质量的中间视。     

基于可变特征基元的视差估计新方法

视差估计是立体视频和多视点视频信号处理中的一个关键问题。选择可变长线段作为特征基元,提出一种基于特征匹配的视差估计新方法。算法结合唯一性和顺序性约束条件来增强视察估计的可靠性与准确性。在详细介绍了算法的基本原理后进行了实验仿真,实验结果表明新算法能获得较为准确、可靠、亚像素精度的密集视差场,其性能优于固定块匹配（Fixed Size Block Matching,FSBM）、可变块匹配（Variable Size Block Matching,VSBM）等传统的视差估计算法。     

基于串匹配的多视点视频图像阵列自编码仿真

针对传统多视点视频图像列阵自编码方法编码效率低、响应时间长的问题,提出基于串匹配的多视点视频图像阵列自编码方法.首先根据串匹配算法,组建视点之间相互对应的对极线校正索引表.将其应用于视觉估计中来缩小两视点之间的视差搜索范围,然后将原有的视差搜索二维降到一维,利用拟合三维二次函数确定不同关键点的具体坐标位置以及尺度,同时删除无用的响应点,在得到匹配点后,通过描述子来准确描述特征点,匹配不同的描述子信息,获取符合标准的匹配点集,以达到多视点视频图像阵列自编码的目的.仿真结果表明,所提方法能够有效提升编码效率,且所需响应时间短,能够获取理想的编码效果.     

基于多目立体匹配的深度获取方法

提出一种深度获取方法,利用基于颜色分割的多目立体匹配算法,从多个视点图像中提取深度信息。利用mean-shift算法,根据颜色信息分割参考图像,提取图像中的颜色一致性区域,通过局部窗口匹配算法进行多目立体匹配得到多幅初始视差图,根据融合准则将多幅视差图合成为一幅视差图以提高视差图的精度并对视差图进行优化后处理,按照视差与深度的关系,将视差图转化为深度图。该算法能有效处理匹配过程中的遮挡区域,提高匹配精度和视差图的准确度。     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

联合运动估计的多视点视频视差估计新方法

针对多视点视频编码中运动估计和视差估计运算量大的特点,提出了一种联合运动估计的多视点视频视差估计方法。在时域上对每个视点的宏块的运动状态建立 Kalman 滤波器,预测当前宏块的运动矢量。在运动估计基础上结合空域信息,分析了视差矢量和运动矢量的几何关系,计算了当前宏块的视差矢量。实验结果表明,本文方法和全搜索算法及快速算法相比,在大幅节省了编码时间基础上又提高了率失真性能。     

Network-driven low complexity coding for wireless multi-view video system

For wireless multi-view video system, which has very limited capability for storage and computation at the encoder, it is essential to design a video coding scheme with low complexity. Wyner-Ziv (WZ) coding scheme shifts large computational complexities to decoder with side information reconstruction, however, its encoding efficiency is not high enough. To obtain higher encoding efficiency and lower encoding complexity for wireless multi-view video applications, a network-driven low complexity video coding method is proposed in the paper. The proposed method is designed to implement color correction, motion vector extrapolation and disparity extraction at the central node of network, so as to reduce large computational complexities of motion estimation at the encoder and disparity estimation at the decoder. Experimental results show that encoding efficiency of the proposed method is higher than those of WZ coding and H.264 intraframe coding methods. The encoding complexity of the proposed method is greatly decreased and the decoded views are of color consistency, which is favorable to high quality view rendering at the decoder.     

Spatial error concealment for stereoscopic video coding based on pixel matching

In stereoscopic video coding, the interview correlation between the stereo image pair can be used for error concealment. A new spatial error concealment method for stereoscopic video coding based on pixel matching in the decoder is proposed in this paper. The lost macroblocks are recovered by utilizing disparity matching between two-view images on a pixel-by-pixel basis. Firstly, we get the candidate disparity vectors of the four neighboring pixels of the lost pixel by disparity matching in the decoder. Secondly, by calculating the boundary pixel difference, we determine an optimal replacing pixel in the reference image, and then we recover the lost pixel by the optimal pixel in the reference image. Experimental results show that the proposed algorithm performs better comparing to the previous technique.     

基于压缩域信息的立体视频对象分割方法

立体视频对象分割是交互式多视点视频应用的关键技术。为了提高对象分割的时效性和精确性,提出了一种利用压缩域视差和运动信息的立体视频对象分割算法。该算法首先对运动矢量场和视差场进行提取和修正处理,然后对视频帧进行分割作为初始值,最后用均值偏移算法聚类得到最终的对象分割结果。实验结果表明,对于纹理复杂的场景有很好的分割效果,可以获得与语义一致的对象。     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

Content-Aware Prediction Algorithm With Inter-View Mode Decision for Multiview Video Coding

3-D video will become one of the most significant video technologies in the next-generation television. Due to the ultra high data bandwidth requirement for 3-D video, effective compression technology becomes an essential part in the infrastructure. Thus multiview video coding (MVC) plays a critical role. However, MVC systems require much more memory bandwidth and computational complexity relative to mono-view video coding systems. Therefore, an efficient prediction scheme is necessary for encoding. In this paper, a new fast prediction algorithm, content-aware prediction algorithm (CAPA) with inter-view mode decision, is proposed. By utilizing disparity estimation (DE) to find corresponding blocks between different views, the coding information, such as rate-distortion cost, coding modes, and motion vectors, can be effectively shared and reused from the coded view channel. Therefore, the computation for motion estimation (ME) in most view channels can be greatly reduced. Experimental results show that compared with the full search block matching algorithm (FSBMA) applied to both ME and DE, the proposed algorithm saves 98.4–99.1% computational complexity of ME in most view channels with negligible quality loss of only 0.03–0.06 dB in PSNR.