Delaunay三角形模型基立体图像编码

立体图像具有2倍于普通图像的数据量,给存储和传输带来了一定的困难,因此对立体图像的压缩和编码非常重要.文中讨论了Delaunay 三角形模型基立体图像编码的各个环节,提出一种可以保持网格拓扑结构不变的视差估计方法.该方法是一个三步迭代过程:首先利用迭代块匹配算法得到较精确的匹配结果;然后利用迭代多边形匹配算法对得到的匹配结果进行优化,使得一些三角形的预测误差最小;最后删除掉视差不可靠的节点.利用变长编码来编码网格节点和视差矢量,并对残差图像利用DCT进行编码.实验结果表明,与基于块的传统编码方法和其他网格匹配算法相比,该方法在获得较高压缩比的同时,解码图像亦具有较高的主客观质量.     

基于Delaunay三角形网格的立体图像编码算法

传统的立体图像编码方法多采用基于块的视差补偿算法，但这种算法不能更为准确地估计视差矢量，在低码率时重建图像的块效应比较严重．提出了一种新的基于Delaunay三角形网格的立体图像编码算法，该算法首先对参考图像进行自适应的三角形网格剖分，然后对三角形顶点在目标图像中进行视差矢量估计．利用三角形模型和6参数仿射变换计算三角形内部各点的视差矢量，并产生残差图像．结合实验统计对文中算法产生的残差图像进行了分析，采用嵌入式DCT算法编码残差图像．从实验结果看，文中算法视差矢量估计的准确性较传统算法提高了10％左右．在相近比特率下，平均PSNR大约提高1dB．     

立体视频编码中的目标分割与立体匹配算法

视频目标分割与立体匹配是目标基立体视频编码中的核心技术.首先在单通道视频目标分割的基础上提出一种轮廓跟踪匹配算法,以提取立体视频目标对,然后提出一种基于目标的视差估计算法.它以具有特征信息的像素为匹配基元,结合视差匹配约束进行视差估计,克服了传统块匹配算法视差场不连续、视差精度差的缺点,可以获得较为精确和平滑的视差场.     

基于可变特征基元的视差估计新方法

视差估计是立体视频和多视点视频信号处理中的一个关键问题。选择可变长线段作为特征基元,提出一种基于特征匹配的视差估计新方法。算法结合唯一性和顺序性约束条件来增强视察估计的可靠性与准确性。在详细介绍了算法的基本原理后进行了实验仿真,实验结果表明新算法能获得较为准确、可靠、亚像素精度的密集视差场,其性能优于固定块匹配（Fixed Size Block Matching,FSBM）、可变块匹配（Variable Size Block Matching,VSBM）等传统的视差估计算法。     

基于预测模型的分形图象缩编码方法

给出了一个基于ρ图象模型的预测模型，用来预测分形图象编码中图象子块编码匹配成功的可能性以及匹配搜索空间的有效范围，并以此模型为根据提出了一种基于预测模型的分形图象压缩编码方案，大大减少了分形图象编码中不必要的尝试匹配搜索计算，实验结果表明该方案能够提高分形图象的编码速度，具有很高的实用价值。     

一种立体视频编码中的块效应后处理算法

分块DCT变换编码破坏了块与块之间的相关性,容易产生块效应。视频图象尤其是立体视频图象中的块效应消除算法要求简单、快速,能够实时处理。该文分析了立体视频编码不同编码帧图象中的块效应及其产生原因,并给出了消除各类块效应的后处理算法。对于I帧图象中的三类块效应:块虚像、角异点和环状噪声,给出了三种相应的滤波方案。对于B帧和P帧中由于错误匹配而产生的块虚像,通过优化运动估计和视差估计来去除。实验结果表明,新算法快速、有效。     

一种新的用于立体图像编码的视差估计算法

视差估计是立体视觉和立体图像编码领域的研究重点，其估计的准确程度直接影响编码的精度和效率．该文在研究传统估计算法的基础上，提出了一种新的带极线约束的DT基立体图像视差估计算法．该算法首先把立体图像中的左图像作为参考图像，用DT网格进行描述．然后，利用极线约束条件在右图像中估计出各三角形顶点的对应点，整个估计过程要求DT结构保持不变．通过估计出来的对应点计算出这些顶点的视差矢量，再用六参数仿射变换估计出三角形内部各点的视差矢量．编码时，只需编码各顶点的视差矢量．从实验结果看，这种新算法同传统的“块”匹配视差估计算法相比，视差矢量的估计更加准确，视差图中主要物体的轮廓更加清晰，有利于进一步的物体分割．     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。     

基于最大窗口的二次立体匹配方法

文中提出了一种新颖的基于窗口的立体匹配方法,该方法首先在最大窗口内估计视差,并假设该窗口内视差一致,在此基础上得到两个最大的匹配窗口,然后在这两个最大窗口内进行二次匹配,得到基于这两个窗口的逐像素视差,估计视差和像素视差之和就是结果视差。对相对较平滑或平滑均匀的区域,在匹配过程中,会出现匹配最小多值问题,面临如何确定最佳匹配。本文算法采用平滑性测度指标函数来屏蔽平滑或平滑均匀区域,并在匹配完成后,按照最近邻视差均值来估计平滑区域的视差。最后通过立体图像对算法进行了测试。实验结果表明,该方法是可行和有效的。     

Spatial error concealment for stereoscopic video coding based on pixel matching

In stereoscopic video coding, the interview correlation between the stereo image pair can be used for error concealment. A new spatial error concealment method for stereoscopic video coding based on pixel matching in the decoder is proposed in this paper. The lost macroblocks are recovered by utilizing disparity matching between two-view images on a pixel-by-pixel basis. Firstly, we get the candidate disparity vectors of the four neighboring pixels of the lost pixel by disparity matching in the decoder. Secondly, by calculating the boundary pixel difference, we determine an optimal replacing pixel in the reference image, and then we recover the lost pixel by the optimal pixel in the reference image. Experimental results show that the proposed algorithm performs better comparing to the previous technique.     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

Content-Aware Prediction Algorithm With Inter-View Mode Decision for Multiview Video Coding

3-D video will become one of the most significant video technologies in the next-generation television. Due to the ultra high data bandwidth requirement for 3-D video, effective compression technology becomes an essential part in the infrastructure. Thus multiview video coding (MVC) plays a critical role. However, MVC systems require much more memory bandwidth and computational complexity relative to mono-view video coding systems. Therefore, an efficient prediction scheme is necessary for encoding. In this paper, a new fast prediction algorithm, content-aware prediction algorithm (CAPA) with inter-view mode decision, is proposed. By utilizing disparity estimation (DE) to find corresponding blocks between different views, the coding information, such as rate-distortion cost, coding modes, and motion vectors, can be effectively shared and reused from the coded view channel. Therefore, the computation for motion estimation (ME) in most view channels can be greatly reduced. Experimental results show that compared with the full search block matching algorithm (FSBMA) applied to both ME and DE, the proposed algorithm saves 98.4–99.1% computational complexity of ME in most view channels with negligible quality loss of only 0.03–0.06 dB in PSNR.      

H．264帧内编码和JPEG2000对静止图像进行编码的性能比较

国际最新静止图像压缩标准——JPEG2000代表了离散小波变换（DWT）编码的最高水平，最新的视频压缩编码标准——H．264代表了离散余弦变换（DCT）编码的最高水平。由于H．264的帧内编码采用了一些新方法，如帧内空间预测、不同大小块的DCT变换等，使得H．264帧内编码效率高于其他的DCT变换编码方法，因此可以认为，H．264的帧内编码代表了DCT变换的最高静止图像编码水平。大量的仿真实验比较发现。H．264的帧内编码方法比JPEG2000的编码效率高。据此可以预测，基于帧内空间预测和不同大小块DCT变换的H．264帧内编码方法具有成为下一代静止图像压缩标准的潜能。     

MC-EZBC中改进的运动编码

在层次式可变大小块匹配(HVSBM)运动估计/补偿中,运动信息由两部分组成:映射信息和运动向量。在传统的运动编码方案中,映射信息为直接编码和Huffman编码,而运动向量为差分算术编码。文章提出了基于上下文的自适应编码方法对这两部分信息进行编码。实验结果表明,采用新方法可以提高运动向量编码效率25%以上,提高视频编码的性能,特别是在低码率场合下。     

Hierarchical stereo matching with image bit-plane slicing

We propose a new stereo matching framework based on image bit-plane slicing. A pair of image sequences with various intensity quantization levels constructed by taking different bit-rate of the images is used for hierarchical stereo matching. The basic idea is to use the low bit-rate image pairs to compute rough disparity maps. The hierarchical matching strategy is then carried out iteratively to update the low confident disparities with the information provided by extra image bit-planes. It is shown that, depending on the stereo matching algorithms, even the image pairs with low intensity quantization are able to produce fairly good disparity results. Consequently, variate bit-rate matching is performed only regionally in the images for each iteration, and the average image bit-rate for disparity computation is reduced. Our method provides a hierarchical matching framework and can be combined with the existing stereo matching algorithms. Experiments on Middlebury datasets show that the proposed technique gives good results compared to the conventional full bit-rate matching.     

An FPGA stereo matching unit based on fuzzy logic

Stereo matching is one of the most used algorithms in real-time image processing applications such as positioning systems for mobile robots, three-dimensional building mapping and recognition, detection and three-dimensional reconstruction of objects. In order to improve the performance, stereo matching algorithms often have been implemented in dedicated hardware such as FPGA or GPU devices. In this paper an FPGA stereo matching unit based on fuzzy logic is described. The proposed algorithm consists of three stages. First, three similarity parameters inherent to each pixel contained in the input stereo pair are computed. Then, the similarity parameters are sent to a fuzzy inference system which determines a fuzzy-similarity value. Finally, the disparity value is defined as the index which maximizes the fuzzy-similarity values (zero up to d_max). Dense disparity maps are computed at a rate of 76 frames per second for input stereo pairs of 1280 × 1024 pixel resolution and a maximum expected disparity equal to 15. The developed FPGA architecture provides reduction of the hardware resource demand compared to other FPGA-based stereo matching algorithms: near to 72.35% for logic units and near to 32.24% for bits of memory. In addition, the developed FPGA architecture increases the processing speed: near to 34.90% pixels per second and outperforms the accuracy of most of real-time stereo matching algorithms in the state of the art.     

基于频率敏感三维自组织映射的视差估计算法

提出基于频率敏感三维自组织映射的立体视频视差估计算法,视差预测采用基于亮度分类频率敏感三维自组织映射(Classified Frequency Sensitive Three-Dimensional Self-Organizing Map,CFS-3DSOM)的视差模式识别(Disparity pattern recognition,DPR)算法。其基本思想是对视差图像的低亮度区域和高亮度区域分别进行预测,在训练模式库时引入频率敏感方法。实验表明,与传统基于块的视差估计算法相比,CFS-3DSOM-DPR算法的视差预测图像的平均峰值信噪比提高了0.78~1.78dB,时间减少了70%。     

视频压缩感知中分级多假设预测算法

目的 多假设预测是视频压缩感知多假设预测残差重构算法的关键技术之一,现有的视频压缩感知多假设预测算法中预测分块固定,这种方法存在两点不足：1）对于视频帧中运动形式复杂的图像块预测效果不佳;2）对于运动平缓区域,相邻图像块的运动矢量非常相近,每块单独通过运动估计寻找最佳匹配块,导致算法复杂度较大。针对这些问题,提出了分级多假设预测思路（Hi-MH）,即对运动复杂程度不同的区域采取不同的块匹配预测方法。方法 对于平缓运动区域的图像块,利用邻域图像块的运动矢量预测当前块的运动矢量,从而降低运动估计的算法复杂度;对于运动较复杂的图像块,用更小的块寻找最佳匹配;对于运动特别复杂的图像块利用自回归模型对单个像素点进行预测,提高预测精度。结果 Hi-MH算法与现有的快速搜索预测算法相比,每帧预测时间至少缩短了1.4 s,与现有最优的视频压缩感知重构算法相比,对于运动较为复杂的视频序列,峰值信噪比（PSNR）提升幅度达到1 dB。结论 Hi-MH算法对于运动形式简单的视频序列或区域降低了计算复杂度,对于运动形式较为复杂的视频序列或区域提高了预测精度。