HEVC分像素插值与自适应环路滤波融合结构设计

在高效率视频编码(HEVC)的解码过程中,分像素插值和自适应环路滤波(ALF)是计算密集度最高的2个环节.针对传统的滤波器设计方法学在硬件资源优化方面存在的不足,提出一种HEVC分像素插值与ALF融合的滤波结构设计.通过分析传统滤波结构及其相应算法,利用改进的ALF结构处理分像素插值的垂直滤波运算,简化了分像素插值结构并降低了整体硬件开销.实验结果表明,该设计可满足HEVC标准HDTV 1080p(1920×1080@30fps)分辨率视频解码的实时性要求,同时其电路总面积在传统设计方案的基础上减少了28%.     

一种分像素运动补偿插值滤波方法及高效VLSI实现

现代视频编码标准普遍采用变换与运动补偿预测混合型编码架构,该架构对运动补偿预测后的残差图像和运动矢量等信息进行变换编码,运动补偿预测的准确度对编码性能有显著影响．由于实际对象的运动精度是任意小的,允许运动矢量具有“分像素”精度,可以有效地提高运动补偿预测准确度,为了得到“分像素”位置的像素值,需要参考其周围相邻的像素值进行插值滤波．文中提出了一种低空间复杂度1／4像素插值方法：两步四抽头插值法（Two Steps Four Taps Interpolation,TSFT）,该方法与目前国际上最先进的视频编码标准H．264／AVC相比,可以降低11％的空间复杂度,计算复杂度和编码效率相当,已经被国内制定的编码标准AVS1．0采纳．另外,分像素插值是解码端主要的访存和计算瓶颈,文中给出了一个基于多级流水线结构的VLSI实现结构,可以降低访存带宽,同时提高插值器的运算速度,满足高清视频实时解码的需要．     

AVS分数像素插值算法的VLSI实现

基于AVS运动补偿分数像素插值算法,提出了一种新的VLSI结构,满足了AVS基准档次6.2级别(1920×1080,4:2:2,30f/s)高清视频实时解码的要求。介绍了AVS分数像素插值算法,采用一种新的基于移位寄存器的寄存器文件作为内部像素存储器,提高了并行处理效率,并将脉动阵列应用到AVS插值滤波器中,有效提高了运动补偿插值运算的速度。     

一种高效视频编码插值滤波VLSI架构设计

最新视频编码标准高效视频编码( HEVC )将8抽头内插值滤波器应用于分数像素运动估计中。相比H.264/AVC标准中使用的6抽头内插值滤波器,虽然提高了精确度,但增大了超大规模集成电路( VLSI)实现的面积。为此,设计一个内插值滤波器VLSI架构。为便于VLSI实现,提出一种快速内插值滤波算法,并在此基础上,构造可重构配置和单元块复用的内插值滤波器VLSI架构,以降低硬件的实现面积。实验结果表明,与未优化的VLSI架构相比,该架构能降低实现面积和提高工作频率,节省大量的存储RAM,可支持4∶2∶0格式的3840×2160视频序列的实时处理。     

基于软硬件分区的AVS高清视频解码器结构

硬件的强大处理能力及软件的灵活性和可编程性,使得视频解码芯片的结构从硬件转向软硬件分区结构.作为新兴的标准,AVS视频标准对解码器的软硬件分区结构提出新的挑战.从AVS视频标准算法和实现复杂度入手,提出一种AVS高清视频解码器软硬件分区结构,实现满足基准档次6.0级别的AVS高清视频码流的实时解码,支持灵活的音视频同步、错误恢复、缓冲区管理和系统控制机制.已经在AVS101芯片上实现,硬件采用7阶宏块级同步流水,软件任务在RISC处理器上实现,可以在148.5MHz工作频率下对NTSC,PAL,720p(60f/s),直至1080i(60field/s)节目的实时解码显示.     

一种基于SoC平台设计的AVS解码器软硬件分区结构

视频解码芯片的结构因硬件强大的处理能力和软件灵活的可编程功能从硬件转向软硬件分区结构。该文针对AVS标准的算法和解码实现复杂程度,根据软硬件协同设计思想提出了一种结构划分合理的AVS高清视频解码器软硬件分区结构。根据AVS算法的特点该结构将宏块层以上部分的元素解析划归到软件解码中,将宏块层解码划为硬件处理。经验证,该结构设计可实现AVS高清码流解码,并在C语言编写的硬件平台仿真程序中得以实现。     

基于H.264帧间预测解码的研究及高效VLSI实现

在深入研究H.264帧间预测技术的基础上,采用三级流水线实现帧间预测解码的VLSI设计,并详细介绍了基于宏块分割的变块自适应循环控制单元,针对存储器的读写问题提出了一种交织存取方式,针对分像素插值提出了一种基于H.264标准的插值运算电路。通过仿真及在H.264解码器中的实际应用和测试,证明该设计工作稳定,能够满足H.264标准基本框架下4CIF格式图片30fps(帧/秒)实时解码的要求。     

H.264/AVC解码器解块滤波的结构优化

相对于桌面系统,无线手持设备处理器的主频很低,这要求视频解码器具有更好的解码速度。论文重新设计了H.264/AVC规定的标准解码器结构,对解块滤波和重构显示模块进行了结构优化,有效提高了解码速度。     

高清视频后处理模块的ASIC设计

随着高清视频处理技术的发展,高清视频的应用场合日益增长。为了适应高清视频后处理系统的需求,介绍了一种具备较为全面的高清视频后处理功能的ASIC设计,及其仿真验证技术。整个系统包括视频采集模块、视频调整模块、块效应滤波模块、DMA控制器、高清视频显示模块等,实现了从传感器采集高清视频,经过高清视频尺寸调整、视频旋转,完成对解码视频块效应滤波,对高清视频实现缓存显示控制的一整套后处理过程。设计采用软硬件联合验证技术,通过搭建的软硬件联合仿真平台完成功能测试。     

基于多核处理器的高清内窥镜视频处理系统

设计一个基于TILE-Gx多核处理器的高清医用电子内窥镜视频处理系统。该系统支持2路1080p60高清视频输入输出,以及1路YCb Cr422格式高清视频的实时H.264编解码,利用现场可编程门阵列为高清视频数据提供输入输出接口,采用4片TILE-Gx多核处理器进行H.264编码解码运算,并使用1片TILE-Gx多核处理器完成系统控制、视频拼接和数据存储转发功能。实验结果表明,该系统的编解码性能满足医用内窥镜的高分辨率和实时性需求,图像质量达到了H.264的High Profile级别。     

H.264及AVS双模视频解码器中帧内预测的硬件设计与实现

根据H.264/AVC及AVS的特点,设计出一种适合于帧内预测解码的硬件实现方式,并根据H.264和AVS帧内预测运算上的相似性提出了基于可重构的并行结构,有利于提高解码速度,并将该结构配合其他设计好的解码器模块,在FPGA上实现了高准清晰度的H.264及AVS视频的实时解码。     

基于深度学习的光流插帧边信息生成算法

在分布式视频编码(DVC)中,如何在各种运动场景下生成高质量的边信息并提升解码性能是一个重点研究领域。提出一种基于深度学习的光流插帧边信息生成算法(optical flow interpolation, OFI),编码端采用区间重叠的分布式算术编码(distributed arithmetic coding, DAC)对视频进行编码,解码端生成边信息时提取已解码关键帧,输入深度学习光流插帧网络。网络采用多层光流模块产生光流,并结合光流向后弯曲关键帧产生初步的边信息估计,再由融合过程消除遮挡产生更加细化的结果,最后边信息辅助解码树完成解码。实验结果表明,与现有方法相比,该方法PSNR最大可提升2.25 dB,主要体现在线性运动场景下。同时在线性和非线性场景下SSIM指标可提升0.001 5～0.064 8,在解码视频率失真曲线上也体现出一致的结果,证明了该算法对线性运动边信息估计有较好的提升,对非线性运动边信息结构也有良好的恢复性。     

一种有效的DCT域下采样视频解码算法

为了提高多媒体处理能力有限的终端上的视频播放能力,本文提出了一种有效的DCT域下采样视频解码算法。利用DCT变换的称卷积特性和能量集中特性对压缩视频进行下采样反DCT,并在下采样运动矢量近似和插值处理之后,通过下采样运动补偿重建下采样的视频图像。算法的下采样反DCT、像素插值和图像重建的运算复杂度分别比常规解码减少少了50％、50％和75％,使得整体解码效率有60％左右的提高。算法在基于XScale的嵌入式终端平台上进行了实现和测试,效果良好。     

基于ROI运动区域的分布式视频编码方法

传统的分布式视频编码方法中,视频帧的解码通常采用内插或外推的方法,然而对于运动剧烈视频帧的解码效果却并不理想,会产生重影、鬼脸等现象.因此,提出了一种基于ROI运动区域的分布式视频编码解决方案,通过在编码端提取ROI辅助信息,然后在解码端将其与边信息做融合处理来得到更加准确的边信息,从而提高视频解码的质量.实验结果表明,与传统的分布式视频编码方法相比,基于ROI运动区域的分布式视频编码解决方案在性能上平均有3.1db的提高.     

The case for reconfigurable hardware in wearable computing

Wearable computers are embedded into the mobile environment of their users. A design challenge for wearable systems is to combine the high performance required for tasks such as video decoding with the low energy consumption required to maximise battery runtimes and the flexibility demanded by the dynamics of the environment and the applications. In this paper, we demonstrate that reconfigurable hardware technology is able to answer this challenge. We present the concept and the prototype implementation of an autonomous wearable unit with reconfigurable modules (WURM). We discuss experiments that show the uses of reconfigurable hardware in WURM: ASICs-on-demand and adaptive interfaces. Finally, we present an experiment with an operating system layer for WURM.     

Complexity Model Based Proactive Dynamic Voltage Scaling for Video Decoding Systems

Significant power savings can be achieved on voltage/ frequency configurable platforms by dynamically adapting the frequency and voltage according to the workload (complexity). Video decoding is one of the most complex tasks performed on such systems due to its computationally demanding operations like inverse filtering, interpolation, motion compensation and entropy decoding. Dynamically adapting the frequency and voltage for video decoding is attractive due to the time-varying workload and because the utility of decoding a frame is dependent only on decoding the frame before the display deadline. Our contribution in this paper is twofold. First, we adopt a complexity model that explicitly considers the video compression and platform specifics to accurately predict execution times. Second, based on this complexity model, we propose a dynamic voltage scaling algorithm that changes effective deadlines of frame decoding jobs. We pose our problem as a buffer-constrained optimization and show that significant improvements can be achieved over the state-of-the-art dynamic voltage scaling techniques without any performance degradation. Index     

Vector rational interpolation schemes for erroneous motion field estimation applied to MPEG-2 error concealment

A study on the use of vector rational interpolation for the estimation of erroneously received motion fields of MPEG-2 predictively coded frames is undertaken in this paper, aiming further at error concealment (EC). Various rational interpolation schemes have been investigated, some of which are applied to different interpolation directions. One scheme additionally uses the boundary matching error and another one attempts to locate the direction of minimal/maximal change in the local motion field neighborhood. Another one further adopts bilinear interpolation principles, whereas a last one additionally exploits available coding mode information. The methods present temporal EC methods for predictively coded frames or frames for which motion information pre-exists in the video bitstream. Their main advantages are their capability to adapt their behavior with respect to neighboring motion information, by switching from linear to nonlinear behavior, and their real-time implementation capabilities, enabling them for real-time decoding applications. They are easily embedded in the decoder model to achieve concealment along with decoding and avoid post-processing delays. Their performance proves to be satisfactory for packet error rates up to 2% and for video sequences with different content and motion characteristics and surpass that of other state-of-the-art temporal concealment methods that also attempt to estimate unavailable motion information and perform concealment afterwards.     

频率域Wyner-Ziv视频编码算法的改进

为提高分布式视频编码压缩率,依据无线传感网络终端设备及Wyner-Ziv视频编码特点,针对Bernd Girod的频域Wyner-Ziv视频编码方案提出改进算法。该算法在编码端通过简单DCT运算提出将图像块分为Skip模式、低频模式和全频模式三种可选模式,在解码端根据相应的编码模式分别选择平均插值、自适应搜索运动估计插值和自适应搜索精细运动估计插值的边信息估算方法联合解码。该算法既能通过消除大量的帧间预测与熵编码实现低码率传输,又能以最小的解码代价获得更精确的边信息,从而有效地避免图像解码质量下降。实验结果表明,在相同峰值信噪比情况下,该算法的码率比Bernd Girod提出的频域Wyner-Ziv算法平均下降40%。