基于Curvelet变换的浮选泡沫图像序列时空联合去噪

提出一种时空信息联合的浮选泡沫图像去噪方法。首先,将基于GSM统计建模和贝叶斯最小二乘准则的局部空间去噪方法应用到图像Curvelet域,获得基于单图像信息的Curvelet空间域最佳系数估计;然后,根据运动补偿原理和帧间子块的相关性引入帧间加权因子,通过加权处理帧间子块系数获得待处理图像时空相关的最佳去噪系数估计。结果表明,该方法能在去除噪声的同时更好地保护泡沫的细节,对于严重噪声污染的泡沫图像序列也能获得较好的处理效果。     

使用PSNR周期特性检测视频帧率上转伪造

帧率上转（FRUC）是最常用的一种视频编辑技术,它在原始视频帧间周期性地插入新的帧,以便增加视频的帧率,这种技术经常用于两段不同帧率的视频拼接伪造中。为了减少视觉痕迹,高级的FRUC方法通常采用运动补偿的插值方式,这也带来了针对这种插值伪造检测的挑战。在本文,我们提出一种新的简单但有效的方法,可正确检测出这种伪造,并能估计出视频的原始帧率。该方法利用了FRUC算法生成的插值帧与相邻原始帧构成的视频序列再次插值重建得到的帧对在PSNR上的周期性差异。测试序列的实验结果表明本文方法检测准确率高,其中对有损压缩视频序列的测试结果进一步证实了该方法的实际使用价值。     

基于自适应SIFT算法的全局运动估计方法

为了更好地实现全局运动估计快速、准确的处理,根据全局运动中视频图像序列的时间冗余特性,提出一种自适应SIFT(Scale-invariant feature transform)算法。基于最近三次模型匹配的结果,采用Lagrange抛物线插值来预测需要匹配的参考帧和当前帧图像的重叠区域。在重叠区域上提取特征点和进行特征匹配,既能够消除视频图像序列中存在的大量信息冗余,加快每帧图像的处理速度,又可以提高待匹配特征点的有效性,减少误匹配。实验结果表明,改进后的算法自适应能力强、速度快、匹配精度高,基本满足实时定位。     

基于视觉显著性的空间图像序列放大算法*

针对已有的图像序列放大方法存在空间运动目标放大后细节不清晰的问题,提出基于视觉显著性的图像序列放大算法。算法首先采用视觉显著性技术获取空间运动目标区域;而后设计不同的放大策略;最后提出分区插值计算和区域能量保护方法,提升放大过程中的空间运动目标清晰度。与已有的放大算法对比的实验结果表明,提出的算法取得了更好的视觉效果和更高的平均梯度指标值、边缘强度指标值、信息熵指标值和图像功率谱指标值。     

纹理细节和边缘结构保持的图像插值算法

针对图像重建过程中产生的边缘结构被破坏和纹理细节丢失问题,提出一种纹理细节和边缘结构保持的图像插值算法。首先,采用自适应阈值的八方向边缘检测划分图像区域;其次,构造双变量有理函数模型,它可在有理模型和多项式模型之间转换;最后,提出基于边缘数据的局部不对称性和梯度特征调整待插值点空间距离的方法,调整边缘部分待插值点坐标并代入有理模型实现插值,而非边缘部分采用多项式模型插值。实验表明,该算法的峰值信噪比平均提升了0.48~2.17 dB,结构相似性平均提升了0.004~0.028,获得了较高的客观评价数据。该算法将原空间距离不变的插值修正为空间距离变化的插值,有效地保持了图像的边缘结构和纹理细节,使得重建结果具有较好的视觉效果。     

基于卷积网络的帧率提升算法研究*

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,本文提出一种基于卷积神经网络（convolutional neural network）的自学习帧率提升（frame rate up-conversion）方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,我们假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,我们这样做是通过增加视频发布者的负担以提供给视频接受者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,我们的方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 DB,取得较大程度提升。并且,我们的方法是基于全局的帧预测方法,可以有效避免快效应、孔洞和遮挡问题。     

基于OTSU的图像插值算法

在图像畸变矫正和图像缩放过程中,需要使用插值算法对像素点进行插值.为了更好地保留图像的纹理细节,以及降低算法时间复杂度,论文提出一种基于OTSU的图像插值算法.利用被插值点四邻域像素的方差来划分图像区域,并采用OTSU算法确定阈值,对图像平坦区域采用双线性插值,而图像纹理细节部分采用双三次插值.实验结果表明,该算法很好...     

一种用于视点图像绘制的光线空间插值方法

光线空间表示是实现实时复杂场景自由视点视频的有效方法。提出了基于特征点检测的快速光线空间插值方法,首先采用自适应阈值提取光线空间片或图像域的特征点,然后结合遮挡问题采用相关性准则匹配特征点,根据匹配的特征点将光线空间分割成不同对象区域并进行插值,以实现快速任意视点图像绘制。实验结果表明,该方法能快速插值光线空间数据,生成的光线空间数据信噪比高、绘制的任意视点图像的主客观质量也较高。     

基于Cycle-spinning的多帧图像Contourlet去噪

本文提出一种改进的Cycle-spinning多帧Contourlet域图像去噪算法。根据视频序列连续帧间存在的运动信息,使用帧间位移矢量来代替平移技术对图像进行Contourlet去噪,基于帧间相关性不同的特点,改进Cycle-spinning变换为加权平均以消除伪吉布斯现象。实验结果显示该方法能有效去除各种类型的图像噪声,保留图像的细节和纹理信息,峰值信噪比(PSNR)有显著提高。     

基于FPGA的高速高质量图像旋转

为了进行高质量、高速的图像旋转变换 ,通过对传统图像旋转矩阵的分解 ,将图像在二维空间中的旋转运算分解成为三次一维空间内的平移运算 ,从而将用于图像旋转运算的二维插值运算简化为在一维空间中进行的一维插值运算。为了保证图像旋转后的质量 ,采用 3阶 B-样条对每次平移后像素点的灰度值进行插值运算 ,并提出了一种基于 IIR和 FIR数字滤波器的 3阶 B-样条插值法的高速实现方案 ;最后针对 2 5 6灰度级 ,2 5 6× 2 5 6像素的图像设计出一种基于 FPGA的高速、高质量的硬件图像旋转及显示系统     

结合帧率变换与HEVC标准的新型视频压缩编码算法

相比于之前主流的H.264视频压缩编码标准,HEVC在保证重建视频质量相同的前提下,可以将码率降低近50%,节省了传输所需的带宽.即便如此,由于一些特定的网络带宽限制,为继续改善HEVC视频编码性能,进一步提升对视频的压缩效率仍然是当前研究的热点.本文提出一种HEVC标准编码与帧率变换方法相结合的新型的视频压缩编码算法,首先在编码端,提出一种自适应抽帧方法,降低原视频帧率,减少所需传输数据量,对低帧率视频进行编解码;在解码端,结合从HEVC传输码流中提取的运动信息以及针对HEVC编码特定的视频帧的分块模式信息等,对丢失帧运动信息进行估计;最后,通过本文提出的改进基于块覆盖双向运动补偿插帧方法对视频进行恢复重建.实验结果证实了本文所提算法的有效性.     

A novel H.264 rate control algorithm with consideration of visual attention

In video coding, a well-designed rate control scheme should be concerned with both the objective and subjective quality. However, the existing H.264 rate control algorithms mainly aim at improving the objective quality without considering the human visual system. In this paper, we propose a novel rate control algorithm that takes into account visual attention. In a group of pictures, bits allocated to each frame are related to the local motion attention in it, and more bits are allocated to the frames with strong local motion attention. Similarly, in each frame, more bits are assigned to visually significant macroblocks (MBs), and fewer to visually insignificant MBs. Experiment results show that the proposed algorithm improves the coding quality in frames with strong local motion, and reduces PSNR fluctuation across frames by up to 22.15%. In addition, PSNR in visually important regions is increased by up to 1.45 dB as compared to the standard H.264 rate control scheme that improves the subjective quality. Increased computation complexity of the proposed algorithm is less than 4%, which is negligible.     

视频标准帧速率上变换的自适应运动补偿方案

提出了一种自适应的运动补偿方案，首先利用预测三步搜索算法进行运动估计，由于此运动估计算法能够很好地利用运动向量的时空相关性．从而能得到更加平滑的运动向量场。其次．为了能够抑制运动向量场中个别奇异向量以及块匹配算法所固有的块效应问题，对向量场进行中值滤波，并采用了一种特殊的向量分配算法。方案的最后一个环节是运动补偿插值，它综合考虑插值帧的局部图像质量以及全局图像质量，利用一种白适应性较强的中值滤波操作来达到一定的综合效果。实验结果证明，此算法与运动补偿时间插值(MCTI)算法相比，插值得到的图像更加平滑，而且，两者的信噪比指标对比也充分说明了本算法的优越性。     

基于视觉颜色对比敏感度模型的动态视频压缩预处理算法

针对彩色视频压缩过程中压缩率不高或者视频质量损失过大的问题,提出一种基于视觉感知模型与色差的自适应视频压缩预处理算法。首先,在颜色对比敏感度模型中,人类视觉对高色度区域的色差敏感度较低,因此为不同色度区域分配不同的压缩权重;然后,基于帧之间的偏差图建立运动预测帧的空间运动模型,降低了高运动区域的残差;最终,使用动态的色调映射函数来控制视频的压缩等级,从而保证视频的视觉质量。基于多组视频进行实验,本算法成功地将标准的压缩软件提高了35%的压缩率,但同时可看出,本算法的性能依赖于具体的视频上下文。     

Video frame interpolation via optical flow estimation with image inpainting

As we all know, video frame rate determines the quality of the video. The higher the frame rate, the smoother the movements in the picture, the clearer the information expressed, and the better the viewing experience for people. Video interpolation aims to increase the video frame rate by generating a new frame image using the relevant information between two consecutive frames, which is essential in the field of computer vision. The traditional motion compensation interpolation method will cause holes and overlaps in the reconstructed frame, and is easily affected by the quality of optical flow. Therefore, this paper proposes a video frame interpolation method via optical flow estimation with image inpainting. First, the optical flow between the input frames is estimated via combined local and global-total variation (CLG-TV) optical flow estimation model. Then, the intermediate frames are synthesized under the guidance of the optical flow. Finally, the nonlocal self-similarity between the video frames is used to solve the optimization problem, to fix the pixel loss area in the interpolated frame. Quantitative and qualitative experimental results show that this method can effectively improve the quality of optical flow estimation, generate realistic and smooth video frames, and effectively increase the video frame rate.     

基于压缩与精化深度体素流模型的视频插值

视频插值是利用视频相邻帧的图像信息合成中间帧,可直接应用于慢动作视频回放、高频视频合成、动画制作等领域。现有基于深度体素流的视频插值模型存在合成精度低、参数量大的问题,限制其在移动端的部署应用。提出一种压缩驱动的精化深度体素流插值模型。通过预训练深度体素流模型提高视频的插值质量并确定高精度参数,利用稀疏压缩技术裁剪卷积通道数,以减少参数量并得到粗体素流,同时将输入视频帧、粗体素流和粗中间帧作为精体素流网络的输入,获得精体素流。在此基础上,通过三线性插值方法计算得到精中间帧,以增强模型对边缘信息的捕获能力,从而提高中间帧质量。在Vimeo 90K和UCF101数据集上的实验结果表明,相比DVF、SepConv、CDFI等模型,该模型的峰值信噪比和结构相似性分别平均提高1.59 dB和0.015,在保证参数量增幅较小的前提下,能够有效优化视频合成效果。     

基于深度体素流的模糊视频插帧方法

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成：去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络（CNN）,提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。     

Motion block based video super resolution

This paper presents a new video super resolution technique, based on the motion and static areas of the low resolution video frames. In order to separate the motion and static blocks, a block motion estimation method is performed between a reference and its neighboring frames. Among the motion blocks, the occluded blocks are identified using an adaptive threshold applied on each block individually. Structure-adaptive normalized convolution (SANC) reconstruction method is used to generate the high resolution static and motion blocks where discrete wavelet transform (DWT) based interpolation is used to produce the high resolution occluded blocks. The static and motion blocks are combined into a high resolution frame. Finally, a sharpening process is performed on the high resolution frame in order to generate the super resolved high resolution output frame. The experimental results show that the proposed technique provides significantly better qualitative visual results as well as quantitative higher PSNR than the state of the art video super resolution algorithms.     

一种针对整帧图像丢失的错误隐藏算法

在低码率的网络视频通信中,数据包丢失往往导致整帧图像数据的丢失。为了修复丢失的整帧图像数据,提出了一种基于光流场不变性的整帧图像错误隐藏算法。该算法首先使用有理插值对前帧图像的运动矢量场做预处理来得到稠密的运动矢量场;然后采用前向投影技术将前一帧图像内容沿着运动矢量场方向投影到当前图像的对应位置上。由于在图像运动场的突变而形成的重叠和遮挡区域,该算法对其按前景和背景进行区分处理,因而进一步提高了错误隐藏的性能。实验结果表明,和已有算法比较,用该算法修复的图像的峰值信噪比提高了0.18~0.82dB,同时得到了更好的主观图像质量。     

A flexible side information generation framework for distributed video coding

One of the most efficient approaches to generate the side information (SI) in distributed video codecs is through motion compensated frame interpolation where the current frame is estimated based on past and future reference frames. However, this approach leads to significant spatial and temporal variations in the correlation noise between the source at the encoder and the SI at the decoder. In such scenario, it would be useful to design an architecture where the SI can be more robustly generated at the block level, avoiding the creation of SI frame regions with lower correlation, largely responsible for some coding efficiency losses. In this paper, a flexible framework to generate SI at the block level in two modes is presented: while the first mode corresponds to a motion compensated interpolation (MCI) technique, the second mode corresponds to a motion compensated quality enhancement (MCQE) technique where a low quality Intra block sent by the encoder is used to generate the SI by doing motion estimation with the help of the reference frames. The novel MCQE mode can be overall advantageous from the rate-distortion point of view, even if some rate has to be invested in the low quality Intra coding blocks, for blocks where the MCI produces SI with lower correlation. The overall solution is evaluated in terms of RD performance with improvements up to 2 dB, especially for high motion video sequences and long Group of Pictures (GOP) sizes.