基于深度体素流的模糊视频插帧方法

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成：去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络（CNN）,提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。     

基于时空联合的解码边信息插值算法

在Wyner-Ziv视频编码中,边信息质量是影响系统编码效率的关键因素,但解码端获得的运动矢量不精确而导致内插边信息的质量不高。为此,提出一种基于时空联合的解码边信息插值算法。该算法将多种块分割模式与双向运动估计相结合,匹配准则采用双向平均绝对误差和(SBAD)判断运动矢量时间变化,利用边界绝对误差(BAD)判断运动矢量的空间变化,通过时空联合匹配准则保证运动矢量的空间平滑性和时间连贯性。实验结果表明,该算法降低了编码码率,内插边信息的主观和客观质量均有所提高,边信息的峰值信噪比(PSNR)最大提高1.41dB。     

分布式视频编码中的边信息改进算法

边信息是影响分布式视频编码系统率失真性能的关键因素之一。针对传统的运动补偿帧内插方案的固定宏块划分法忽略了视频序列中各区域运动强烈程度不均的特性,提出基于图像活跃度的灵活宏块划分算法。在前向运动估计之前,对相部关键帧的差值图像统计活跃度,根据各区域的运动强烈程度自适应地调整宏块大小。实验结果表明,对于不同运动特性的序列,本算法可以明显提升边信息帧的重建质量,使系统的率失真性能提高0.3~1.3dB有效提高了系统性能。     

基于多块模式决策的边信息生成方法

分布式视频编码中边信息的质量决定了系统的率失真性能,边信息质量越高,则率失真性能越好。针对视频序列中对象运动的不均匀特性,结合MCTI技术,本文提出了一种新的边信息生成算法。其基本思想是在编码端利用多块模式算法对帧中宏块进行划分,将宏块分为运动缓慢块和运动剧烈块;在解码端,对运动缓慢块直接由MCTI算法生成边信息,而运动剧烈块的边信息要经过后处理进行优化得到。仿真实验表明与直接由MCTI生成边信息方法相比,本文算法可以使生成边信息的峰值信噪比(PSNR)比原有的算法提高0.8dB-1.2dB左右,有效提高了边信息的质量。     

DVC中基于块小波变换的边信息生成算法

在运动补偿内插生成的初始边信息基础上,根据图像的时空相关性,自适应地判断块小波变换方式,传送不同地小波系数辅助解码端生成边信息。实验结果表明,对于不同的视频序列,该算法在一定程度上能有效改进边信息的生成质量。     

基于联合运动补偿的边信息预测算法

传统块运动补偿算法仅利用单一运动向量场,该运动向量场中总会存在一定的运动异常,而过多的运动异常会严重衰退内插帧质量。为了解决该问题,提出了一种基于联合运动补偿的边信息内插算法,该算法使用双向运动估计计算出内插帧的运动向量场,接着采用当前块和其八个邻域块的运动向量联合预测出目标块。由于运动向量场的局部平滑特性会使八邻域块的运动向量十分接近当前内插块的真实运动向量,实验结果表明提出算法比传统算法有更好的容错性能。     

深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能...     

一种多目分布式视频编码的边信息生成算法

针对多目视频传感器网络,提出了一种新的空间边信息生成算法,该算法将体现图像空间信息的三焦点张量引入边信息的计算.三焦点张量的匹配点计算采用了改进的基于SIFT(Scale Invariable Feature Transform)特征描述符的匹配算法,在保持对匹配有旋转、尺度缩放、亮度变化不变性的优点同时,大大提高了计算速度.仿真结果表明.无论从率失真表现还是主观质量表现角度进行比较,该算法明显优于常用的边信息生成算法、基于运动的外推法MC-E和基于运动的内插法MC-I.     

基于视频序列运动特性的边信息生成算法研究

在分布式视频编码系统中,针对非线性运动区域边信息生成误差大的问题,提出了基于视频序列运动特性的边信息改进方法。解码端利用双向运动补偿时域内插技术生成初始边信息,再根据前后运动矢量的和值将边信息划分为线性与非线性区域,并对非线性区域用矢量滤波器进行去伪非线性区域处理,对真正做非线性运动的块进行分层运动估计以得到更精确的运动信息。将得到的边信息与初始边信息相比,改进后的边信息平均PSNR值提高了1dB。     

DVC中基于亚像素MCI的边信息重建

为了提高边信息重建质量从而提升分布式视频编码的压缩性能,在引入一种基于整像素运动补偿内插(MCI)的边信息重建算法的基础上,提出基于1/2像素和基于1/4像素的亚像素MCI边信息重建算法。实验结果表明,2种算法能有效提高边信息质量,在不改变编码端复杂度的情况下,明显提升视频编码系统的率失真性能。     

像素级运动矢量场边信息生成算法

在分布式视频编码（DVC）中,解码端生成的边信息的质量对整个系统的率失真(RD)性能有着重要影响。为了提高边信息的质量,进而提升DVC系统的RD性能,提出一种基于像素级运动矢量场的边信息生成算法(SGPMVF)。首先,通过运动估计分别获得前后两关键帧的像素级运动矢量场;然后,为Wyner-Ziv帧的每个像素选择合适的运动矢量;最后,通过帧间内插得到高质量的边信息。算法中提出基于SAD（绝对误差和）差值的搜索范围确定方法与像素级运动矢量选择方法。实验结果表明,对于快速运动的序列,该算法在不增加编码复杂度和码率的情况下使边信息的PSNR最大提高1.45 dB,并使DVC系统的RD性能提高0.3～0.7 dB。     

Wyner-Ziv视频编码中边信息估计改进算法

首先简要介绍了分布式编码基本原理和一种典型的分布式编码方案——Wyner-Ziv视频编码。然后在Wyner-Ziv视频编码中提出了一种改进边信息估计算法,该算法中运动估计采用加权MAD准则。实验仿真结果表明,采用该文算法得到的运动矢量场更为准确,同时在相同输出码率时PSNR比原始算法平均提高0.7 dB。     

基于动态学习率深度神经网络的抗干扰信道编码算法

针对电子战条件下,通信信号易受压制干扰的问题,提出了一种基于动态学习率深度自编码器（dynamic learning rate deep AutoEncoder,DLr-DAE）的信道编码算法来提高系统抗压制干扰性能。首先对输入未编码信号进行预处理,将原始输入信号转换为单热矢量,随后使用训练数据样本集,用非监督学习方法训练深度自编码器,基于随机梯度下降法（SGD）更新网络参数,利用指数衰减函数,在迭代次数和网络损失函数值变化过程中动态微调学习率,减少网络迭代循环次数,避免收敛结果陷入局部最优点,从而获得面向电子战环境的信道编码深度学习网络。仿真结果表明,相比现有深度学习编码算法,该算法在取得同等误码率时,抗噪声压制干扰性能最大可提升0.74 dB。     

频率域Wyner-Ziv视频编码算法的改进

为提高分布式视频编码压缩率,依据无线传感网络终端设备及Wyner-Ziv视频编码特点,针对Bernd Girod的频域Wyner-Ziv视频编码方案提出改进算法。该算法在编码端通过简单DCT运算提出将图像块分为Skip模式、低频模式和全频模式三种可选模式,在解码端根据相应的编码模式分别选择平均插值、自适应搜索运动估计插值和自适应搜索精细运动估计插值的边信息估算方法联合解码。该算法既能通过消除大量的帧间预测与熵编码实现低码率传输,又能以最小的解码代价获得更精确的边信息,从而有效地避免图像解码质量下降。实验结果表明,在相同峰值信噪比情况下,该算法的码率比Bernd Girod提出的频域Wyner-Ziv算法平均下降40%。     

块分类的双向估计加权边信息生成算法*

针对分布式视频编/解码中运动估计产生的预测重叠问题,提出了一种块分类的双向估计加权边信息生成算法。根据前后相邻关键帧对应块的相关性,将像素块分为保留块类和运动块类。对保留块类直接作保留处理;对运动块类中的像素块采用改进的双向运动补偿算法找到对应匹配块,并通过加权判决模块生成边信息。实验结果表明,在不增加编码端复杂度的情况下,算法有效提高了边信息质量。     

基于数据流深度学习算法的Android恶意应用检测方法

目前针对未知的Android恶意应用可以采用机器学习算法进行检测,但传统的机器学习算法具有少于三层的计算单元,无法充分挖掘Android应用程序特征深层次的表达。文中首次提出了一种基于深度学习的算法DDBN （Data-flow Deep BeliefNetwork）对Android应用程序数据流特征进行分析,从而检测Android未知恶意应用。首先,使用分析工具FlowDroid和SUSI提取能够反映Android应用恶意行为的静态数据流特征;然后,针对该特征设计了数据流深度学习算法DDBN,该算法通过构建深层的模型结构,并进行逐层特征变换,将数据流在原空间的特征表示变换到新的特征空间,从而使分类更加准确;最后,基于DDBN实现了Android恶意应用检测工具Flowdect,并对现实中的大量安全应用和恶意应用进行检测。实验结果表明,Flowdect能够充分学习Android应用程序的数据流特征,用于检测未知的Android恶意应用。通过与其他基于传统机器学习算法的检测方案对比,DDBN算法具有更优的检测效果。     

Wyner-Ziv视频编码中边信息估计算法改进*

与传统视频编码方法相比,DVC（distributed video coding）在编码性能方面还存在着较大差距。边信息估计是其中的关键技术之一,在很大程度上决定着编码效率。为缩短性能差距,改善边信息估计效率,提出一种针对像素域Wyner-Ziv视频编码系统的改进算法,在解码端改善了关键帧之间的运动矢量获取以及采用重叠块运动补偿来生成边信息。通过对大量测试序列的实验,验证了改进算法的率失真性能得到改善。