基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

低帧率周期运动视频超分辨率重建方法

通过重建周期视频一个周期内的每一帧从而恢复出一个周期的高质量视频。由于视频是低帧率的,相邻帧间差别较大,无法使用相邻的帧进行基于模型的超分辨率重建,于是提出了配准视频周期,然后利用出每个周期内的相同景物的帧进行超分辨率重建,从而为低帧率低分辨率单个周期视频找到了超分辨率重建的方法;在帧间配准方面使用了互信息方法,取得了更精确的效果;使用的超分辨率重建方法无需迭代,对图像直接进行重建,算法更为简单。在仿真实验和实际实验中均取得了比其他基于模型的方法更好的结果。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

基于结构张量的视频超分辨率算法

针对传统正则化超分辨率（SR）重建模型中,正则化参数选择过大会使重建结果模糊,导致边缘和纹理等细节丢失,选择过小模型去噪能力又不足的问题,提出一种基于结构张量的双正则化参数的视频超分辨率重建算法。首先,利用局部结构张量对图像进行平滑区域和边缘的检测;然后,利用差异曲率对全变分（TV）进行先验信息加权;最后,对平滑区域和边缘采用不同的正则化参数进行超分辨率重建。实验数据显示提出的算法将峰值信噪比（PSNR）提高了0.033～0.11 dB,具有较好的重建效果。实验结果表明：该算法能够有效地提升低分辨率（LR）视频帧重建效果,可应用于低分辨率视频增强、车牌识别和视频监控中感兴趣目标增强等方面。     

多阶导数自适应视频超分辨率重建

传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 dB和1.14 dB。所提算法能够在去除噪声的同时有效保持图像的细节特征。     

非局部低秩正则化视频压缩感知重构

视频压缩感知在采样资源受限的视频采集领域具有重要研究意义,重构算法是视频压缩感知系统的关键技术.为了更好地从压缩采样数据中重构视频信号,提出一种基于全变分与非局部低秩正则化的视频重构算法,为视频重构提供一种新的思路.算法第1步考虑视频帧内和帧间的局部相关性,应用全变分模型作为先验约束得到初步恢复的视频帧;第2步考虑视频帧内与帧间的非局部自相似性,应用改进的非局部低秩正则化算法对其进一步重构,该步骤针对初步恢复的图像帧分块在本帧和关键帧中寻找相似块,构建低秩矩阵进行低秩正则化重构.仿真结果表明,所提出算法能够精确重构视频信号,相比主流的视频压缩感知重构算法具有更高的重构质量.     

基于可变形非局部三维卷积网络的视频超分辨率重建算法

视频超分辨率(VSR)技术的目标是找出从相应的低分辨率(LR)视频序列重建高分辨率(HR)视频的最佳重建方案.提出了一种新颖的可变形非局部三维卷积网络(DNL-3DCNN)能有效地利用时空信息和参考帧与相邻帧之间的全局相关性.具体来说,非局部结构(Non-Local)同时增强了输入帧的时空信息中所需要的精细细节.此外,...     

基于区域分割的小波分解运动补偿编码算法

为了提高视频运动估值的速度和运动矢量编码的效率，提出了一种基于区域分割的小波分解运动补偿的视频编码算法，该算法的几个核心部分的特点如下：（1）运动估值部分，在基本的可变块多分辨率运动估值算法的基础上，充分利用了小波分解后各子带所表征的运动结构相关性，因而提高了运动矢量的编码效率，同时提出了基于区域分割的多分辨率运动估值算法，因而在有效减少运动估值时间消耗的同时，进一步提高了运动矢量的编码效率；（2）在量化部分，提出了一种基于人的视觉系统的量化方法；（3）采用改进的高效的零树小波编码算法对帧内和帧间信息进行编码，实验结果表明，所提出的算法是有效的。     

基于非局部低秩和自适应量化约束先验的HEVC后处理算法

经高效视频编解码标准HEVC压缩后的视频在高压缩比、低码率的情况下存在明显的压缩效应。针对该问题,提出了一种基于非局部低秩(Non-local Low-rank,NLLR)和自适应量化约束(Adaptive Quantization Constraint,AQC)先验的HEVC后处理算法。该算法首先构造在最大后验概率框架下的优化问题,然后利用解码后的压缩视频和量化参数QP获取非局部低秩和自适应量化约束先验信息,最后利用split-Bregman迭代算法来解决所提的优化问题,从而有效去除压缩效应,提升重建视频质量。其中,非局部低秩先验通过构建基于相似块聚类的非局部低秩模型来获得;自适应量化约束先验通过联合不同量化参数QP下的约束特性与视频的DCT域块活动性来获得。实验结果表明,在同等码率的情况下,与HEVC标准相比,所提算法在帧内编码模式下可以达到平均0.2597 dB的PSNR提升,在帧间编码模式下可以达到平均0.2828 dB的PSNR提升。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

基于局部回归模型的图像超分辨率重建

针对基于稀疏重建的图像超分辨率(SR)算法一般需要外部训练样本,重建质量取决于待重建图像与训练样本的相似度的问题,提出一种基于局部回归模型的图像超分辨率重建算法。利用局部图像结构会在不同的图像尺度对应位置重复出现的事实,建立从低到高分辨率图像块的非线性映射函数一阶近似模型用于超分辨率重建。其中,非线性映射函数的先验模型是直接对输入图像及其低频带图像的对应位样本块对通过字典学习的方法得到。重建图像块时利用图像中的非局部自相似性,对多个非局部自相似块分别应用一阶回归模型,加权综合得到高分辨率图像块。实验结果表明,该算法重建的图像与同样利用图像具有自相似性的相关超分辨率算法相比,峰值信噪比(PSNR)平均提高0.3~1.1 dB,主观重建效果亦有明显提高。     

保留边缘与细节的压缩采样视频复原算法*

已有的压缩感知视频复原算法因过平滑效应难以保留视频帧的边缘与细节信息,对此提出一种基于混合稀疏性测量的压缩采样视频复原算法。编码端将视频序列分为关键帧与非关键帧,并使用相同的感知矩阵对帧的每块进行采样。解码端则设计了考虑局部稀疏性与全局稀疏性的混合稀疏性测量方案,并将其作为压缩感知视频复原问题的正则项;然后,通过分裂Bregman迭代算法对关键帧进行解码,并考虑视频帧间的时间相关性对非关键帧进行细化处理。基于多组仿真实验的结果表明,本算法获得了较好的视频复原精度,并具有理想的计算时间性能。     

基于非局部自回归学习的医学图像超分辨重建方法

由于受放射剂量的影响及成像设备条件的限制,医学图像在成像过程中的分辨率不高,并在一定程度上影响后期临床诊疗的精度.针对此问题,文中提出基于非局部自回归学习的医学图像超分辨重建方法.利用医学图像数据固有的非局部相似性特点,将自回归模型引入到基于稀疏表示的医学图像超分辨重建模型中,同时利用聚类算法得到分类字典,提高实验效率.实验表明,文中方法提高医学图像分辨率方面的可行性,及在重建效率和性能方面的优势     

基于高斯模糊的CNN的单幅图像超分辨率重建算法

近几年卷积神经网络在单幅图像超分辨率重建工作中取得了很大的进步,但是大部分基于卷积神经网络(CNN)的单幅图像超分辨重建算法是建立在低分辨率图像由高分辨率图像通过双三次插值法下采样取得的前提下,当这个假设不成立时,图像重建的客观评价指标PSNR以及主观的视觉效果就会较差。针对此问题,提出一种基于高斯模糊的CNN的单幅图像超分辨率重建算法,通过在图像输入网络前,将原始低分辨率图像与高斯模糊核进行卷积,并进行低频信息融合以增强网络的泛化能力,使用亚像素卷积法把图像上采样到目标图像大小,进而消减网络的参数数量,提升运算速度。实验结果表明,该算法在不同放大倍数下的重建效果均优于传统算法。     

基于结构自相似性和形变块特征的单幅图像超分辨率算法

针对单幅图像超分辨率（SR）复原样本资源不足和抗噪性差的问题，提出一种基于结构自相似和形变块特征的单幅图像超分辨率算法。首先，该方法通过构建尺度模型，尽可能地扩展搜索空间，克服单幅图像超分辨率训练样本不足的缺陷；接着，通过样例块的几何形变提升了局限性的内部字典大小；最后，为了提升重建图片的抗噪性，利用组稀疏学习字典来重建图像。实验结果表明：与Bicubic、稀疏字典学习（ScSR）算法和基于卷积神经网络的超分辨率（SRCNN）等优秀字典学习算法相比，所提算法可以得到主观视觉效果更为清晰和客观评价更高的超分辨率图像，峰值信噪比（PSNR）平均约提升了0.35 dB。另外所提算法通过几何形变的方式扩展了字典规模和搜索的准确性，在算法时间消耗上平均约减少了80 s。     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。     

改进混合高斯模型的电网检修人员行为检测

针对运动目标检测,当前算法具有一定的适用性和局限性,以及检测信息不完整等问题,在帧间差分法和混合高斯模型的基础上,提出了一种改进的混合高斯模型的目标检测算法,用来解决帧间差分法造成的运动目标背景轮廓不完整的问题.该方法是在传统的混合高斯模型的基础上,在一定帧数内,检查所有的高斯分布的权重,对满足条件的高斯分布进行删除操作,最终得到轮廓较为清晰的运动目标.实验结果表明,本文算法充分的考虑了背景人物对于运动目标监测产生的影响,实验过程中使用了真实的电网数据,从而说明该算法在准确度上相比于其他算法提高了3.37%,具有更好的准确性和对环境的适应能力.     

基于多尺度时域3D卷积的视频超分辨率重建

视频超分辨率是一项很有实用价值的工作.针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法.该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积...     

基于字典学习和非局部相似的超分辨率重建

为提高单帧降质图像的分辨率,提出了一种基于字典学习和非局部相似性的超分辨率重建算法。该算法主要将高分辨率图像减去利用迭代反投影重建结果得到差值图像,再利用K-奇异值分解(K-SVD)算法和联合字典生成的思想形成的字典训练方法,训练差值图像块和低分辨率图像块得到对应的高、低分辨率字典用于超分辨重建。此外,引入非局部相似性的正则项约束以提高重建图像的质量。实验结果表明,所提算法重建得到的图像在主观视觉效果和客观评价上优于基于例子学习的超分辨率算法。