基于时空相关性的分布式压缩感知多假设预测重构算法

综合考虑到视频序列本身的不同特性以及时空相关性, 将传统视频编码中的多假设预测运动估计思想引入到分布式压缩感知视频编码系统中, 提出一种新的基于时空相关性的分布式压缩感知多假设预测重构算法。在编码端增加CS帧的块模式判别, 在解码端CS帧根据模式判别进行相应的基于块的多假设预测估计和残差稀疏重构。仿真实验表明, 与传统的分布式压缩感知多假设预测重构算法相比, 所提出的算法能够较好地改善视频序列的重建质量。     

基于加权非局部相似性的视频压缩感知多假设重构算法

分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)多假设重构算法将传统视频编码中的多假设预测运动估计思想引入到分布式压缩感知视频编码系统中,改善了对视频序列的重构质量。在该算法中,大变化块采用本帧邻域块信息作为参考,而当本帧邻域块含有较多纹理和细节时,算法性能有待提高。为此,对非局部相似性的思想进行改进,提出基于加权非局部相似性的分布式视频压缩感知多假设重构算法。在该算法中,对大变化块中的纹理块采用加权非局部相似性在相邻已重构帧中寻找自相似块,最终生成辅助重构信息块;对于非纹理块,则简单利用加权非局部相似性生成相似块。对不同特点的视频序列的仿真实验结果表明,改进后的算法有效改善了视频序列的重构质量,具有较优的重构SSIM,PSNR指标,其中PSNR约提高1dB。     

视频压缩感知中分级多假设预测算法

目的 多假设预测是视频压缩感知多假设预测残差重构算法的关键技术之一,现有的视频压缩感知多假设预测算法中预测分块固定,这种方法存在两点不足：1）对于视频帧中运动形式复杂的图像块预测效果不佳;2）对于运动平缓区域,相邻图像块的运动矢量非常相近,每块单独通过运动估计寻找最佳匹配块,导致算法复杂度较大。针对这些问题,提出了分级多假设预测思路（Hi-MH）,即对运动复杂程度不同的区域采取不同的块匹配预测方法。方法 对于平缓运动区域的图像块,利用邻域图像块的运动矢量预测当前块的运动矢量,从而降低运动估计的算法复杂度;对于运动较复杂的图像块,用更小的块寻找最佳匹配;对于运动特别复杂的图像块利用自回归模型对单个像素点进行预测,提高预测精度。结果 Hi-MH算法与现有的快速搜索预测算法相比,每帧预测时间至少缩短了1.4 s,与现有最优的视频压缩感知重构算法相比,对于运动较为复杂的视频序列,峰值信噪比（PSNR）提升幅度达到1 dB。结论 Hi-MH算法对于运动形式简单的视频序列或区域降低了计算复杂度,对于运动形式较为复杂的视频序列或区域提高了预测精度。     

视频压缩感知多假设局部增强重构算法

在基于多假设预测的视频压缩感知重构中,不同图像块对应的假设集匹配程度差异较大,因此重构难度差异明显.本文提出多假设局部增强重构算法(Local enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE),利用帧间相关性对图像块进行分类后针对运动图像块提出像素域双路匹配策略,通过强化图像块基本特征来提高相似块匹配效果,获取更高质量的假设集;同时将结构相似度评价标准引入假设块权值分配过程,提高预测精度.仿真结果表明,所提算法的重构质量明显优于其他多假设预测重构算法.和基于组稀疏的重构算法相比,所提算法具有更快的重构速度,在大部分的采样率条件下具有更高的重构质量.     

基于半像素运动估计的DCVS残差重建算法

针对分布式视频压缩感知中非关键帧重建质量较差的问题进行了研究,提出了一种基于半像素插值技术的残差多假设块迭代重建算法。该算法先对重建后的相邻关键帧进行半像素插值运动估计生成当前非关键帧的边信息;然后,在测量域内对非关键帧与边信息求残差并对残差进行多假设重建;最后,将重建的残差与边信息进行融合得到重建的非关键帧。仿真结果表明,基于半像素插值的改进残差多假设块迭代重建算法比多假设迭代重建算法重建质量平均提高了0.3~1.4dB,提高了非关键帧的重建质量。     

基于一维数据块的AVS视频帧内编码算法

针对AVS（Audio Video Coding Standard,音视频编码标准）视频部分帧内预测中固定三抽头滤波器难以适应纹理类型变化、预测精度低的问题,基于相邻一维数据块（像素行或者像素列）之间纹理一致性更强的特点,提出了基于一维数据块的帧内自适应滤波编码算法,将固定三抽头滤波器扩展为自适应滤波器,以一维数据块为单位生成预测,解决参考像素与预测像素之间距离较远所带来的相关性差、预测不准确的问题。利用最小二乘方法,对已编码的相邻一维数据块进行自适应滤波预测,计算得到最优的三抽头滤波器,将其直接作为当前一维数据块的自适应滤波器,从而避免了自适应滤波器系数的传输开销。实验结果表明：新的帧内编码方法能够提高现有AVS视频帧内编码效率平均达到0.324 dB,最高达到0.879 dB,而且编码性能高于帧内模板匹配方法平均0.120 dB。所提出的方法在新一代的视频编码标准AVS2.0的制定中具有广阔的应用前景。     

基于多重假设的视频压缩感知分层重建

为了改进视频压缩感知方案的性能,提出了一种基于多重假设的视频压缩感知分层重建方案。该重建方案以图像组为单位进行,首先独立重建关键帧,接下来对图像组中的每个非关键帧分配重建层级,并按照层级顺序由低至高逐层重建。每个非关键帧的重建过程逐块进行,需要其时域参考帧及当前帧中的空域数据集为每个重建块做混合多重假设预测,并通过求解全变分最小化问题重建预测残差,最后将预测值与预测残差相加得到重建图像。实验结果表明,在相同采样率下,本文提出的基于多重假设的分层重建方案比已有的方法可以获得最高约3.2dB的峰值信噪比增益。     

基于变采样率压缩感知的视频压缩研究

业界分块视频压缩感知通常对所有图像块均采用相同的测量矩阵进行测量,这种方式未考虑到视频中不同区域的变化程度不同的事实。在视频帧间相关性的基础上提出一种自适应分配采样率的方法,即在编码端根据图像块的帧间相关性大小分类并分配不同的采样率;在解码端使用全变差算法以充分利用帧间相关性。为减小网络环境影响,此算法不区分参考帧与非参考帧,并对每一帧作相同处理。实验结果表明,该方法能够在较低采样率下重构出较高质量的视频图像,并且缩短计算时间。     

一种残差-预测重构的视频分布式压缩感知实现方法研究

为了降低计算成本并节约系统功耗,信号处理最新出现的理论-分布式压缩感知(Distributed Compressed Sensing,DCS)成为视频技术的应用焦点。为此,一种基于多假设预测的视频DCS(VDCS)方案被提出。在VDCS的解码端,当前帧的预测来自于以前重构的参考帧(CS帧),而残差作为重构条件用于改善视频的重构质量。实验结果表明,提出的残差-预测VDCS方法重构视频信号的峰值信噪比(PSNR)优于MH-BCS-SPL和传统的JSM-DCS处理方法。     

基于运动估计与回溯自适应正交匹配追踪的视频压缩传感

为了解决传统视频压缩传感方法中对视频逐帧单独重构所产生的图像模糊,将压缩传感理论与MPEG标准视频编码的相关技术相结合,提出了一种基于运动估计与运动补偿的视频压缩传感方法,以消除视频信号在空域和时域上的冗余。该方法在充分考虑视频序列时域相关性的同时,首先对视频图像进行前、后向和双向预测和补偿,然后采用回溯自适应正交匹配追踪(BAOMP)算法,对运动预测残差进行重构,最后实现当前帧的重构。实验结果表明,该方法较逐帧重构的视频图像质量有较大改善,且可获得更高的峰值信噪比。     

基于双边信息的残差分布式压缩视频感知

压缩感知(CS)是在低于奈奎斯特率条件下获取和重构稀疏信号的新兴技术,在图像和视频获取和处理中有巨大的发展潜力.为了有效提高被测信号的稀疏性和重构效率,本文提出一种基于双边信息的残差分布式压缩视频感知(RDCVS-DSI)编解码模型.该模型利用了图像自身的频域特性和邻近帧之间的相关性,以低质量的视频帧作为编解码的第一边信息,解码端利用关键帧运动估计和运动补偿技术生成非关键帧的第二边信息.通过性能分析和仿真测试表明,该RDCVS-DSI模型能够在较低复杂度条件下,高保真地重建视频序列.与以前的压缩视频感知工作对比,重构帧的平均峰值性噪比达到1-5dB的增益,重构速度接近于复杂度最低的DCVS.     

基于MAP框架的时空联合自适应视频序列超分辨率重建

超分辨率重建在视频监控、高清晰度电视、遥感图像、医学图像处理等领域具有广阔的应用前景. 最大后验估计(maximum a posteriori, MAP)法是普遍采用的一种超分辨率重建方法. 针对传统MAP法存在的局限性, 本文提出了一种基于MAP框架的时空联合自适应视频序列超分辨率重建算法. 时空联合自适应机制的引入使得算法在保持边缘的同时可减小错误运动估计矢量对重建图像质量的影响. 实验结果表明, 算法具有重建质量好、边缘保持能力强、收敛速度快等特点.     

Recovery of image and video based on compressive sensing via tensor approximation and Spatio-temporal correlation

In recent years, block-based compressive sensing (BCS) has been extensively studied because it can reduce computational complexity and data storage by dividing the image into smaller patches, but the performance of the reconstruction algorithm is not satisfactory. In this paper, a new reconstruction model for image and video is proposed. The model makes full use of spatio-temporal correlation and utilizes low-rank tensor approximation to improve the quality of the reconstructed image and video. For image recovery, the proposed model obtains a low-rank approximation of a tensor formed by non-local similar patches, and improves the reconstruction quality from a spatial perspective by combining non-local similarity and low-rank property. For video recovery, the reconstruction process is divided into two phases. In the first phase, each frame of the video sequence is regarded as an independent image to be reconstructed by taking advantage of spatial property. The second phase performs tensor approximation through searching similar patches within frames near the target frame, to achieve reconstruction by putting the spatio-temporal correlation into full play. The resulting model is solved by an efficient Alternating Direction Method of Multipliers (ADMM) algorithm. A series of experiments show that the quality of the proposed model is comparable to the current state-of-the-art recovery methods.

     

基于通道注意力的多尺度全卷积压缩感知重构

现有分块压缩感知图像重建算法存在计算量大、重构时间长,以及在低采样率下重构的图像具有严重的块效应等问题。提出一种基于通道注意力的多尺度全卷积压缩感知图像重构模型。通过均值滤波消除完整场景图像中的噪声点,减少冗余信息,以提取更加有效的信息,采用不同卷积核大小的卷积层对低频信息进行多尺度全卷积采样,得到不同感受野的图像特征信息,丰富网络中原始图像的特征信息。在此基础上,设计一种新的注意力残差模块,通过挖掘特征图通道之间的关联性以提取关键特征信息,提升重构图像的质量。在DIV2K、Set0和Set5数据集上的实验结果表明,当采样率为1%时,该模型的峰值信噪比和结构相似性相较于深度学习模型ISTA-Net分别平均提升了2.02 dB和0.078 2,相较于迭代优化模型TVAL3,重构一张256×256像素图像所花费的时间平均缩短2.608 4 s。所提模型在低采样率下能够有效利用原始图像中的信息生成更清晰的重构图像。     

面向上行流媒体的压缩感知视频流技术前沿

上行流媒体在军民融合领域展现出日益重要的新兴战略价值,压缩感知视频流技术体系在上行流媒体应用中具有前端功耗低、容错性好、适用信号广等独特优势,已成为当前可视通信研究的前沿与热点之一。本文从阐述上行流媒体的应用特征出发,从性能指标、并行分块计算成像、低复杂度视频编码、视频重构和语义质量评价等方面,分析了当前针对压缩感知视频流的基础理论与关键技术,对国内外相关的研究进展进行了探究与比较。面向上行流媒体的压缩感知视频流面临着观测效率难控、码流适配困难和重建质量较低等技术挑战。对压缩感知视频流的技术发展趋势进行展望,未来将通过前端与智能云端的分工协作,突破高效率的视频观测与语义质量导引视频重构等关键技术,进一步开拓压缩感知视频流在上行流媒体应用中的定量优势与演进途径。