视频图像超分辨率应用系统设计与实现

本文设计实现了一个视频图像超分辨率应用系统。文章描述了超分辨率实验平台的设计,包括系统结构、图像与视频内容、主要算法模块设计,介绍了开发该系统平台、开发该平台所使用到的关键技术,显示使用本系统处理后的图像。     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

基于ROI的视频超分辨率的法庭科学应用（英文）

近年来,使用深度学习技术的超分辨率图像的质量和速度都有很大的提升。最新研究的重点是恢复普通图像的高分辨率的细节。由于感兴趣的目标在法庭科学应用中非常具体,本文提出了利用已知感兴趣目标有所认知的一种总体操作框架。所提出的基于ROI的视频超分辨率框架不仅十分有效,而且能够重建出高质量图像。实验结果显示,算法比传统的基于帧的方法平均快35%和提高0.44dB的图像质量。     

多视频的时空超分辨率重建算法

Shechtman E等提出的时空超分辨率重建算法,在输入低分辨率视频序列足够多的情况下,重建效果非常好.但在实际应用中很难获得针对同一动态场景的大量低分辨率视频序列,导致该重建算法的应用有了一定的局限性.针对这一问题,提出了一种新的时空超分辨率重建算法.采用Shechtman E等提出的算法重建出一个高时间分辨率视频序列,采用改进的迭代反投影算法提高该高时间分辨率视频序列的空间分辨率,从而得到一个高时空分辨率视频序列.实验结果表明,提出的新算法能较好地实现用较少的低分辨率视频序列重建一个高时空分辨率视频序列.     

一种多映射卷积神经网络的超分辨率重建算法

针对现有卷积神经网络在超分辨率重建的图像上存在部分细节特征不够突出、边缘模糊等问题,在现有模型三大模块的基础上对映射模块及损失函数进行细致剖析,提出了一种多映射卷积神经网络的超分辨率重建算法．该算法通过构建多映射网络,极大地丰富了图像在聚合高分辨图像时的特征维度．同时在重建模块的卷积层后引入全变分正则项,结合误差反向传播算法,可有效地对解空间约束,从而提取出精确、有效的特征,丰富重建图像的细节信息．在常用数据集上的实验结果表明,该算法生成的网络模型获得了更好的超分辨率结果,主观视觉评价和客观衡量指标有一定的改进,有效地提高了图像的分辨率．     

深度图像超分辨率重建技术综述

便携式消费级深度相机的问世和发展,加速了深度信息在无人驾驶、人机交互、三维重建等领域的应用,但低成本消费级相机所拍摄的深度图像通常具有较低的空间分辨率。深度图像超分辨率重建是一种能有效提高深度信息空间分辨率的方法,已经成为计算机视觉和图像处理领域的研究热点。在详细阐述深度图像超分辨率重建概念和必要性的基础上,从输入图像角度,全面梳理归纳了近年来深度图像超分辨率重建方法的研究现状,对其中的关键性问题和今后的研究方向做了较为深入的分析,最后对深度图像超分辨率重建的应用前景进行了展望。     

基于时空特征和神经网络的视频超分辨率算法

提出了一种基于时空特征和神经网络的视频超分辨率重建算法,实现了视频视觉分辨率质量和细节清晰度的提升. 该算法综合考虑了外部图像块之间的关联映射关系和内部图像块间的相似性,利用深度卷积神经网络学习得到的拟合系数快速地重建视频细节. 采用时空非局部特征相似性优化重建结果,将相邻视频帧间的非局部互补冗余信息融入学习视频帧结果中,解决了误匹配等问题,进一步提升了超分辨率性能. 实验结果表明,所提方法在客观评价指标和主观视觉效果上均取得了较好的重建效果.     

一种基于双段深度残差卷积网的强噪声超分辨率重建算法

受强噪声污染的图像经过现有降噪算法降噪后,往往很难恢复出图像的细节,导致图像分辨率不高,严重影响图像后期的应用,所以研究受强噪声污染图像的高清细节恢复算法具有重要意义。提出了一种基于双段深度残差卷积网的强噪声超分辨率重建算法,该算法设计了一种双段深度残差卷积网,前后段深度残差卷积网的结构完全相同,前段深度残差卷积网用于降噪,后段深度残差卷积网用于超分辨率重建。结果表明,提出的算法可以很好地适用于强噪声的图像降噪,不仅能获得更高的峰值信噪比与结构相似度,而且能获得更好的图像细节恢复、改善图像的视觉效果,具有较好的实用性。     

下采样迭代和超分辨率重建的图像风格迁移

提出一种基于下采样迭代和超分辨率重建的图像风格转移算法,即在输入端对输入图像进行下采样,以加速整个图像风格迁移网络的迭代速度,在输出端进行超分辨率的重建,最终输出高分辨率的图像。实验结果表明,该方法减少了整个网络的迭代时间,输出的超分辨率图像也有较好效果。     

改进SRGAN的图像超分辨率算法

SRGAN算法虽然具有许多优点,但也存在图像重建效果不够好、参数数量庞大、激活函数表现较差等问题。为此,本文提出一种基于SRGAN的图像超分辨率算法SRGAN-E。该算法首先删除BN层,提高图形的重建效果;再在原生成器模型中加入一维卷积注意力机制,使得图像在重建过程中更加关注上下文信息并减少网络模型中生成器的参数;将SRGAN算法鉴别器模型中的LeakyReLU函数改为Mish函数,以提升鉴别器的性能。实验结果表明:对比SRGAN算法,改进后的SRGAN-E算法在4个测试集上PSNR的平均值增加了0.345,SSIM的平均值增加了0.009;SRGAN-E算法的生成器参数数量与SRGAN算法相比,减少了1 388个。SRGAN-E算法不但提高了图像的重建效果而且还减少了模型参数。     

无线低码率视频中的信源-信道联合RD模型

为了实现无线低码率视频应用中端到端失真特性的动态分析,本文首先以图像组（GOP）为观察单元,分别对I帧和P帧进行了信源和信道的失真分析;然后分析了信道失真在GOP内的传播规律;最后在此基础上,提出了一个信源 信道联合率失真（RD）模型. 该模型能根据视频序列的内容变化和信道丢包率,动态地估计出一个GOP中各帧的平均端到端失真. 实验结果表明,该模型具有很好的动态性能和精确性.     

联合运动估计和帧选择的多帧超分辨率重建算法

多帧图像超分辨率重建中,连续各帧图像间的精确匹配和帧的选择具有非常重要的意义。提出了自适应帧选择原则,设计了联合光子流运动估计配准和超分辨率重建的方法。首先采用光子流运动估计算法计算各帧间的运动估计,设计一种自适应帧选择方法丢弃一些帧间运动较大的帧,再通过亚像素图像配准,计算得到相对精确的运动估计参数,最后结合最大后延概率方法进行图像超分辨率计算,并充分考虑两次迭代所得图像向量的差值对下次迭代算法的影响。实验结果表明,该方法不仅可以实现亚像素级的精确配准,还可以使重建后图像在视觉效果和峰值信噪比上都得到更好的效果。     

雷达视频的组网传输设计及应用

为了高效利用雷达原始回波,设计了视频回波的组网采集及传输方式:利用雷达视频采集卡,解决了多种模式、多种分辨率雷达VGA视频的远程控制问题;通过雷达视频流服务器,实现了雷达一次视频信息的实时网络传输与多级共享.实际应用表明,将雷达一次视频、雷达情报和指挥控制组网集为一体,有助于提高预警探测的准确性、直观性和可靠性.     

一个面向Web服务集成的Agent协同框架

多Agent系统适用于Web服务集成的分布式环境;软件Agent相比Web服务具有更好的主动性和交互能力.面向Web服务集成的Agent协同框架以软件Agent和Web服务作为系统基本组件,可以构造开放的、分布式的、动态的、自主的、智能化的服务集成系统.具有设计、编辑Web服务集成流程;验证服务集成流程的正确性;执行Web服务集成流程;监控Web服务集成流程的执行等功能.     

移动多跳无线网络中视频传输控制

为了在移动多跳无线网络中获得满意的视频服务质量,综合考虑视频信号编码与传输。提出一种基于移位的3-D SPIHT的自适应嵌入式多描述编码（MDC）,根据网络状况产生多个不同码流;引入优先级机制将码源分配至不同码流中,以保证视频的传输质量,降低网络负载。仿真结果表明,该联合算法在相同实验条件下,较传统方法有明显的优势。     

异构网络中的视频传输服务质量框架

提出了一种无线异构网络中网络感知自适应的视频传输服务质量框架,并描述了完整的框架及框架中的自适应算法。该框架包括可伸缩视频编码模块、服务质量映射模块、带宽估计模块、错误和拥塞控制模块以及接收端的解码输出模块。优点在于:拥塞控制和错误控制机制更加有效;网络条件恶劣时视觉质量平滑下降;网络资源能够有效地被利用。仿真结果证明了自适应服务质量框架性能的改善。     

Adaptive DirectShow Framework for Layered MPEG-4 Video Multicast

An extensible framework was proposed to implement the hierarchical and adaptive control andfeedback mechanism of layered MPEG-4 video multicast transmission in DirectShow architecture. In ourframework, layers of MPEG-4 video and FEC data are wrapped dynamically in RTP packets to pass through theheterogeneous network effectively. An adaptive control center is designed to control the actions of the related     

基于本体的E-learning服务发布与发现框架

目前E-learning服务急剧增多,网络学习者需要一种有效的方法从大量服务中找到适合自己的服务.在研究本体技术的基础上,构造学科本体支持对特定学科词汇的语义描述;提出一种OWL-S/UDDI映射方案,实现E-learning服务的描述从表示层到实现层的映射.在此基础上,提出了一种基于学科本体的E-learning服务发布与发现框架,该框架包括用户层、表示层、中间件层和数据存储层;针对传统的基于关键字的服务匹配缺乏语义支持的不足,该框架将学科本体引入E-learning服务发布与发现过程中,增强了E-learning服务发现能力,并在一定程度上提高了服务查找的效率和准确率.     

移动终端视频实时传输的关键技术

随着WIFI网络的大面积覆盖,移动终端用户有了更快捷的数据传输效率以及更好的用户体验.为了解决移动终端视频实时传输过程中电量消耗过大以及因编码方式不同所造成的视频传输实时性较差的问题,分别提出适合Android系统的H.263、H.264视频流的封装策略和传输框架,利用终端对所拍摄现场进行视频采集和编码,这样能够随时将场景在服务器端实时显示.同时,为了解决终端在传输过程中电量损耗过大的问题,在对影响终端电量的不同参数分析的基础上,找出了这些参数和电量之间的权重关系,即在视频清晰度正常的情况下,影响手机电量的3个主要参数编码方式、分辨率、帧率的能耗比值约为6∶5∶1,在视频清晰度高的情况下,三者的比值约为6∶7∶2,这对移动终端的节能有很好的参考价值.