基于自适应运动估计的视频超分辨率重建

针对传统的空域超分辨率重建算法过度依赖配准的精度而限制了算法的适用范围,提出基于自适应运动估计的视频超分辨率重建算法。在非参数估计的核回归模型的基础上,将二维核回归函数扩展到三维,把视频序列中的每一个像素点表示成三维泰勒展开式。通过局部加权最小二乘法得到展示的系数,用核回归的权重捕捉时空局部运动信息,避免了显式的亚像素精度的运动估计。在标准测试视频数据库中的实验表明,该算法具有较好的重建效果和较大适用范围,可用于具有局部和复杂运动的视频。     

相似性约束的视频超分辨率重建

图像的相似性对超分辨率重建具有重要作用,但是单幅图像不能提供足够的相似信息.提出一种基于相似性约束的视频超分辨率重建算法,针对需要重建的视频帧,通过光流场的初始运动估计和精细的块匹配,搜索到视频序列中具有相似的信息;然后利用相似信息不断修正迭代反投影中的重建误差.实验结果表明本文算法能够增加图像细节,并且可以消除边缘出现的人造效应,获得清晰的图像边缘.     

基于超分辨率重建的低质量视频人脸识别方法

随着深度神经网络的兴起,人脸识别技术得到了飞速发展.但在光照条件差、低分辨率等情况下的低质量视频S2V(Still to Video)人脸识别由于存在低质量测试视频与样本库高清图像的异质匹配问题,仍然没有达到预期的效果.针对这个问题,提出一种基于超分辨率重建的低质量视频人脸识别方法.首先根据人脸姿态对低质量视频帧采用聚类算法和随机算法选取关键帧,然后建立一个面向低质量视频S2 V人脸识别的超分辨率重建模型S2 V-SR,对关键帧进行超分辨率重建,从而获得高分辨率且更多身份特征的超分辨率关键帧,最后使用视频人脸识别网络提取深度特征进行分类投票,得到最终的人脸识别结果.所提方法在COX视频人脸数据集上进行实验测试,在相对较高质量的cam1和cam3视频中获得了最好的识别准确率,即55.91％和70.85％,而在相对较低质量的cam2视频中获得了仅次于最好方法的识别准确率.实验结果证明,所提方法能够在一定程度上解决S2 V人脸识别中异质匹配的问题,并且能够获得较高的识别准确性和稳定性.     

超分辨率图像重建方法研究

超分辨率图像重建就是由低分辨率图像序列来估计高分辨率图像,已成为当前研究的热点。对超分辨率的概念和应用场合进行了阐述,对空域的几种主要重建方法进行了详尽分析与比较,并研究了压缩域中的重建方法,指出了各自的优点与不是。研究表明,超分辨率重建具有广泛的应用前景,其成像模型、运动估计、重建算法和实时实现将是今后研究的重点。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

视频序列超分辨率重构技术综述

视频序列超分辨率重构技术可以利用来自一个或多个低分辨率视频序列信息重构一个具有高空间分辨率或高时空分辨率的视频序列。本文从视频序列的空间超分辨率、时间超分辨率以及时空超分辨率重构三个方面对视频序列超分辨率重构技术进行了详细的阐述,对视频序列超分辨率重构技术中的关键问题和应用前景进行了分析与展望。     

基于低秩及全变分的视频超分辨率重建

视频序列沿着时间轴展开所形成的二维矩阵具有低秩性,由此提出了一种利用该性质并结合全变分约束的视频超分辨率重建算法.该方法使用保真项以及上述两约束条件构造视频超分辨率重建的优化函数,然后采用变量分裂法求解该优化问题.实验结果表明,相比于两步迭代(two-step iterative shrinkage/thresholding,TWIST)、3D核回归(3D kernel regression,3DKR)等方法,此算法能得到更好的峰值信噪比和结构相似度,即使在模糊和噪声的影响下,该算法也具有良好的性能,能较好地重建出视频图像.     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来.现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配.与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题.首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度...     

改进的序列图像超分辨率重建方法

为解决局部运动的视频序列在超分辨率重建过程中,由于采用传统的图像间全图一致变换模型可能导致的运动估计误差增大,影响重建效果的问题,提出了基于三角网不规则分块运动估计思想和基于DTN-POCS的重建算法.从边缘点中提取特征点,利用配准获得的同名点集,在主/从图像对间构建同名不规则三角网,并以此分割图像,默认每个三角块中像素运动一致.在此基础上,把所有低分辨率帧分块投影到高分辨率坐标,以凸集投影(POCS)迭代优化.试验结果表明:重建的高分辨率图对图像中的局部运动鲁棒性更强,能有效改善重建精度.     

压缩视频超分辨率重构的一种新算法

针对传统重构算法不能很好地解决压缩视频的超分辨率图像重构的问题，文中提出了一种基于凸集投影（POCS）理论的压缩视频超分辨率重构算法。整个算法是在严格数学推理基础上形成的，具有较强的逻辑性和严密性。实验结果也表明，该算法不仅在峰值信噪比（PSNR）值和重构效果对压缩视频有较大提高和明显改善，而且易于扩展，具有广泛的应用范围。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

基于实时操作系统的低成本捷联惯导系统

针对捷联惯导系统低成本、小体积的要求,给出提出一种利用微机械惯性传感器,、以ARM芯片作为导航计算机的硬件方案。设计基于嵌入式实时操作系统的实时多任务导航计算机软件系统。测试结果表明,姿态角度的短期误差可保持在2o范围内,软件系统能合理分配硬件资源,提高导航计算机的整体性能,软件的模块化设计使导航计算机的软件系统具备良好可移植性。     

基于局部-空间模型的视频摘要研究与设计

介绍视频摘要技术以及缩略视频的3类研究方法,提出一种基于局部-空间模型的视频摘要研究方法.通过对视频序列的帧内与帧间信息的分析得到关键帧,对提取出的关键帧进行双线性插值形成视频段,运用DirectShow开发软件的DES对视频段编辑融合成最终的动态视频摘要.实验结果表明,在不需要人工干预的情况下,自动生成的视频摘要不仅...     

基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

基于视频元数据信息的快速图像检索

现有视频图像检索技术大多是基于2幅图片的整个信息比较,计算量大,且未生成有效的视频结构。针对该问题,提出一种基于视频元数据信息的快速图像检索方法。利用交互信息量提取关键帧,将关键帧划分为场景和主题2个部分,计算其灰度分布和概率密度,构造视频元数据,通过元数据信息进行视频检索。实验结果表明,该方法能快速准确检索出用户所需的视频内容。     

基于DSMI算法和GPU加速的大规模视频检索系统*

本视频检索系统围绕如何处理大规模数据和在线实时检索来展开研究。基于互信息量的镜头边界检测算法检索性能较好,但计算量较大,针对此问题,提出了一种基于动态滑动窗口算法与互信息量相结合的分割算法（DSMI算法）,系统运用GPU的并行计算能力来实现加速检索。实验结果表明,DSMI算法能够加快系统中镜头边界检测的运行效率;同时GPU加速使用户在线检索时间成功达到20倍加速比,满足了项目的实时性要求,具有较高的可扩展性。     

基于互信息的颅脑MR影像序列的三维配准

医学图像配准具有重要的临床应用价值,并一直是医学图像处理领域的热点研究问题。基于互信息的配准方法由于自动化程度高和配准精度高的优点而被广泛应用于三维医学图像配准;但是,也存在着数据量大、计算速度慢的问题。采用归一化互信息测度,并将一种新的正交优化技术应用于颅脑MR影像序列的三维配准,旨在缩短处理时间。将该方法与使用传统优化算法的配准方法作了比较,实验结果表明,提出的方法能够显著提高配准速度,且不降低配准精度。