基于相邻帧补偿的高速运动目标图像稳像算法及仿真

在高速运动目标图像视频采集过程中,高速运动、风力作用等因素将导致视频图像抖动。为提高高速运动目标图像视觉系统采集性能,改善图像采集质量,提出一种基于相邻帧补偿的高速运动目标图像稳像算法。结合自适应中值滤波方法和灰度化直方图均衡方法对图像进行预处理,用尺度不变特征变换(SIFT)算法提取视频图像中的特征点,利用仿射模型求解运动参数,采用Kalman滤波对视频图像中的正常扫描进行滤波,最后用相邻帧补偿方法将图像的前一帧作为参考帧对当前帧进行参数补偿,实现高速运动目标的视频图像电子稳像处理。仿真实验表明,新算法能在保留图像中的特征的同时去除图像中含有的抖动,非常适合高速运动视频图像的电子稳像处理,精度提高,计算量明显减少。     

基于灰度投影的铁路道口视频电子稳像

机车过往铁路道口时的震动会导致监控视频图像序列的抖动.为了改善图像质量,获得稳定的监控视频,提出了一种基于灰度投影的道口视频电子稳像方法,该方法利用图像的灰度变化特点,通过灰度映射、投影滤波和运动矢量提取估计出视频帧间运动偏移量,进而进行运动偏移量补偿,实现道口视频图像序列的稳像.仿真实验表明,该方法能够有效实现铁路道口的视频稳像.     

一种基于LMA的电子稳像技术

提出一种基于LMA的电子稳像技术,将LMA运用到仿射变换模型的参数估计中,从而获得参考帧与当前帧之间的运动矢量。该电子稳像方法具有速度快和精度高的特点。实验表明,这种稳像算法在进行视频稳像时具有很好的效果。     

基于视频稳像和视角变换的公交客流计数方法

已有的公交客流计数方法大多没有考虑车体振动引起的视频抖动问题和摄像头角度引起的图像梯形失真问题,因此提出一种基于视频稳像和视角变换的公交客流计数方法。首先采用基于块匹配的视频稳像技术,减小车体振动引起的图像序列间的偏移;然后通过对视频图像进行视角变换,校正摄像头角度引起的图像梯形失真;最后采用基于头肩部特征的人体检测及跟踪方法,统计各个时段的上下客流量和乘客总人数。经实验测试,稳像处理后的视频与稳像前相比,峰值信噪比（PSNR）提高了约5.5dB,稳像速率达到25帧/s。视角变换后的视频与原始视频相比,人体识别率提高了约10%,大大提高了客流计数精度     

塔机吊钩可视化系统的视频稳像算法

针对施工现场工况复杂,塔机吊钩视频稳像效果差的问题,本文提出了一种改进ORB特征匹配与固定滞后Kalman滤波相结合的吊钩视频稳像算法.在图像运动估计中,对经典ORB算法进行改进,采用了图像分块与自适应阈值的特征点提取,并引入图像四叉树算法提高图像特征点分布均匀性;在此基础上,采用背景补偿结合帧间差分法,快速识别局部运动目标并进行剔除,提高了全局运动参数估计的准确性;在运动滤波和补偿阶段,采用固定滞后Kalman滤波算法去除随机抖动分量,以获得视频去抖动的运动补偿参数,进而实现塔机吊钩可视化系统监控视频的稳像处理.实验结果表明:与经典ORB加Kalman滤波的稳像算法相比,本文所提出的稳像算法帧间变换保真度ITF提升了约9.12%,结构相似度平均值■提升了约2.75%,获得了更好的稳像效果,且帧处理速率FPS达到了29.65 f/s,满足塔机实时监控要求.     

基于曲线拟合的视频稳像方法

根据人眼的视觉特性,提出一种基于曲线拟合的视频稳像方法。使用图像背景特征点对摄像机的全局运动进行估计,利用曲线拟合的方法计算出摄像机的抖动分量,并将曲线拟合的结果作为摄像机的主观运动方向,对其摄像机的抖动运动分量进行补偿,使图像位移矢量达到最小,以有效减少运动补偿后引起的图像信息丢失。对抖动角度在20°内移动摄像机拍摄的视频进行稳像处理,实验结果表明,该方法稳像后视频的抖动角度小于2°,视频图像信息的损失小于5%,具有较好的稳像效果,并且在稳像后保证了视频帧内容的完整性。     

李群流形上的在线视频稳像算法

针对传统视频稳像算法无法兼顾高质量稳像和低延时的问题,提出李群流形上卡尔曼滤波的实时视频稳像算法.将视频帧间运动分解为旋转分量和平移分量.旋转分量由陀螺仪数据计算的旋转矩阵表示,平移分量由视频帧间匹配得到的平移矩阵表示,旋转矩阵的序列和平移矩阵的序列分别对应于李群流形上的运动路径.利用李群流形上的卡尔曼滤波分别对旋转分量和平移分量进行平滑.最终通过运动补偿获得稳定的视频帧序列.实验表明,文中算法能够兼顾延时和稳像效果,可以在移动端实现高质量的在线视频稳像.     

用于视频修复的连贯语义时空注意力网络

现有的视频修复方法通常会产生纹理模糊、结构扭曲的内容以及伪影,而将基于图像的修复模型直接应用于视频修复会导致时间上的不一致.从时间角度出发,提出了一种新的用于视频修复的连贯语义时空注意力(Coherent Semantic Spatial-Temporal Attention,CSSTA)网络,通过注意力层,使得模型关注于目标帧被遮挡而相邻帧可见的信息,以获取可见的内容来填充目标帧的孔区域(hole region).CSSTA层不仅可以对孔特征之间的语义相关性进行建模,还能对远距离信息和孔区域之间的远程关联进行建模.为合成语义连贯的孔区域,提出了一种新的损失函数特征损失(Feature Loss)以取代VGG Loss.模型建立在一个双阶段粗到精的编码器-解码器结构上,用于从相邻帧中收集和提炼信息.在YouTube-VOS和DAVIS数据集上的实验结果表明,所提方法几乎实时运行,并且在修复结果、峰值信噪比(PSNR)和结构相似度(SSIM)3个方面均优于3种代表性视频修复方法.     

多媒体课件制作中视频图象编辑

在多媒体制作中常常用到视频图像,常用的视频图像格式有ＡＶＩ和ＭＰＥＧ两种。ＡＶＩ格式的视频图像具有较高的清晰度,但却有文件过大的缺点。ＭＰＧ格式的文件是经过ＭＰＥＧ－ｌ标准压缩的,和ＡＶＩ 格式相比具有很大的压缩比和较好的图像质量,文件比较小,但是它的编辑一直是一个难题。因为ＭＰＥＧ－１格式的图像具有Ｉ、Ｂ和Ｐ帧,Ｂ帧称向后预测帧,Ｐ帧称向前预测帧,Ｂ帧和Ｐ帧只记录着与Ｉ帧的差别部分,所以不能像ＡＶＩ文件一样进行帧编辑。ＡＶＩ视频的编辑是比较容易实现的,这里就不介绍了。下面重点谈谈ＭＰＥＧ 视频的…     

即时全变差优化的低延时视频稳像方法

目的 传统的视频稳像方法为了获得理想的稳像效果,一般耗费较多的计算时间,且存在较长的延时。针对此问题,提出一种即时全变差优化的低延时视频稳像方法。方法 首先利用特征点检测和匹配计算帧间单应变换,得到抖动视频的运动路径;然后通过即时全变差优化方法对抖动路径进行平滑优化,获得稳定的运动路径;最后通过运动补偿,生成稳定的视频。结果 对公共视频数据集中的抖动视频进行稳像效果测试,并与当前稳像效果较好的几种稳像算法和商业软件进行效果和时间对比。在时间方面,统计了不同方法的每帧平均消耗时间和处理延迟帧数,不同于后期处理方法需要得到大部分视频帧才能够进行计算,本文算法能够在只有一帧延时的情况下获得最终的稳像结果,相比于MeshFlow方法有15%左右的速度提升;在稳像效果方面,计算了不同方法稳像后的视频扭曲率和裁剪率,并邀请非专业用户进行了稳定程度的主观判断,本文算法的实验结果并不输于目前被公认较好的3种后期稳像方法,优于Kalman滤波方法。结论 本文所提稳像方法能够兼顾速度和有效性,相对于传统方法,更适合低延时要求的应用场景。     

一种多方向感知的高实时性视频融合算法

针对多路视频融合阶段拼缝线两侧范围内出现的虚影、色彩亮度差异以及高分辨率下无法实时拼接等问题,本文提出一种多方向感知的视频融合算法。首先,在图像配准阶段,采用SIFT提取特征点与特征描述子对图像进行配准;然后,在图像融合阶段,使用指数函数构建的权值查找表指导融合过渡,结合视频帧投影位置与拼接缝之间的距离,利用形态学操作自适应地融合图像拼缝;最后,利用GPU平台大量多线程并行运算,整合投影与融合等矩阵运算从而掩盖延时达到实时目的。实验结果表明,该算法能消除重叠区域内出现的虚影、模糊现象,并且具有良好的实时拼接效果。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于视频拼接技术的无人实况转播系统

介绍了基于视频拼接技术的无人实况转播系统的实现。首先对图像进行预处理,然后使用SURF算法对视频图像进行图像配准拼接,并对拼接图像进行融合。提出了一种基于运动前景提取的全景视频中热点区域确定方法,该方法可平滑追踪热点区域进行提取实现实时转播。本系统的实现节省了视频直播过程中的人力财力。     

基于相对定向和小区域融合的视频图像拼接

针对视频图像拼接中拼接面选取不当造成的畸变问题和图像融合阶段视差带来的残影问题,借助半角纠正法选取合适的拼接面,使用小区域融合法解决融合残影问题.首先,利用摄影测量的相对定向法计算图像姿态参数;然后,根据姿态参数对待拼接图像进行半角纠正并旋转到同一中介平面;接着,利用匹配的同名点对齐图像;最后,在图像重叠区域的中间部分选取一条形区域作为过渡区并采用渐入渐出法进行融合.实验结果表明,在双摄像头视频拼接系统中,半角纠正法比传统平面拼接法的畸变要小;同时与渐入渐出融合法相比,小区域融合法能避免由视差引起的大面积残影问题.经分析,半角纠正和小区域融合法能有效解决视频拼接中图像变换的畸变和重叠区域融合残影问题.     

一种视差伪影最小化的视频拼接方法

针对视频拼接中由于移动前景引起的重影和伪影问题,提出了一种视差伪影最小化的视频拼接方法。该方法根据重叠区域图像的前景区域、灰度差异、纹理和颜色差异对能量函数进行改进,同时采用能量最小化的动态规划技术找到非移动前景区域的最佳缝合线;利用视觉背景提取（VIBE）检测移动物体并在随后的视频图像中更新最佳缝合线;根据色彩饱和度差异自适应地调整融合区域,采用自适应融合方法实现视频图像的融合。实验结果表明,该方法可以有效地抑制由移动前景引起的视差伪影且其拼接图像无明显接缝。     

基于GPU的视频流拼接算法研究

为解决视频流的稳定实时拼接,结合图形处理器GPU强大的并行计算能力,提出了一种基于GPU的视频流拼接算法.提取视频流的帧图像,利用尺度不变特征变换(scale invariant feature transform,SIFT)算法在GPU上实现帧图像的特征提取与匹配,实现图像拼接,进而实现视频流的稳定实时拼接.基于GPU的SIFT算法充分利用了GPU的并行处理能力,加快了视频流拼接算法执行的速度,真正意义上实现了几个差异较大但具有公共视野的视频流快速稳定的拼接.     

实时全自动视频拼接方法

在视频拼接中,配准的误差和运动物体都会给拼接结果带来鬼影,简单的融合方法会带来图像高频内容的丢失,复杂的融合算法则难以满足实时性。针对上述问题,使用一种改进的快速检测Harris算子以及改进的RANSAC算法来减少图像配准误差,结合捆绑调整进行全局调整,并提出新的融合方法。通过对重叠区域边界的求取和形态学腐蚀运算,确定需要融合的像素,结合三角函数作为权值来进行融合。大量的实验结果表明,该方法具有良好的实时拼接效果。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

Panoramic video stitching from commodity HDTV cameras

Digital camera and smartphone technologies have made high-quality images and video pervasive and abundant. Combining or stitching collections of images from a variety of viewpoints into an extended panoramic image is a common and popular function for such devices. Extending this functionality to video however, poses many new challenges due to the demand for both spatial and temporal continuity. Multi-view video stitching (also called panoramic video stitching) is an emerging, common research area in computer vision, image/video processing and computer graphics and has wide applications in virtual reality, virtual tourism, surveillance, and human computer interaction. In this paper, we study and solve the major technical and practical problems in the complete process of stitching a high-resolution multi-view video into a high-resolution panoramic video. The challenges addressed include video stabilization, efficient high-definition multi-view video alignment and stitching, color correction, and blurred frame detection and repair. The proposed approaches have been successfully applied in a high-quality virtual reality system—the Virtual Exercise Environment (VEE) system.