基于刚体模型的视频自适应中值去噪算法

传统的去噪研究主要针对图像进行滤波,未考虑视频信号的时域与空域相关性。为充分利用视频信号的时空联系进行去噪,首先建立了视频刚体模型,然后基于刚体模型进行了自适应中值滤波的研究和对比。刚体模型将视频信号分解为只包含平移和旋转运动的刚体块,以线性关系组织视频像素。基于刚体模型的中值滤波使用被滤波点在刚体内空域相邻和时域对应的像素参与中值计算,并根据时域和空域的污染程度不同选择参考像素集的范围。通过对常用测试视频的去噪实验,证实了基于刚体模型去噪的可行性;基于刚体模型的自适应中值滤波的去噪效果优于普通空域自适应滤波,证明了时空联合去噪的优越性。     

一种时空联合的视频去噪方法

传统的图像滤波器在模糊程度与去噪能力之间存在不可调和的矛盾。提出了一种基于时空域联合的方法,从视频的角度出发,同时利用信号的时域和空域相关性进行去噪,以解决这一矛盾。新方法首先通过一种基于自适应阈值、搜索方法切换的快速自适应运动估计方法获得运动轨迹,然后使用自适应窗口大小的中值滤波去除空域噪声,中值滤波中使用了运动轨迹上相邻两帧的对应窗口像素,使用一维卡尔曼滤波器行时域去噪,最后用几何均值结合两次滤波的结果,使信号的时域相关性与空域相关性都得到了充分利用。实验结果证明该算法去噪效果显著,超过了各种时域或空域方法,对椒盐噪声的处理效果尤其突出。实验也表明,由于新方法的时间消耗为时域滤波、空域滤波和运动估计时间的简单累加,因时空联合而增加的计算复杂度属于可接受的范围。     

基于气泡稳定性分析的锌浮选泡沫图像时空联合去噪

浮选泡沫运动过程中不可避免地出现形变、坍塌、兼并、破裂等动态变化特性,常用的去噪方法难以获得高质量的监测图像.本文提出一种基于气泡稳定性分析的泡沫图像时空联合去噪方法.该方法采用扩展的相位相关法对浮选气泡进行亚像素运动估计,通过双线性插值进行运动补偿;在此基础上,以泡沫图像子块为单位检测气泡的稳定性,准确辨识出泡沫图像子块的稳定运动状态(SMS)和非稳定运动状态(UMS);对具有SMS特性的子块采用时域滤波去噪,对具有UMS特性的子块采用非局部均值(NLM)方法进行空域滤波去噪;并根据气泡子块的稳定性,联合时域滤波结果和空域滤波结果获得泡沫图像的时空联合去噪输出.在锌浮选过程监控中进行实验验证,结果表明,该方法可以获得高信噪比的泡沫图像,去噪结果结构相似性强,为泡沫视觉特征的准确提取奠定了基础.     

基于小波阈值和主成分分析的视频去噪算法

将局部像素组主成分分析算法引入到视频去噪领域,并利用三维块匹配算法保持了视频序列的相关性,对视频中的噪声进行抑制。用三维块匹配视频去噪算法中小波阈值去噪得到的图像替换二阶局部像素组主成分分析中的第一阶处理得到的图像,这样可以避免局部像素组主成分分析算法直接处理视频时产生的局部效应。最后,局部像素组主成分分析算法也抑制了三维块匹配算法中的小波阈值去噪结果中产生的画面不平滑的问题。实验结果表明,本算法较好地将主成分分析算法引入到了视频去噪领域,同时较好地解决了三维块匹配视频去噪算法中小波阈值去噪的块效应问题,主客观指标的比较也表明本算法有较为优秀的去噪效果。     

运动估计和小波域结合的视频去噪算法

在对视频图像的获取过程中不可避免地会引入噪声[1],导致视觉效果下降。提出一种新的视频去噪算法。第一步时域滤波采用改进的自适应十字算法进行帧间运动估计,对于判别为没有运动的区域运用标准的加权均值时域滤波方法,对于运动区域,则沿运动轨迹进行滤波。第二步空域滤波借鉴小波分析框架和著名的非局部均值NLM(Non Local Mean)去噪算法[2],对视频的每一帧进行空域分频处理。实验结果的分析与对比表明所提出的方法能有效地避免了运动模糊,较好地克服了平坦区域产生虚假纹理信息的问题,更好地保护了图像的边缘等细节信息。     

基于块和低秩张量恢复的视频去噪方法

由于采用矩阵的表示形式会破坏视频数据的原始空间结构,针对这一问题,提出了一种基于块和低秩张量恢复的视频去噪方法。首先运用自适应中值滤波器对含噪视频进行预处理,通过相似块匹配构造一个三阶张量,根据视频张量的低秩性和噪声像素的稀疏性,利用基于张量的增广拉格朗日乘子法（ALM）重建出三阶视频张量的低秩部分和稀疏部分,实现噪声的分离。该方法采用张量模型来处理视频去噪的问题,更好地保护了视频序列的高维结构特性,可以准确地去除复杂结构视频的噪声干扰。实验结果表明,相对于常用方法,该方法能准确完整地分离噪声,具有更强的视频去噪能力。     

基于多层自适应背景模型的实时视频去噪算法

提出了一种基于多层自适应背景模型的实时视频去噪算法。针对视频去噪的需求提出的多层自适应背景模型,是一种不仅适用于静态的背景,还适用于快速变化的背景。在背景经历突变再次稳定后,它能够在短暂的时间内完成背景模型的重建。多层自适应背景模型是自适应地单帧逐渐调整,因此它不存在多帧的时延与计算量。去噪效果表明,此算法对视频图像的视觉质量有明显改善。     

一种鲁棒性的基于运动估计的自适应时空域视频去噪算法

提出了一种鲁棒的基于运动估计的自适应时空域视频去噪算法。在运动估计前的自适应维纳滤波,提高了运动估计的准确性与匹配率;在运动估计后基于小块的再次判断以及Duncan滤波器的采用,提高了运动估计的鲁棒性。实验数据表明,此算法取得了很好的预期效果。     

基于视频流体模型的图像超分辨率重建

为解决监控视频分辨率不足的问题,在视频流体模型的基础上,提出一种图像超分辨率重建方法。视频流体模型记录了视频对象的整体区域,及区域内各像素的时域对应关系,利用流体区域在不同时刻的像素值进行滤波和拼接,达到去噪、扩展分辨率的目的,基于等色线构建视频流体模型,使用视频流体模型实现去噪,以起始帧作为参考图像,并依次在各帧中选择补入流纹,根据补入流纹的相邻流纹计算补入流纹在初始帧的位置,如果所得位置非整数,对参考图像插值拉伸,采用补入流纹中的值代替相关坐标的像素值。实验结果表明,将添加噪声的CIF格式视频重建到2CIF格式,该方法的重建结果比最大后验估计与投影方法、梯度投影等方法的峰值信噪比提高1 dB~4 dB。     

一种新的小波视频去噪方法

为了去除单帧图像小波去噪后残留的噪声和去噪时引入的类似脉冲噪声的伪细节,提出一种基于运动补偿的三维KNN(K-Nearest Neighbors)帧间滤波视频序列去噪方法.该方法首先对含噪声的视频序列中的每一帧图像进行小波去噪,然后对去噪后的图像进行基于运动补偿的三维KNN帧间滤波.实验结果显示,本文中提出的方法可以有效去除视频序列中的噪声,同时可以很好地保持运动对象的边缘.     

基于超图聚类的故事单元的抽取与分析

合理而有效地结构化组织视频数据是浏览、检索和管理视频的重要前提.提出了一种新的层次化的结构化组织视频数据的提取故事单元的方法.它采用k-近邻超图描述镜头间的内容相似关系,利用超图模型对镜头聚类,并通过分析镜头类别间的时间投影关系提取故事单元,并采用一维字符串描述故事单元.此外,还提出了结合领域知识确定故事单元的类型的算法框架,并将其用于对话场景的检测.将算法用于测试多段视频,实验结果令人满意.     

视频的检索反馈

基于内容的视频检索是一个重要的研究领导领域,吸引了众多研究者的举,常用的查询方式是通过例子视频进行检索,但是如何定义是否两个视频相似,仍然是尚未解决的问题,限制了检索系统的应用范围,而且由于视频内容的复杂性,不同在检索过程中,即使对同一部视频,其注重的角度也有可能不同,因此接受用户的反馈意见,当用户对查询结果不满意时可以优化查询结果,突出用户的需求,在综合了人类礼堂心理特征的基础上,介绍了一种视频相似衡量的模型,从镜头、视频等多个层次,多种视觉判断角度,对视频间相似度进行衡量,并在此基础上提出了多个粒度－－镜头层次和视频层次进行检索反馈的方法,整个过程是自动进行的,根据用户的意见灵活地优化检索结果。     

Content-adaptive wireless streaming of instructional videos

Video streaming over wireless networks is becoming increasingly important for a variety of applications. To accommodate the dynamic change of wireless network bandwidths, Quality of Service (QoS) scalable video streams need to be provided. This paper presents a system of content-adaptive streaming of instructional (lecture) videos over wireless networks for E-learning applications. We first provide a real-time content analysis method to detect and extract content regions from instructional videos, then apply a “leaking-video-buffer” model to adjust QoS of video streams dynamically based on video content. In content-adaptive video streaming, an adaptive feedback control scheme is also developed to transmit properly compressed video streams to video clients not only based on network bandwidth, but also based on video content and the preferences of users. Finally, we demonstrate the scalability and content adaptiveness of the proposed video streaming system with experimental results on several instructional videos.     

Content-adaptive wireless streaming of instructional videos

Video streaming over wireless networks is becoming increasingly important for a variety of applications. To accommodate the dynamic change of wireless network bandwidths, Quality of Service (QoS) scalable video streams need to be provided. This paper presents a system of content-adaptive streaming of instructional (lecture) videos over wireless networks for E-learning applications. We first provide a real-time content analysis method to detect and extract content regions from instructional videos, then apply a “leaking-video-buffer” model to adjust QoS of video streams dynamically based on video content. In content-adaptive video streaming, an adaptive feedback control scheme is also developed to transmit properly compressed video streams to video clients not only based on network bandwidth, but also based on video content and the preferences of users. Finally, we demonstrate the scalability and content adaptiveness of the proposed video streaming system with experimental results on several instructional videos.     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

一种面向无人机视频的多尺度摘要的设计与实现

无人机视频是利用无人机航拍得到的一类重要的视频资源,被广泛运用于地面目 标的监测。但是,无人机视频的视野辽阔、不具有目标针对性的拍摄特点,使其存在大量时空 冗余,传统的视频交互手段显得十分低效。为此,提出了一种面向无人机视频的多尺度螺旋摘 要。首先,基于 YOLOv3 算法,训练能检测无人机视角的行人、车辆等目标的模型。然后,提 出了基于关键帧的视频目标检测算法,根据改进后的基于颜色特征的关键帧提取算法提取涵盖 视频关键信息的关键帧,并将检测模型应用于关键帧,高效获取整个视频的目标检测结果。之 后,从关键帧中提取相应的关键区域,作为摘要的呈现单元,并以螺旋的形式从内向外地将摘 要单元逐一呈现,辅以基于关键帧的视频定位和尺度缩放功能。最后,开发了草图注释、目标 分布螺旋、双螺旋播放等新颖的交互工具,满足用户的潜在需求,共同实现面向无人机视频的 高效交互。     

Perceptual quality assessment of nighttime video

The quality of nighttime videos is important for consumer photography and monitoring of video clearness. However, little work has been done on the study of nighttime video quality assessment. In this paper, to the best of our knowledge, we explore the study on the nighttime video quality assessment for the first time. First, we build a real-world nighttime video quality assessment database (NVQA) containing 200 videos with abundant content and diverse distortion. Additionally, we carry out subjective tests to rate all nighttime videos in the NVQA database. Thereafter, we proposed a blind nighttime video quality assessment model based on feature fusion and conducted experiments to evaluate the performance and efficiency of our proposed model. The experiment results demonstrate that our model outperforms most traditional methods.     

Detecting Objectionable Videos

This paper addresses the problem of detecting objectionable videos, which has never been carefully studied before. Our method can be efficiently used to filter objectionable videos on Internet. One tensor based key-frame selection algorithm, one cube based color model and one objectionable video estimation algorithm are presented. The key frame selection is based on motion analysis using the three-dimensional structure tensor. Then the cube based color model is employed to detect skin color in each key frame. Finally, the video estimation algorithm is applied to estimate objectionable degree in videos. Experimental results on a variety of real-world videos downloaded from Internet show that this method is promising.