PRNU Extraction from Stabilized Video: A Patch Maybe Better than a Bunch

This paper presents an algorithm to solve the problem of Photo-Response Non-Uniformity (PRNU) noise facing stabilized video. The stabilized video undergoes in-camera processing like rolling shutter correction. Thus, misalignment exists between the PRNU noises in the adjacent frames owing to the global and local frame registration performed by the in-camera processing. The misalignment makes the reference PRNU noise and the test PRNU noise unable to extract and match accurately. We design a computing method of maximum likelihood estimation algorithm for extracting the PRNU noise from stabilized video frames. Besides, unlike most prior arts tending to match the PRNU noise in whole frame, we propose a new patch-based matching strategy, aiming at reducing the influence from misalignment of frame the PRNU noise. After extracting the reference PRNU noise and the test PRNU noise, this paper adopts the reference and the test PRNU overlapping patch-based matching. It is different from the traditional matching method. This paper conducts different experiments on 224 stabilized videos taken by 13 smartphones in the VISION database. The area under curve of the algorithm proposed in this paper is 0.841, which is significantly higher than 0.805 of the whole frame matching in the traditional algorithm. Experimental results show good performance and effectiveness the proposed strategy by comparing with the prior arts.     

全景视频双环带映射算法

针对全景视频映射过程中局部区域变形过大、冗余数据量极高的问题,提出了一种双环带映射算法（DRP）。首先,根据球面视频的几何特点,结合人眼视度（HVS）这一视觉特性,用两个相互正交的环形区域,将球面视频分割成14个大小相近的区域;然后根据空域采样定理,采用兰索斯插值法,将这14个区域对应的球面视频内容映射为14个大小相等的矩形视频;最后,根据最新视频编码标准的特点,重新排列这14个矩形视频,得到符合编码器标准的紧凑的全景视频。实验结果表明,与经纬图映射算法（ERP）、八面体映射算法（OHP）、二十面体映射算法（ISP）相比,DRP算法在视频压缩性能方面有良好的表现;其中同最流行的ERP算法相比,码率平均降低8.61%,明显提升了视频编码效率。     

基于姿态引导的场景保留人物视频生成

人物视频生成技术是通过学习人体结构与运动的特征表示,实现从特征表示到 人物视频帧的空间生成映射。针对现有的人物视频生成算法未考虑背景环境转换及人体姿态 估计精度较低等问题,提出一种基于姿态引导的场景保留人物视频生成算法(PSPVG)。首先, 取合适的源视频和目标视频,利用分割人物外观的视频帧代替源视频帧作为网络的输入;然 后,基于GAN 的运动转换模型将源视频中的人物替换成目标人物,并保持动作一致性;最后, 引用泊松图像编辑将人物外观与源背景融合,去除边界异常像素,实现将人物自然地融入源 场景且避免改变画面背景环境和整体风格。该算法使用分割出的前景人物图代替源视频帧中 的人物,减少背景干扰,提高姿态估计精度,自然地实现运动转移过程中源场景的保留,生 成艺术性与真实性和谐并存的人物视频。     

针对用户兴趣的视频精彩片段提取

目的 视频精彩片段提取是视频内容标注、基于内容的视频检索等领域的热点研究问题。视频精彩片段提取主要根据视频底层特征进行精彩片段的提取,忽略了用户兴趣对于提取结果的影响,导致提取结果可能与用户期望不相符。另一方面,基于用户兴趣的语义建模需要大量的标注视频训练样本才能获得较为鲁棒的语义分类器,而对于大量训练样本的标注费时费力。考虑到互联网中包含内容丰富且易于获取的图像,将互联网图像中的知识迁移到视频片段的语义模型中可以减少大量的视频数据标注工作。因此,提出利用互联网图像的用户兴趣的视频精彩片段提取框架。方法 利用大量互联网图像对用户兴趣语义进行建模,考虑到从互联网中获取的知识变化多样且有噪声,如果不加选择盲目地使用会影响视频片段提取效果,因此,将图像根据语义近似性进行分组,将语义相似但使用不同关键词检索得到的图像称为近义图像组。在此基础上,提出使用近义语义联合组权重模型权衡,根据图像组与视频的语义相关性为不同图像组分配不同的权重。首先,根据用户兴趣从互联网图像搜索引擎中检索与该兴趣语义相关的图像集,作为用户兴趣精彩片段提取的知识来源;然后,通过对近义语义图像组的联合组权重学习,将图像中习得的知识迁移到视频中;最后,使用图像集中习得的语义模型对待提取片段进行精彩片段提取。结果 本文使用CCV数据库中的视频对本文提出的方法进行验证,同时与多种已有的视频关键帧提取算法进行比较,实验结果显示本文算法的平均准确率达到46.54,较其他算法相比提高了21.6%,同时算法耗时并无增加。此外,为探究优化过程中不同平衡参数对最终结果的影响,进一步验证本文方法的有效性,本文在实验过程中通过移除算法中的正则项来验证每一项对于算法框架的影响。实验结果显示,在移除任何一项后算法的准确率明显降低,这表明本文方法所提出的联合组权重模型对提取用户感兴趣视频片段的有效性。结论 本文提出了一种针对用户兴趣语义的视频精彩片段提取方法,根据用户关注点的不同,为不同用户提取其感兴趣的视频片段。     

基于仿射包和伪Zernike矩的视频人脸检索

近年来基于视频的人脸检索已成为人脸识别和检索领域最为活跃的研究方向之一。提出了一种基于仿射包结合伪Zernike矩特征的视频人脸检索算法（FRIVAP）。在视频中检测跟踪到人脸生成图像集,接着提取图像集中人脸的伪Zernike矩特征,建立特征的仿射包,通过相似度计算得到结果。经对Honda/UCSD视频数据库和自行构建的视频数据库的大量实验表明,该算法可以充分利用视频中人脸的时间和空间信息,并且对噪声、人脸姿势变化等条件下的人脸检索有较强的鲁棒性。     

大气模型与亮度传播图相结合的低照度视频增强算法

目的 为解决低照度视频亮度和对比度低、噪声大等问题,提出一种将Retinex理论和暗通道先验理论相结合的低照度视频快速增强算法。方法 鉴于增强视频时会放大噪声,在增强之前先对视频进行去噪处理,之后结合引导滤波和中值滤波的优势提出综合去噪算法,并将其应用于YCbCr空间。其次提取亮度分量来估计亮度传播图,利用大气模型复原低照度视频。最后综合考虑帧间处理技术,加入场景检测、边缘补偿和帧间补偿。结果 为了验证本文算法的实际效果和有效性,对低照度视频进行增强实验并将本文算法与Retinex增强算法、去雾技术增强算法进行了比较,本文算法有效地提高了低照度视频的亮度和对比度,减小了噪声,增强了视频的细节信息并减轻了视频闪烁现象,从而改善了视频质量。算法处理速率有着非常明显的优势,相比文中其他两种算法的速率提升了将近十倍。结论 本文算法保持了帧间运动的连续性,在保证增强效果的同时提升了处理速率,对细节和边缘轮廓部分的处理非常精细,具有目前同类算法所不能达到的优良效果,适用于视频监控、目标跟踪、智能交通等众多领域,可实现视频的实时增强。     

Videoshop: A new framework for spatio-temporal video editing in gradient domain

This paper proposes a new framework for video editing in gradient domain. The spatio-temporal gradient fields of target videos are modified and/or mixed to generate a new gradient field which is usually not integrable. We compare two methods to solve this “mixed gradient problem”, i.e., the variational method and loopy belief propagation. We propose a 3D video integration algorithm, which uses the variational method to find the potential function whose gradient field is closest to the mixed gradient field in the sense of least squares. The video is reconstructed by solving a 3D Poisson equation. The main contributions of our framework lie in three aspects: first, we derive a straightforward extension of current 2D gradient technique to 3D space, thus resulting in a novel video editing framework, which is very different from all current video editing software; secondly, we propose using a fast and accurate 3D discrete Poisson solver which uses diagonal multigrids to solve the 3D Poisson equation, which is up to twice as fast as a simple conventional multigrid algorithm; finally, we introduce a set of new applications, such as face replacement and painting, high dynamic range video compression and graphcut based video compositing. A set of gradient operators is also provided to the user for editing purposes. We evaluate our algorithm using a variety of examples for image/video or video/video pairs. The resulting video can be seamlessly reconstructed.     

基于峭度图像的视频指纹算法

为解决网络视频的非法拷贝问题,提出一种基于峭度图像的视频指纹算法。对视频片段进行预处理后,利用均匀分布的随机变量提取关键帧以及关键帧的峭度图像,并对峭度图像进行离散余弦变换(DCT),采用较大的DCT系数构造视频指纹,在视频指纹的匹配过程中,通过滑动窗的方法对不同长度的指纹进行匹配,从而达到视频认证的目的。实验结果证明,该算法提取的视频指纹在常见视频攻击下误码率均小于10%。     

视频实时自适应去雾算法

在雾天环境下,户外视频的可视性将受到极大损害,需要通过视频实时去雾来恢复视频的可视性。视频实时去雾对于单帧图像处理的速度有很高的要求,现有的图像去雾算法或是速度上达不到要求,或是速度虽快但去雾效果不理想。另外,视频还会面临拍摄场景中雾气浓度不断变化的问题,现有图像去雾算法中需要手动设置参数且参数固定,无法在雾气浓度变化的条件下始终达到理想的去雾效果。提出了一种实时的视频自适应去雾算法,该算法对视频中单帧图像进行去雾时,会基于暗原色值来区分图像区域,并对不同区域进行不同程度的去雾,在满足实时性的同时得到了很好的去雾效果。此外,该算法还基于暗通道先验设计了评价去雾结果的方法,并使用迭代的方式根据雾气浓度自动调整去雾参数,从而在视频中雾气浓度变化的情况下,始终能达到理想的去雾效果。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

Using image processing technology combined with decision tree algorithm in laryngeal video stroboscope automatic identification of common vocal fold diseases

This study used the actual laryngeal video stroboscope videos taken by physicians in clinical practice as the samples for experimental analysis. The samples were dynamic vocal fold videos. Image processing technology was used to automatically capture the image of the largest glottal area from the video to obtain the physiological data of the vocal folds. In this study, an automatic vocal fold disease identification system was designed, which can obtain the physiological parameters for normal vocal folds, vocal paralysis and vocal nodules from image processing according to the pathological features. The decision tree algorithm was used as the classifier of the vocal fold diseases. The identification rate was 92.6%, and the identification rate with an image recognition improvement processing procedure after classification can be improved to 98.7%. Hence, the proposed system has value in clinical practices.     

Intrinsic Light Field Images

We present a method to automatically decompose a light field into its intrinsic shading and albedo components. Contrary to previous work targeted to two‐dimensional (2D) single images and videos, a light field is a 4D structure that captures non‐integrated incoming radiance over a discrete angular domain. This higher dimensionality of the problem renders previous state‐of‐the‐art algorithms impractical either due to their cost of processing a single 2D slice, or their inability to enforce proper coherence in additional dimensions. We propose a new decomposition algorithm that jointly optimizes the whole light field data for proper angular coherence. For efficiency, we extend Retinex theory, working on the gradient domain, where new albedo and occlusion terms are introduced. Results show that our method provides 4D intrinsic decompositions difficult to achieve with previous state‐of‐the‐art algorithms. We further provide a comprehensive analysis and comparisons with existing intrinsic image/video decomposition methods on light field images.     

视频帧内运动目标移除篡改检测算法

针对数字视频帧内对象被移除的篡改操作,提出了一种基于主成分分析（PCA）的篡改检测算法。首先对待测视频帧与基准帧相减得到的差异帧使用稀疏表示方法进行去噪,降低噪声对随后特征提取的干扰;其次将去噪后的视频帧进行非重叠分块,利用主成分分析提取像素点的特征并构造特征向量空间;然后使用k-means算法对特征向量空间进行分类,并将分类结果用二值矩阵表示;最后对二值矩阵进行图像形态学操作得到最终检测结果。实验结果表明所提算法的检测性能指标精确度达到91%、准确度达到100%、F1值达到95.3%,比基于压缩感知的视频篡改检测算法在性能指标上有一定程度的提高。实验证明,对于背景静止的视频,该算法能够检测出帧内运动目标被删除的篡改操作,而且对有损压缩视频具有很好的鲁棒性。     

Summarization of Visual Content in Instructional Videos

In instructional videos of chalk board presentations, the visual content refers to the text and figures written on the boards. Existing methods on video summarization are not effective for this video domain because they are mainly based on low-level image features such as color and edges. In this work, we present a novel approach to summarizing the visual content in instructional videos using middle-level features. We first develop a robust algorithm to extract content text and figures from instructional videos by statistical modelling and clustering. This algorithm addresses the image noise, nonuniformity of the board regions, camera movements, occlusions, and other challenges in the instructional videos that are recorded in real classrooms. Using the extracted text and figures as the middle level features, we retrieve a set of key frames that contain most of the visual content. We further reduce content redundancy and build a mosaicked summary image by matching extracted content based on K-th Hausdorff distance and connected component decomposition. Performance evaluation on four full-length instructional videos shows that our algorithm is highly effective in summarizing instructional video content.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

一种面向无人机视频的多尺度摘要的设计与实现

无人机视频是利用无人机航拍得到的一类重要的视频资源,被广泛运用于地面目 标的监测。但是,无人机视频的视野辽阔、不具有目标针对性的拍摄特点,使其存在大量时空 冗余,传统的视频交互手段显得十分低效。为此,提出了一种面向无人机视频的多尺度螺旋摘 要。首先,基于 YOLOv3 算法,训练能检测无人机视角的行人、车辆等目标的模型。然后,提 出了基于关键帧的视频目标检测算法,根据改进后的基于颜色特征的关键帧提取算法提取涵盖 视频关键信息的关键帧,并将检测模型应用于关键帧,高效获取整个视频的目标检测结果。之 后,从关键帧中提取相应的关键区域,作为摘要的呈现单元,并以螺旋的形式从内向外地将摘 要单元逐一呈现,辅以基于关键帧的视频定位和尺度缩放功能。最后,开发了草图注释、目标 分布螺旋、双螺旋播放等新颖的交互工具,满足用户的潜在需求,共同实现面向无人机视频的 高效交互。     

机载视频空中目标实时优化稳像算法

针对机载飞机视频摄取与监视中,由于背景稀疏和前景的大幅度快速运动,造成实时稳像算法存在的画面不稳定的问题,提出了自适应Shi-Tomasi机载视频空中目标实时优化稳像算法。根据提取特征点分布自适应地改变Shi-Tomasi角点检测阈值,解决单一阈值不能适应空中复杂稀疏背景特征点提取的问题。构建带约束的实时优化算法,计算平滑的视频路径,解决基于滤波的算法缺少约束导致画面偏移过大的问题。比对实验结果表明,自适应Shi-Tomasi优化稳像算法能够应对各类机载稀疏背景视频的稳像,解决了快速运动目标稳像后画面大幅偏移的问题,稳定性提高,速度达到20?frame/s以上,满足实时处理需求。     

基于滚动预测平均的监控视频干扰识别方法

针对传统的摄像头异常干扰识别方法识别种类单一,由预测闪烁而引起的识别准确率和可靠性低、泛化能力不强的问题,提出一种基于滚动预测平均算法的摄像头异常干扰识别方法。在自建的异常干扰图像训练集上微调ImageNet预训练的ResNet50,训练出用于摄像头异常干扰的图像分类与识别模型,在该模型的基础上运用滚动预测平均算法,以在线或离线的方式实现摄像头异常干扰视频的分类与识别。测试集实验结果表明,该方法能够正确识别出正常、遮挡、模糊和摄像头旋转视频,识别准确率达到了95%,充分验证了该方法的可行性和有效性。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...