模拟视觉初级皮层机制的移动镜头下的目标检测

本文提出一种新的针对移动镜头下的运动目标检测仿生算法,通过模拟人眼的视觉感知实现移动镜头下的目标检测,首先用3DGabor滤波器组提取目标的运动能量,接着用大尺度的环绕消除大量的背景信息,然后提取目标的运动和空间显著图,通过目标的运动显著图与运动能量得到目标运动区域,最后将运动区域与目标的空间显著图相结合提高目标轮廓的完整性。人工模拟实验和真实视频实验表明本文仿生算法的有效性。     

重用运动矢量和预测残差的MPEG-2/H.264空间分辨率转码

本文提出一种新的MPEG-2到H.264的视频转码算法.它通过充分利用MPEG-2解码过程中得到的运动矢量和宏块编码残差等信息,可显著减少H.264编码过程中宏码编码模式确定和运动估计过程的计算复杂度,并得到最终的H.264视频流.几种典型视频测试序列的仿真实验结果表明,本算法对视频质量的损失较小,有稳定的率失真性能,有利于实时转码的实现.     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

基于视觉运动特性的视频时空显著性区域提取方法

为了更准确有效地提取人眼观察视频的显著性区域,提出一种基于视觉运动特性的视频时空显著性区域提取方法。该方法首先通过分析视频每帧的频域对数谱得到空域显著图,利用全局运动估计和块匹配得到时域显著图,再结合人眼观察视频时的视觉特性,根据对不同运动特性视频的主观感知,动态融合时空显著图。实验分析从主客观两个方面衡量。视觉观测和量化指标均表明, 与其他经典方法相比,所提方法提取的显著性区域能够更准确地反映人眼的视觉注视区域。     

一种基于H.264/AVC的快速运动估计算法

提出了一种基于运动特性的自适应快速运动估计算法。该算法充分利用视频图像序列的运动特征进行运动模式判定,实现了一种简单高效的搜索方法,并且根据不同的运动模式动态改变搜索策略。实验表明,新算法在保证重构图像质量的前提下,编码速度有了显著的提高,更适合于实时应用。     

一种基于H．264／AVC的快速运动估计算法

提出了一种基于运动特性的自适应快速运动估计算法。该算法充分利用视频图像序列的运动特征进行运动模式判定，实现了一种简单高效的搜索方法，并且根据不同的运动模式动态改变搜索策略。实验表明，新算法在保证重构图像质量的前提下．编码速度有了显著的提高，更适合于实时应用。     

一种改进的降尺寸视频转码算法

在Diversity &; Importance架构的基础上提出一种改进的空间降尺度视频转码算法,利用方差作为转码目标宏块的运动矢量测度因子,并通过自适应阈值的分类方法对不同视频序列选择合适的重编码模式。该算法比传统的运动矢量合成方法提高了约1dB的PSNR,在保持较高转码图像质量的同时有效地控制了编码长度,其转码后码流长度只相当于AMVR-DIM方法产生码流的40%~95%。     

基于可变尺寸重叠块运动补偿的小波视频编码器

通过排序算法和四叉树编码的改进以及快速运动矢量搜索算法的应用实现了优化的可变尺寸运动估计局部生长算法,将SPIHT小波图像编码器和可变尺寸重叠块运动补偿算法相结合,设计了一种混合小波视频编码器.仿真试验表明这是一种有效的视频编码方法,对于具有复杂运动的视频序列的编码较为有效.     

基于改进四元傅里叶变换的显著性检测及其视频编码应用

针对基于感兴趣区域的有损视频压缩在低码率编码条件下容易产生明显的编码人工痕迹,提出一种基于注意力权重矩阵的四元傅里叶变换的视觉显著性视频编码模型。该方法引入人眼视觉注意力权重矩阵对不同区域图像四元数予以加权,该四元数由图像的亮度、色度和运动特征组成。图像视觉显著图可由其四元数特征的四元傅里叶相位谱获取。结合中心凹恰可觉察失真(FJND)模型将其应用于基于感兴趣区域视频编码,可提高视频编码质量。与五种流行的显著性检测算法在两个大型眼动跟踪数据库上进行对比实验,结果表明提出的算法显著性检测精度明显高于对比算法。此外,与最新的基于显著性视频编码方法在10段标准视频上进行编码视频的主观质量对比,该方法能提高低码率编码视频的主观视觉质量,且优于对比算法。     

嵌入式视频监控系统的快速运动估计算法

耗时的运动估计运算给实时视频编码带来较大困难,为提高监控视频编码的实时性,提出一种用于嵌入式视频监控系统的快速运动估计算法。该算法根据监控背景相对固定的特点,使用多层提前终止准则,通过运动矢量时空相关性的特性来预测搜索起点,采用改进型的十字搜索模板进行搜索。实验表明,与自适应十字搜索算法相比,该算法在平均峰值信噪比略有下降的情况下,搜索速度得到提升,符合嵌入式视频监控的实时性优先原则。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

基于纹理合成和视觉显著度的视频编码方法

针对现有基于纹理分析合成的视频编码方法难以对纹理实现自动分割的问题,提出基于纹理合成和视觉显著度的视频编码方法,将编码可移除的纹理宏块定义为宏块内图像信息包含在周围宏块中的宏块,被移除宏块移除后,能够使用周围宏块信息进行重建,同时,为了保证重建图像的主观质量,对视觉显著的图像区域,强制地不被标记为纹理移除块。在解码端,采用了全局运动补偿和纹理优化的组合方式对纹理移除宏块进行重建,以确保连续帧之间的纹理时空一致性。与H.264/AVC编码方法相比,在相同主观质量的情况下,本编码方法能够降低码率5%到20%,与Njiki-Nya Patrick等人提出的基于纹理分析合成的编码方法相比,本编码方法不但能够实现自动的纹理提取,在低码率端,编码效率提高一倍以上。     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

视频显著性检测研究进展

视频显著性检测是计算机视觉领域的一个热点研究方向,其目的在于通过联合空间和时间信息实现视频序列中与运动相关的显著性目标的连续提取.由于视频序列中目标运动模式多样、场景复杂以及存在相机运动等,使得视频显著性检测极具挑战性.本文将对现有的视频显著性检测方法进行梳理,介绍相关实验数据集,并通过实验比较分析现有方法的性能.首先,本文介绍了基于底层线索的视频显著性检测方法,主要包括基于变换分析的方法、基于稀疏表示的方法、基于信息论的方法、基于视觉先验的方法和其他方法五类.然后,对基于学习的视频显著性检测方法进行了总结,主要包括传统学习方法和深度学习方法,并着重对后一类方法进行了介绍.随后,介绍了常用的视频显著性检测数据集,给出了四种算法性能评价指标,并在不同数据集上对最新的几种算法进行了定性和定量的比较分析.最后,对视频显著性检测的关键问题进行了总结,并对未来的发展趋势进行了展望.     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

面向视频压缩的显著性协同检测JND模型

为了更好的将人眼感知特性用于视频压缩系统,提出了一种改进的基于显著性协同检测的恰可察觉失真模型（Just Noticeable Distortion,JND）.该模型通过像素域和变换域下联合建模计算得到的最优JND模型,基于上下文感知的显著性算法得到相应的显著图,并将检测结果用于JND模型权值分配.提出的JND残差滤波器可以嵌入到HEVC视频编码框架中.实验结果表明:在全I帧配置下,提出的算法编码结果与HM16相比,在视觉主观感知质量一致的情况下,平均码率可节省10.7%.     

Saliency-Based Fidelity Adaptation Preprocessing for Video Coding

In this paper,we present a video coding scheme which applies the technique of visual saliency computation to adjust image fidelity before compression.To extract visually salient features,we construct a spatio-temporal saliency map by analyzing the video using a combined bottom-up and top-down visual saliency model.We then use an extended bilateral filter,in which the local intensity and spatial scales are adjusted according to visual saliency,to adaptively alter the image fidelity.Our implementation is based on the H.264 video encoder JM12.0.Besides evaluating our scheme with the H.264 reference software,we also compare it to a more traditional foreground-background segmentation-based method and a foveation-based approach which employs Gaussian blurring.Our results show that the proposed algorithm can improve the compression ratio significantly while effectively preserving perceptual visual quality.     

基于运动显著性的移动镜头下的运动目标检测

针对移动镜头下的运动目标检测中的背景建模复杂、计算量大等问题,提出一种基于运动显著性的移动镜头下的运动目标检测方法,在避免复杂的背景建模的同时实现准确的运动目标检测。该方法通过模拟人类视觉系统的注意机制,分析相机平动时场景中背景和前景的运动特点,计算视频场景的显著性,实现动态场景中运动目标检测。首先,采用光流法提取目标的运动特征,用二维高斯卷积方法抑制背景的运动纹理;然后采用直方图统计衡量运动特征的全局显著性,根据得到的运动显著图提取前景与背景的颜色信息;最后,结合贝叶斯方法对运动显著图进行处理,得到显著运动目标。通用数据库视频上的实验结果表明,所提方法能够在抑制背景运动噪声的同时,突出并准确地检测出场景中的运动目标。     

视觉感知的图像和视频抽象

可靠的视觉感知估计体现的是对图像中有意义的那部分结构信息的理解。基于此,描述一个完整的图像和视频抽象化框架,通过一种边缘保持的滤波器有区分地风格化抽象图像和视频的显著部分和非显著部分,并保持两部分之间的和谐过渡。首先,对于显著区域的识别引入一种自动显著性目标分割算法,基于局部空间邻域的自动显著性计算。考虑到实际需要,提供了交互式技术,方便有目的地去指定图像中的显著结构信息。然后,根据生成的显著结构信息掩模使用单尺度的各向异性滤波处理显著部分,而用多尺度的同种滤波处理非显著部分以实现更强程度的抽象效果。本文方法生成的图像和视频的抽象化不仅呈现了视觉满意的非真实感效果,而且在软量化后还可以应用于其他风格的非真实感渲染(NPR)效果的实现。实验结果显示,处理一定数量的图像及视频,本文方法可以得到期望的结果。