数据驱动的AVS3像素域最小可觉差预测模型

AVS3作为中国第三代国家数字音视频编码技术标准,在消除视频时域/空域冗余信息方面发挥了重要的作用,但在消除感知冗余方面仍存在进一步优化的空间。本文提出一种数据驱动的AVS3像素域最小可觉差（Just noticeable distortion,JND）预测模型,在尽量保证视觉主观质量的前提下,对AVS3视频编码器进行优化。首先基于主流的大型JND主观数据库,获取符合人眼视觉特性的像素域JND阈值;然后基于深度神经网络构建像素域JND预测模型;最后通过预测的像素域JND阈值建立残差滤波器,消除AVS3的感知冗余,降低编码比特率。实验结果表明,与AVS3的标准测试模型HPM5.0相比,在人眼主观感知质量几乎无损的情况下,所提出的像素域JND模型最高可节省21.52%的码率,平均可节省5.11%的码率。     

基于遗传算法的鲁棒数字水印技术

提出了一种增强水印鲁棒性的算法,该算法采用多目标优化的遗传算法定义一种新的适应度函数,结合Watson视觉感知模型,调节水印在DCT变换域嵌入的强度.根据遗传算法得到的不同结果,不同强度的水印信息被嵌入到各个DCT块的视觉感知门限(JND)最大的几个中低频系数中.实验结果表明,在满足水印不可见性的同时,算法在噪声、滤波、旋转,压缩等图像处理条件下具有很好的鲁棒性.     

一种基于纹理测度的小波域数字水印模型

在图像数字水印技术中,采用JND阈值对水印的嵌入位置与强度进行控制,并在盲检测中作为搜索水印嵌入位置的依据,能够得到较理想的效果。JND阈值的鲁棒性对理想的盲检测结果至关重要。通过对数字水印系统的研究,提出了基于图像低频小波系数的定量纹理测度的JND阈值计算模型。该模型明显地提高了JND门限值的鲁棒性,即使在图像受到较大幅度改动的情况下,仍能很好地定位嵌入水印,从而有效地改善了盲检测的效果。同时给出了一种基于随机统计特征的匹配检测算法,该算法有效地提高了响应值,同时考虑响应值对应的虚警概率,从而使检测结果具有较强的说服力。     

融合结构与非结构信息的自然图像恰可察觉失真阈值估计

目的 研究表明,图像的恰可察觉失真（JND）阈值主要与视觉系统的亮度适应性、对比度掩模、模块掩模以及图像结构等因素有关。为了更好地研究图像结构对JND阈值的影响,提出一种基于稀疏表示的结构信息和非结构信息分离模型,并应用于自然图像的JND阈值估计,使JND阈值模型与人眼视觉系统具有更好的一致性。方法 首先通过K-均值奇异值分解算法（K-SVD）得到过完备视觉字典。然后利用该过完备字典对输入的自然图像进行稀疏表示和重建,得到该图像对应的结构层和非结构层。针对结构层和非结构层,进一步设计基于亮度适应性与对比度掩模的结构层JND估计模型和基于亮度对比度与信息不确定度的非结构层JND估计模型。最后利用一个能够刻画掩模效应的非线性可加模型对以上两个分量的JND估计模型进行融合。结果 本文提出的JND估计模型利用稀疏表示将自然图像的结构/非结构信息进行分离,然后采用符合各自分量特点的JND模型进行计算,与视觉感知机理高度一致。实验结果表明,本文JND模型能够有效地预测自然图像的JND阈值,受污染图的峰值信噪比（PSNR）值比其他3个JND对比模型值高出35 dB。结论 与现有模型相比,该模型与人眼主观视觉感知具有更好的一致性,更能有效地预测自然图像的JND阈值。     

基于显著性信息和方向变换的图像压缩感知

结合基于图像块的显著性信息随机采样和基于投影Landweber的压缩感知重构算法,提出了一种新的图像压缩感知编码与重构方法.该方法在编码端通过图像显著性信息来分配不同的测量维数以实现测量维数的自适应,在重构端,通过在投影Landweber重构算法中用不同的方向变换来得到重构图像.与同类方法相比,在测量维数相同的前提下,重构图像的峰值信噪比和主观视觉效果都有很大的提高.     

基于空-时域视觉敏感度的码率分配算法

新一代高效视频编码HEVC(High Efficiency Video Coding)标准中,λ域的码率控制采用自适应码率分配策略,其主要根据前一参考帧对应参考单元的码控参数来调整当前编码单元的码率分配参数。但是,这种码率分配策略下的编码结果不适合于人类视觉特性。提出一种基于空-时域视觉敏感度的码率分配策略,采用一种恰可感知失真JND(Just Noticeable Difference)模型来获取一帧图像空域上的最大视觉失真值。通过对最大失真值计算,得到每个编码树单元CTU(Coding Tree Unit)空域敏感度权重。利用相邻帧在时域上的变化,获取帧级的码率分配比例。根据帧间变化得到自下而上的视觉关注度,从而计算出每个编码树单元在时域上的敏感度权重。结合空域与时域的视觉敏感度,获得基于空-时域的码率分配权重,将码率按照视觉特性合理的分配到每个编码树单元。实验结果显示,该算法可以有效提高码控的主观质量,同时降低码率波动。     

基于加性非高斯噪声信道模型的DCT域数字水印技术研究

本文提出了基于加性非高斯噪声信道模型的DCT域数字图像水印算法.该算法将水印信号嵌入在图像的DCT中频变换系数上,并采用广义高斯分布建立DCT交流变换系数的统计模型.在数字水印不可感知特性的基础上,应用统计信号检测理论,推导出相应的水印检测算法.实验结果验证了新方法的有效性.     

MFR-MAP相结合的运动目标检测方法研究

针对运动目标检测的准确性和完整性要求,将静态图像分割算法的空域信息与运动目标检测的时域信息相结合,提出了采用基于MRF-MAP框架的时-空联合的目标检测方法。利用Mean-Shift算法进行空域检测,利用在显著性水平约束下的帧间差分法进行时域检测,构造了时-空联合的MFR模型和相应的能量函数,通过求解能量函数最优解,得到较为理想的运动目标检测结果。     

DCT域灰度图像水印透明性评估

传统的SNR和PSNR不能很好地评价水印图像的质量。人类视觉对图像中不同强度的亮度区域和不同程度的纹理区域具有不同的视觉阈值,SNR和PSNR没有对这些不同进行区分,利用Watson提出的DCT域JND（Just Noticeable Difference,刚辨差）计算模型计算出图像中每个DCT系数的JND值,为图像中不同成分设置不同的权值,得到了优化的图像质量评价模型。用不同方法对传统模型和本文模型进行对比实验,结果表明新模型优于传统模型,其评价结果更接近人的视感觉,适用于各种不同的灰度图像和水印算法,可以对水印算法进行不可感知性性能评价。     

利用纠错码的JPEG图像压缩域隐写算法

在对JPEG图像压缩域数据进行分析的基础上,提出了一种以JPEG图像为载体的隐写算法.算法利用纠错码信息隐藏的原理,以对共享密钥进行纠错编码得到的纠错码码字为载体码字,将对秘密信息进行映射编码得到的错误图样嵌入其中,得到载密码字;然后以块为单位,将载密纠错码码字嵌入到JPEG图像压缩域中幅值较大的AC系数中.实验及分析表明,算法在确保一定的嵌入容量的情况下,具有较好的视觉不可感知性和统计不可感知性,并且满足密码学中的"Kerchhoff准则".     

分形理论引导的图像临界差异感知阈值估计

目的 图像的临界差异（just noticeable difference,JND）阈值估计对提升图像压缩比以及信息隐藏效率具有重要意义。亮度适应性和空域掩蔽效应是决定JND阈值大小的两大核心因素。现有的空域掩蔽模型主要考虑对比度掩蔽和纹理掩蔽两方面。然而,当前采用的纹理掩蔽模型不能有效地描述与纹理粗糙度相关的掩蔽效应对图像JND阈值的影响。对此,本文提出一种基于分形理论的JND阈值估计模型。方法 首先,考虑到人眼视觉系统对具有粗糙表面的图像内容变化具有较低的分辨能力,通过经典的分形理论来计算图像局部区域的分形维数,并以此作为对纹理粗糙度的度量,并在此基础上提出一种新的基于纹理粗糙度的纹理掩蔽模型。然后,将提出的纹理掩蔽模型与传统的亮度适应性相结合估计得到初步的JND阈值。最后,考虑到人眼的视觉注意机制,进一步考虑图像内容的视觉显著性,对JND阈值进行感知一致性修正,估计得到最终的JND阈值。结果 选取4种相关方法进行对比,结果表明,在注入相同甚至更多噪声的情况下,相较于对比方法中的最优结果,本文方法的平均VSI （visual saliency-induced index）和平均MOS （mean opinion score）在LIVE （Laboratory for Image&Video Engineering）图像库上分别提高了0.001 7和50%,在TID2013（tampere image database 2013）图像库上分别提高了0.001 9和40%,在CSIQ （categorical subjective image quality）图像库上分别提高了0.001 3和9.1%,在基于VVC （versatile video coding）的JND图像库上分别提高了0.000 3和54.5%。此外,作为另一典型应用,开展了感知冗余去除实验。实验结果表明,在保持视觉质量的前提下,经过本文JND模型平滑处理后的图像,其JPEG压缩图像相比于原图直接JPEG压缩得到的图像能节省12.5%的字节数。结论 本文提出的基于分形维数的纹理粗糙度能够有效刻画纹理掩蔽效应,构建的纹理掩蔽效应与传统的空域掩蔽效应相结合能够大幅提升图像JND阈值估计的准确性和可靠性。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

超像素条件随机场下的RGB-D视频显著性检测

目的 视觉显著性在众多视觉驱动的应用中具有重要作用,这些应用领域出现了从2维视觉到3维视觉的转换,从而基于RGB-D数据的显著性模型引起了广泛关注。与2维图像的显著性不同,RGB-D显著性包含了许多不同模态的线索。多模态线索之间存在互补和竞争关系,如何有效地利用和融合这些线索仍是一个挑战。传统的融合模型很难充分利用多模态线索之间的优势,因此研究了RGB-D显著性形成过程中多模态线索融合的问题。方法 提出了一种基于超像素下条件随机场的RGB-D显著性检测模型。提取不同模态的显著性线索,包括平面线索、深度线索和运动线索等。以超像素为单位建立条件随机场模型,联合多模态线索的影响和图像邻域显著值平滑约束,设计了一个全局能量函数作为模型的优化目标,刻画了多模态线索之间的相互作用机制。其中,多模态线索在能量函数中的权重因子由卷积神经网络学习得到。结果 实验在两个公开的RGB-D视频显著性数据集上与6种显著性检测方法进行了比较,所提模型在所有相关数据集和评价指标上都优于当前最先进的模型。相比于第2高的指标,所提模型的AUC（area under curve）,sAUC（shuffled AUC）,SIM（similarity）,PCC（Pearson correlation coefficient）和NSS（normalized scanpath saliency）指标在IRCCyN数据集上分别提升了2.3%,2.3%,18.9%,21.6%和56.2%;在DML-iTrack-3D数据集上分别提升了2.0%,1.4%,29.1%,10.6%,23.3%。此外还进行了模型内部的比较,验证了所提融合方法优于其他传统融合方法。结论 本文提出的RGB-D显著性检测模型中的条件随机场和卷积神经网络充分利用了不同模态线索的优势,将它们有效融合,提升了显著性检测模型的性能,能在视觉驱动的应用领域发挥一定作用。     

Integrating bottom-up and top-down visual stimulus for saliency detection in news video

This paper presents a new attention model for detecting visual saliency in news video. In the proposed model, bottom-up (low level) features and top-down (high level) factors are used to compute bottom-up saliency and top-down saliency respectively. Then, the two saliency maps are fused after a normalization operation. In the bottom-up attention model, we use quaternion discrete cosine transform in multi-scale and multiple color spaces to detect static saliency. Meanwhile, multi-scale local motion and global motion conspicuity maps are computed and integrated into motion saliency map. To effectively suppress the background motion noise, a simple histogram of average optical flow is adopted to calculate motion contrast. Then, the bottom-up saliency map is obtained by combining the static and motion saliency maps. In the top-down attention model, we utilize high level stimulus in news video, such as face, person, car, speaker, and flash, to generate the top-down saliency map. The proposed method has been extensively tested by using three popular evaluation metrics over two widely used eye-tracking datasets. Experimental results demonstrate the effectiveness of our method in saliency detection of news videos compared to several state-of-the-art methods.     

Salient objects detection in dynamic scenes using color and texture features

Visual saliency is an important research topic in the field of computer vision due to its numerous possible applications. It helps to focus on regions of interest instead of processing the whole image or video data. Detecting visual saliency in still images has been widely addressed in literature with several formulations. However, visual saliency detection in videos has attracted little attention, and is a more challenging task due to additional temporal information. A common approach for obtaining a spatio-temporal saliency map is to combine a static saliency map and a dynamic saliency map. In our work, we model the dynamic textures in a dynamic scene with local binary patterns to compute the dynamic saliency map, and we use color features to compute the static saliency map. Both saliency maps are computed using a bio-inspired mechanism of human visual system with a discriminant formulation known as center surround saliency, and are fused in a proper way. The proposed model has been extensively evaluated with diverse publicly available datasets which contain several videos of dynamic scenes, and comparison with state-of-the art methods shows that it achieves competitive results.     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

基于DCT域视觉显著性检测的图像缩放算法*

为适应不同终端显示多样化的要求,需对接收到的图像进行缩放调整。针对现有的基于内容感知(content-aware)的图像缩放方法中视觉内容的连贯性易被破环而出现失真的问题,提出了一个基于离散余弦变换(discrete cosine transform, DCT)域的视觉显著性检测的图像缩放算法。该算法利用DCT域的视觉显著性检测模型获取视觉显著图,然后结合视觉显著图和能量分布图进行线裁剪(Seam Carving),实现了图像的缩放。实验结果表明,该算法与现有的基于内容感知的图像缩放方法相比,不仅保护了视觉显著内容,还保证了图像内容的连贯性,算法质量指数也获得明显的提高。     

A learning-based visual saliency prediction model for stereoscopic 3D video (LBVS-3D)

Saliency prediction models provide a probabilistic map of relative likelihood of an image or video region to attract the attention of the human visual system. Over the past decade, many computational saliency prediction models have been proposed for 2D images and videos. Considering that the human visual system has evolved in a natural 3D environment, it is only natural to want to design visual attention models for 3D content. Existing monocular saliency models are not able to accurately predict the attentive regions when applied to 3D image/video content, as they do not incorporate depth information. This paper explores stereoscopic video saliency prediction by exploiting both low-level attributes such as brightness, color, texture, orientation, motion, and depth, as well as high-level cues such as face, person, vehicle, animal, text, and horizon. Our model starts with a rough segmentation and quantifies several intuitive observations such as the effects of visual discomfort level, depth abruptness, motion acceleration, elements of surprise, size and compactness of the salient regions, and emphasizing only a few salient objects in a scene. A new fovea-based model of spatial distance between the image regions is adopted for considering local and global feature calculations. To efficiently fuse the conspicuity maps generated by our method to one single saliency map that is highly correlated with the eye-fixation data, a random forest based algorithm is utilized. The performance of the proposed saliency model is evaluated against the results of an eye-tracking experiment, which involved 24 subjects and an in-house database of 61 captured stereoscopic videos. Our stereo video database as well as the eye-tracking data are publicly available along with this paper. Experiment results show that the proposed saliency prediction method achieves competitive performance compared to the state-of-the-art approaches.

     

视觉注意机制下结合语义特征的行人检测

目的 为研究多场景下的行人检测,提出一种视觉注意机制下基于语义特征的行人检测方法。方法 首先,在初级视觉特征基础上,结合行人肤色的语义特征,通过将自下而上的数据驱动型视觉注意与自上而下的任务驱动型视觉注意有机结合,建立空域静态视觉注意模型;然后,结合运动信息的语义特征,采用运动矢量熵值计算运动显著性,建立时域动态视觉注意模型;在此基础上,以特征权重融合的方式,构建时空域融合的视觉注意模型,由此得到视觉显著图,并通过视觉注意焦点的选择完成行人检测。结果 选用标准库和实拍视频,在Matlab R2012a平台上,进行实验验证。与其他视觉注意模型进行对比仿真,本文方法具有良好的行人检测效果,在实验视频上的行人检测正确率达93%。结论 本文方法在不同的场景下具有良好的鲁棒性能,能够用于提高现有视频监控系统的智能化性能。