一种基于感知物体的场景分析注意机制

基于物体的选择性注意在心理学领域正日益为广大研究人员所认可,而计算机视觉领域中现有的注意模型大多数是基于特征的,或者是基于空间的.本文给出了一种基于物体的选择性注意计算模型.该模型将“感知物体”作为引起注意的基本单元,并给出了感知物体及其邻域的定义.该注意模型包括两个步骤：（1）在给定图像中选择第一个注视点;（2）在整幅图像中实现注视点的有效转移.在该注意模型中,感知物体与其邻域之间灰度值的绝对差异--对比度,被作为该感知物体显著性的一种度量,并且注视点在图像中的转移顺序是由每个感知物体的显著度的次序来决定的.该模型的优点有：首先,由于该模型是完全基于感知物体的,使得其输出结果可以很容易地应用到物体识别、图像分割和场景分析中;其次,该模型是多尺度的,也就是说,它可以根据实际任务的需要进行适当的调整.大量的真实图像实验表明,所提出的模型具有一定的合理性.     

基于模型的关节式物体识别与定位改进方法

针对关节式物体检测的复杂性,本文提出一种新颖的视觉推理方法。该方法基于可变形的物体模型,同时利用图像中所包含的边缘信息特征(不依赖于局部特征,如肤色等)及各子部件的空间位置关系,迭代地进行关节式物体检测和定位估计。实验证明,该方法有较强的抗背景干扰能力,视觉上能大幅度改进关节式物体检测、定位的结果。     

基于自适应背景模板与空间先验的显著性物体检测方法

目前,显著性检测已成为国内外计算机视觉领域研究的一个热点,但现有的显著性检测算法大多无法有效检测出位于图像边缘的显著性物体.针对这一问题,本文提出了基于自适应背景模板与空间先验的显著性物体检测方法,共包含三个步骤:第一,根据显著性物体在颜色空间上具有稀有性,获取基于自适应背景模板的显著图.将图像分割为超像素块,提取原图的四周边界作为原始背景区域.利用设计的自适应背景选择策略移除原始背景区域中显著的超像素块,获取自适应背景模板.通过计算每个超像素块与自适应背景模板的相异度获取基于自适应背景模板的显著图.并采用基于K-means的传播机制对获取的显著图进行一致性优化;第二,根据显著性物体在空间分布上具有聚集性,利用基于目标中心优先与背景模板抑制的空间先验方法获得空间先验显著图.第三,将获得的两种显著图进行融合得到最终的显著图.在公开数据集MSRA-1000、SOD、ECSSD和新建复杂数据集CBD上进行实验验证,结果证明本文方法能够准确有效地检测出图像中的显著性物体.     

基于视觉注意机制的显著物体轮廓感知

针对机器视觉中物体轮廓检测问题,提出了一种基于注意机制的轮廓感知模型.首先根据视觉注意机制得到显著物体的注意焦点;随后利用格式塔知觉组织规则,将从原始图中提取的重要轮廓边缘进行轮廓组织;最后根据注意焦点进行轮廓距离感知,得到人类视觉真正感兴趣和注意到的物体轮廓.结果表明了该算法的有效性和生物学上的合理性.     

一种利用形状片段的物体检测方法

针对物体检测中传统方法计算量大, 对复杂背景敏感, 且大部分物体检测方法只能得到物体所在区域而不能精确定位物体边缘等问题, 本文提出一种基于形状片段特征的物体检测方法. 该方法首先根据训练集得到具有多尺度特性的物体形状片段模型; 对测试图像按照和模型中边缘片段提取一致方法, 根据形状片段间的相似度, 选取出候选形状片段; 然后根据候选形状片段估计出模型中的片段与测试图像中片段之间的旋转角; 最后结合具有全局约束的概率Hough变换, 将物体检测问题转换为Hough空间概率问题; 根据Hough空间求解出的物体中心位置, 对候选形状片段验证, 得到实际物体轮廓片段. 理论分析和实验结果表明, 本文提出的算法具有较好的效果.     

视觉选择性注意计算模型

提出一种用于智能机器人的视觉注意计算模型．受生物学启发,该模型模仿人类自下而上和自上而下 两种视觉选择性注意过程．通过提取输入图像的多尺度下的多个底层特征,在频域分析各特征图的幅度谱,在空域 构造相应的特征显著图．根据显著图,计算出注意焦点的位置和注意区域的大小,结合给定的任务在各注意焦点之 间进行视觉转移．在多幅自然图像上进行实验,并给出相应的实验结果、定性和定量分析．实验结果与人类视觉注 意结果一致,表明该计算模型在注意效果、运算速度等方面有效．     

基于图像显著性的路面裂缝检测

有效的视觉显著性方法能准确快速地帮助人们在大量视觉信息中找到感兴趣的物体.针对实际路面图像噪声成分复杂、覆盖面广的特点,提出一种基于图像显著性的路面裂缝检测算法.该算法对路面裂缝图像分块灰度校正后,根据灰度稀疏性、全局对比度计算粗尺度下的裂缝显著值,然后由裂缝局部亮度、边缘特性、连续性特点进行不断扩张的细尺度的局部邻域显著性增强,再经空间显著性加强后,采用自适应阈值分割提取裂缝.大量的实验结果表明,该算法比传统算法更能正确、有效地检测出裂缝整体区域,抗噪声能力强,漏检率和误检率很低,具有和人类视觉特性相符合的检测结果.     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

基于视觉注意机制的彩色图像显著性区域提取

图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型, 提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割, 从而将原图像分成若干子区域, 在此基础上运用提出的区域化空间注意力模型对各个子区域进行显著图计算, 得到最终的显著性区域提取结果。实验结果表明, 提出的显著性区域提取算法可以很好地从彩色图像中得到与视觉注意机制相一致的结果, 且满足实时性要求, 与传统方法相比, 算法提取的区域更完整、更准确。     

基于视觉注意机制与局部描述子的物体检测

为实现复杂图像场景下的物体检测,提出整合视觉注意机制与局部描述子技术的检测模型.通过计算探测场景的显著图及提取其SIFT局部描述子特征,采用层次化的匹配策略对任务物体与探测场景进行关键点匹配以实现物体检测.该策略能将匹配范围界定于场景中富含物体区分性信息的显著区域,并且匹配的门限也可由这些区域的显著性自适应地调节.定性及定量的对比实验验证了该模型的性能.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

Hierarchical Visual Attention Model for Saliency Detection Inspired by Avian Visual Pathways

Visual attention is a mechanism that enables the visual system to detect potentially important objects in complex environment. Most computational visual attention models are designed with inspirations from mammalian visual systems. However, electrophysiological and behavioral evidences indicate that avian species are animals with high visual capability that can process complex information accurately in real time. Therefore, the visual system of the avian species, especially the nuclei related to the visual attention mechanism, are investigated in this paper. Afterwards, a hierarchical visual attention model is proposed for saliency detection. The optic tectum neuron responses are computed and the self-information is used to compute primary saliency maps in the first hierarchy. The "winner-take-all" network in the tecto-isthmal projection is simulated and final saliency maps are estimated with the regularized random walks ranking in the second hierarchy. Comparison results verify that the proposed model, which can define the focus of attention accurately, outperforms several state-of-the-art models. This study provides insights into the relationship between the visual attention mechanism and the avian visual pathways. The computational visual attention model may reveal the underlying neural mechanism of the nuclei for biological visual attention.      

基于背景原型对比度的显著性物体检测

针对传统显著性模型在自然图像的显著性物体检测中存在的缺陷,提出了一种利用背景原型(background prototypes)进行对比的视觉关注模型,以实现显著性物体的检测与提取;传统显著性模型主要通过计算区域中心与四周区域差异性实现显著性检测,而自然场景中显著性区域和背景区域往往都存在较大差异,导致在复杂图像中难以获得理想检测效果;基于背景原型对比度的显著性物体检测方法在图像分割生成的超像素图基础上,选择距离图像中心较远的图像区域作为背景原型区域,通过计算图像中任意区域与这些背景原型区域的颜色对比度准确检测和提取图像中的显著性物体;实验结果表明,基于背景原型对比度的显著性模型可以更好地滤除杂乱背景,产生更稳定、准确的显著图,在准确率、召回率和F-measure等关键性能和直观视觉效果上均优于目前最先进的显著性模型,计算复杂度低,利于应用推广。     

多对象图像数据集建立及显著性检测算法评估

图像视觉显著性检测算法在已有数据集上已经取得很好的结果,但是目前的多个数据集存在两个严重的问题:首先,数据集中的图像以只包含一个显著对象的图像为主;其次,在建立显著对象标注结果的过程中,忽略了用户对同一幅图像中包含的多个显著对象的不同认知。上述问题导致了在已有数据集上对显著性检测算法进行评估,不能体现算法在实际应用中的真实效果。为此,提出体现用户认知的多显著对象图像标注方法,首先设计并实现辅助软件,收集用户对各显著对象的重要程度的认知情况,包括显著区域与相应的重要程度;然后融合收集的多用户数据,绘制出以灰度图为表现形式的显著对象标注结果,并通过灰度值体现多用户对于每个显著对象的认知情况。基于改进的显著对象标注方法,建立了一个包含1000幅多显著对象图像的数据集,并为每幅图像提供了体现用户认知的显著对象标注结果。对10种具有代表性的显著性检测算法在已有数据集和建立的数据集上的性能进行了比较。实验结果表明,这些显著性检测算法在建立的数据集上的性能有大幅度的降低,例如受试者工作特征曲线下面积(ROC-AUC)评估参数的最大降幅超过了0.5,这证实了已有数据集存在的问题及建立新数据集的需求,同时指出显著性检测算法在处理包含多显著对象的复杂图像上存在的不足。     

基于多特征融合的图像主体显著性判断

从视觉角度来说,视觉显著性图像是指主体突出的图像,比起内容散乱的图像,此类图像往往更能吸引用户的关注,也更符合用户对图片检索的使用需求。提出了一种图像主体视觉显著性判断方法,采用“中心围绕”计算原则在多特征融合的基础上应用支持向量机训练,建立了一个分类模型,并且可以给出表征图像显著程度的得分。实验表明,该模型有较高的分类正确率,并且将该模型应用于图像检索重排序、图像上传自动审核等应用时,可以得到更接近人工操作的结果,降低人力资源成本。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

自适应融合局部和全局稀疏表示的图像显著性检测

针对基于局部或全局稀疏表示的图像显著性检测方法频繁出现提取对象不完整、边界不光滑及噪声消除不干净等问题,提出自适应融合局部和全局稀疏表示的图像显著性检测方法。首先,对原始图像进行分块处理,利用图像块代替像素操作,降低算法复杂度;其次,对分块后的图像进行局部稀疏表示,即：针对每一个图像块,选取其周围的若干图像块生成过完备字典,基于该字典对图像块进行稀疏重构,得到原始图像的初始局部显著图,该显著图能够有效提取显著性目标的边缘信息;接着,对分块后的图像进行全局稀疏表示,与局部稀疏表示过程类似,不同的是针对每一个图像块所生成的字典来源于图像四周边界处的图像块,这样可以得到能有效检测出显著性目标内部区域的初始全局显著图;最后,将初始局部和全局显著图进行自适应融合,生成最终显著图。实验结果表明,提出算法在查准率（precision）、查全率（recall）及F-measure等指标上优于几种经典的图像显著性检测方法。     

Discriminant Saliency, the Detection of Suspicious Coincidences, and Applications to Visual Recognition

A discriminant formulation of top-down visual saliency, intrinsically connected to the recognition problem, is proposed. The new formulation is shown to be closely related to a number of classical principles for the organization of perceptual systems, including infomax, inference by detection of suspicious coincidences, classification with minimal uncertainty, and classification with minimum probability of error. The implementation of these principles with computational parsimony, by exploitation of the statistics of natural images, is investigated. It is shown that Barlow's principle of inference by the detection of suspicious coincidences enables computationally efficient saliency measures which are nearly optimal for classification. This principle is adopted for the solution of the two fundamental problems in discriminant saliency, feature selection and saliency detection. The resulting saliency detector is shown to have a number of interesting properties, and act effectively as a focus of attention mechanism for the selection of interest points according to their relevance for visual recognition. Experimental evidence shows that the selected points have good performance with respect to 1) the ability to localize objects embedded in significant amounts of clutter, 2) the ability to capture information relevant for image classification, and 3) the richness of the set of visual attributes that can be considered salient.