基于深度学习的显著区域提取方法

目前显著区域提取方法通常会设计多个复杂的网络结构,导致计算和存储代价较高。深度学习网络本身具有多尺度的特点,不同的卷积层特征具有不同的空间分辨率,可以避免复杂网络结构的设计。基于此,本文设计了一种新颖的基于深度学习的显著性检测网络,既考虑了特征的多尺度特点,又考虑了图像中显著区域的大小对显著区域检测结果的影响。实验中以流行的基准数据集作为实验对象,结果证明了本文方法的优越性能。     

面向社群图像的显著区域检测方法

网络技术和社交网站的发展带来了社群图像的飞速增长。海量的社群图像成为了非常重要的图像类型。本文关注社群图像的显著区域检测问题,提出基于深度特征的显著区域检测方法。针对社群图像带有标签的特点,在系统框架中,本文采取两条提取线:基于CNN特征的显著性计算和基于标签的语义计算,二者的结果进行融合。最后,通过全连接的条件随机场模型对融合的显著图进行空间一致性优化。此外,为了验证面向社群图像的显著区域检测方法的性能,针对目前没有面向社群图像的带有标签信息的显著性数据集,基于NUS-WIDE数据集,本文构建了一个图像结构丰富的社群图像数据集。大量的实验证明了所提方法的有效性。     

智能软件工程专栏前言

软件作为信息社会的基础设施,深刻地影响着现代人类文明的进程。自1968年软件工程的概念被提出以来,如何高效地开发高质量的软件一直是计算机科学的研究热点。近年来,随着人工智能技术的发展,人工智能与软件工程开始深度融合,由此形成的全新学科交叉方向——智能软件工程成为了国内外学者关注的焦点和研究重点。智能软件工程主要涵盖两方面:人工智能赋能的软件工程和面向人工智能的软件工程。一方面,以深度学习为代表的人工智能迅猛发展,为软件工程研究提供了全新的方法、技术和工具,显著提高了解决传统软件工程任务的能力。     

深度导向显著性检测算法

针对目前基于深度卷积神经网络的显著性检测算法存在对复杂场景图像目标检测不完整、背景噪声多的问题，提出一种深度特征导向显著性检测算法。该算法是基于现有底层特征与深度卷积特征融合模型（ELD）的改进，网络模型包含基础特征提取、高层语义特征跨层级引导传递两个部分。首先，根据不同层级卷积特征的差异性，构建跨层级特征联合的高层语义特征引导模型；然后，用改进的网络模型生成初始显著图，利用高层语义特征引导的方式进行显著性聚类传播；最后，用完全联系条件随机场对聚类传播的结果进行优化，使其能够获取更多结构边缘信息和降低噪声并生成完整显著图。在ECSSD上和DUT-ORMON两个数据集上进行实验测试，实验结果表明，所提算法的准确率和召回率（PR）优于ELD模型，其F-measure（F）值分别提升了7.5%和11%，平均绝对误差（MAE）值分别降低了16%和15%，说明了所提算法模型能够在目标识别、模式识别、图像索引等复杂图像场景应用领域得到更加鲁棒的结果。     

面向深度学习可解释性的对抗攻击算法

针对深度神经网络(DNN)中的可解释性导致模型信息泄露的问题,证明了在白盒环境下利用Grad-CAM解释方法产生对抗样本的可行性,并提出一种无目标的黑盒攻击算法——动态遗传算法.该算法首先根据解释区域与扰动像素位置的变化关系改进适应度函数,然后通过多轮的遗传算法在不断减少扰动值的同时递增扰动像素的数量,而且每一轮的结果...     

卷积神经网络表征可视化研究综述

近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.     

结合深度图像和强度图像的人脸浅浮雕生成算法

针对单纯基于深度图像压缩方法生成的三维浮雕模型容易存在大量噪声,并且易丢失细节的问题,为了生成特征表达准确且具有艺术美感的人脸浅浮雕,提出一种基于三维深度图像和与之对应的二维强度图像的混合人脸浅浮雕的生成算法.首先对三维深度图像的高度场进行压缩生成浮雕基网格;然后提取二维强度图像的灰度信息、梯度信息和显著度信息,并基于显著度信息对基网格的高度场相应地叠加灰度和梯度信息,以保持脸部五官的细节;最后根据显著度信息使用Laplace算子对网格进行光顺处理,使脸部光滑.实验结果表明,与单纯使用基于深度图像压缩方法相比,文中算法生成的浅浮雕模型可以更好地保持五官的细节特征;与基于图像的浮雕生成方法相比,该算法避免了复杂交互操作,可以更好地保持人脸的整体轮廓和形状.     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

复杂场景下融合深度信息的显著区域匹配

针对复杂场景显著区域匹配过程中目标定位困难、冗余信息过多导致误匹配率高、匹配时间长的问题,提出一种融合深度信息的显著区域匹配算法。利用融合深度信息的视觉注意机制模型提取场景图像中的显著区域,得到场景目标的粗定位结果。使用基于局部特征点的匹配策略对有效目标在场景中的区域进行精确定位,并通过FLANN双向匹配实现对有效目标的匹配定位。实验结果表明,在光照强度和场景视角变化等复杂场景下,该方法能够有效减少匹配点,提高场景的匹配精度和匹配效率。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

基于显著图的弱监督实时目标检测

深度卷积神经网络(Deep convolutional neural network,DCNN)在目标检测任务上使用目标的全标注来训练网络参数,其检测准确率也得到了大幅度的提升.然而,获取目标的边界框(Bounding-box)标注是一项耗时且代价高的工作.此外,目标检测的实时性是制约其实用性的另一个重要问题.为了克服这两个问题,本文提出一种基于图像级标注的弱监督实时目标检测方法.该方法分为三个子模块:1)首先应用分类网络和反向传递过程生成类别显著图,该显著图提供了目标在图像中的位置信息;2)根据类别显著图生成目标的伪标注(Pseudo-bounding-box);3)最后将伪标注看作真实标注并优化实时目标检测网络的参数.不同于其他弱监督目标检测方法,本文方法无需目标候选集合获取过程,并且对于测试图像仅通过网络的前向传递过程就可以获取检测结果,因此极大地加快了检测的速率(实时性).此外,该方法简单易用;针对未知类别的目标检测,只需要训练目标类别的分类网络和检测网络.因此本框架具有较强的泛化能力,为解决弱监督实时检测问题提供了新的研究思路.在PASCAL VOC 2007数据集上的实验表明:1)本文方法在检测的准确率上取得了较好的提升;2)实现了弱监督条件下的实时检测.     

基于对象位置线索的弱监督图像语义分割方法

深度卷积神经网络使用像素级标注,在图像语义分割任务中取得了优异的分割性能.然而,获取像素级标注是一项耗时并且代价高的工作.为了解决这个问题,提出一种基于图像级标注的弱监督图像语义分割方法.该方法致力于使用图像级标注获取有效的伪像素标注来优化分割网络的参数.该方法分为3个步骤：（1）首先,基于分类与分割共享的网络结构,通过空间类别得分（图像二维空间上像素点的类别得分）对网络特征层求导,获取具有类别信息的注意力图;（2）采用逐次擦除法产生显著图,用于补充注意力图中缺失的对象位置信息;（3）融合注意力图与显著图来生成伪像素标注并训练分割网络.在PASCAL VOC 2012分割数据集上的一系列对比实验,证明了该方法的有效性及其优秀的分割性能.     

基于偏振成像和显著区域自补偿的水下显著目标检测

在浑浊的水下环境中,受水体多重散射以及噪声的影响,造成水下成像质量大幅下降,现有显著性目标检测算法无法满足目标检测准确性的任务需求。因此,提出一种基于偏振成像和显著区域自补偿的水下显著目标检测算法。提出的算法分为两个阶段：采用基于偏振角估计后向散射光的方法去除后向散射的影响,同时引入引导滤波进行水下去噪,再通过PSF函数去除前向散射造成的模糊效应;利用改进的栅格扫描算法结合局部特征描述符识别前景超像素,根据前景超像素生成显著区域对网络进行优化补偿,再结合DeepLabv3+网络生成最终的分割图。在浑浊水下环境进行了多组对比实验结果表明,所提复原算法可以有效地增强目标,提高了目标的对比度和清晰度,所提显著目标检测算法能够准确地检测出水下显著目标,并且可以保留细节信息。结合偏振成像模型的优点,该算法能够较好地克服水下复杂的光学成像环境,并且能快速准确地检测出水下显著目标。     

基于空时显著性感知的运动目标检测方法*

从视觉系统生理结构出发,对Itti视觉注意力模型进行了改进,融入运动特征,提出了一种基于视觉空时显著性感知的运动目标检测方法。首先提取图像的空间特征,形成空间显著图;然后利用相邻帧图像的全局运动、局部运动和相对运动,确定运动目标与背景的运动差异,形成运动显著图,并且对各显著区的空间特征和运动特征进行融合形成空时显著图,检测出运动目标。理论分析和实验结果表明,该方法能快速、准确地发现目标,减少目标的截获时间,提高目标跟踪性能。     

结合区域和边界信息的图像显著度检测

目的 图像显著度检测是许多图像应用的核心问题,为了能够在复杂背景下准确提取图像中前景对象的位置和尺度信息,提出一种结合区域和边界信息的图像显著度检测方法。方法 对于图像区域信息,提出一种基于图像等照度线的方法检测显著区域信息。该方法针对不同的特征(颜色、亮度和方向)提出统一的计算方法,使得不同特征下获得的显著信息具有一致的度量标准,从而方便后续多特征显著度图的融合。对于图像边界信息,采用一种结合多尺度Beltrami过滤器的全局方法检测显著边界信息。多尺度Beltrami过滤器可以显著增强图像中的边界信息。利用全局显著度检测方法对经过过滤器处理过的图像可以准确地获取图像中最为显著的边界信息。最后,由于区域和边界分别代表图像中的不同类型信息,可以直接采用线性融合方式构建最终的图像显著度图。结果 与其他9种流行图像显著度检测算法相比,本文算法无论在简单还是复杂背景下均能够较为准确地检测出图像中的显著度信息(Precision、Recall、F测试中获得的平均值为0.5905,0.6554,0.7470的最高测试结果)。结论 提出一种结合区域和边界信息的图像显著度检测算法,通过区域和边界信息相结合的方式实现图像中显著对象的准确检测。实验结果表明本文算法具有良好的适用性和鲁棒性,为图像中复杂背景下对象检测打下坚实基础。     

融合空时显著性的运动目标检测方法

针对视频中显著性的运动目标检测问题,为解决显著性在运动目标检测中存在空时显著性简单融合和忽略时间显著性的问题,提出一种用人类视觉特性的运动目标检测方法.改进方法以提取的图像空间特征为基础,生成空间显著图,利用核密度估计,计算时间显著图;对空间显著性和时间显著性进行所占权重的计算,根据所计算的权值进行空间、时间显著图融合,生成空时显著图,得到检测出的运动目标.实验结果表明,改进方法能准确、快速地检测出运动目标,减少计算时间,提高检测目标的准确率.     

一种图像显著区域的提取方法

图像的显著区域能代表图像的主要内容,提取图像的显著区域在图像检索、敏感图像识别等方面有重要的作用。结合多尺度分析先提取图像的显著图,而后在显著图的基础上根据经验阈值对事先的分割区域进行判断取舍,最后根据取舍结果来确定图像的显著区域,取得了良好的效果。与具有代表性的Itti方法相比易于实现,速度快。