基于区域对比度和背景先验的显著目标检测

针对现有算法对复杂背景的图像检测效果较差的问题,提出融合区域对比度和背景先验的显著目标检测算法。首先利用超像素分割将图像分割成感知均匀的图像块,然后根据区域对比度计算全局对比度特征和空间聚集度特征,再根据背景先验得到背景集,计算图像块与背景集间的相似性特征,接着对三个特征显著图进行融合计算,最后根据每个像素与周围超像素的颜色和距离对比度得到每个像素的显著值。实验结果表明,所提算法能较均匀高亮整个目标且有效抑制无关背景信息。     

融合背景先验与中心先验的显著性目标检测

目的 现有的显著性目标检测算法通常基于单一的先验信息,导致提取的原图像信息不全面,为了解决该问题,提出一种新的基于背景先验与中心先验相融合的显著目标检测算法。方法 该方法首先以边缘超像素为吸收节点,利用马尔可夫吸收链计算其他超像素的平均吸收时间作为背景先验值,得到背景先验图;然后使用改进Harris角点检测估计目标区域位置,建立峰值位于目标中心的2维高斯函数,计算各超像素的中心先验值,获取中心先验图;最后将背景先验图与中心先验图相融合得到显著图。同时该方法融合多尺度检测结果,进一步提高显著值的准确性。结果 通过ASD、SED1、SED2和SOD 4个公开数据库对比验证了基于背景先验与中心先验相融合算法具有较高的查准率、查全率和F-measure,相较于基于马尔可夫吸收链算法均提高了3%以上,总体效果明显优于目前的10种主流算法。结论 相较于基于单一先验信息的算法,基于背景先验与中心先验相融合的算法充分利用了图像信息,在突出全局对比的同时也保留了较多的局部信息,能高亮地凸显图像中的显著性目标。该方法在检测单一目标的图片时效果显著,但对于多目标的显著性检测尚有不足。     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

基于改进HRNet架构的图像语义分割算法应用研究

针对当前主流图像语义分割算法提取的特征图分辨率过低,上采样过程中有效语义信息损失过大,易丢失像素点和目标物体区域相关性的问题,提出了一种基于HRNet-OCR联合交叉注意力机制的图像语义分割算法。该法先采用HRNet替代ResNet作为特征提取骨干网络,保留特征提取过程中的高分辨率信息;然后融合OCR算法对图像进行初步的粗略分割,确定目标对象的大致区域;最后,引入交叉注意力机制模块对像素和对象区域的关联程度加权计算,实现像素的精准分类,保留分割区域的边缘细节。实验结果表明,与常见的分割算法FCN、PSPNet、DeepLabv3+等相比,所提算法在ADE20K、Cityscapes、PASCAL VOC 2012数据集上的mIoU分别提升5.37%、3.09%和2.71%,且可以有效保留细节信息,大幅度改善分割精度。     

基于改进SSD算法的遥感图像目标检测

在遥感图像目标检测领域,多数目标检测算法针对小目标检测时效果不佳,为此,提出一种多尺度特征融合的遥感图像目标检测算法。利用SSD算法的基础网络进行特征提取,形成特征图金字塔。设计特征图融合模块,融合浅层特征图的位置信息和深层特征图的语义信息,从而保留丰富的上下文信息。设计冗余信息去除模块,通过卷积操作进一步提取特征图中的特征,并对特征信息进行筛选,以减少特征图融合时带来的混叠效应。在遥感图像数据集NWPU VHR-10上的实验结果表明,该算法的平均检测精度高达93.9%,其针对遥感图像小目标的检测性能优于Faster R-CNN和SSD等算法。     

融合似物性前景对象与背景先验的图像显著性检测

为了在复杂背景图像中准确地提取出图像的显著区域,提出一种结合似物性前景对象与背景先验知识的图像显著性检测方法（OFOBP）。该方法首先对图像进行超像素分割,计算超像素颜色空间分布,得到初始显著图;利用似物性检测方法获取多个目标窗口,由窗口建立搜索区域,结合二值化的初始显著图优化目标窗口;再利用多窗口特征对超像素做前景对象预测,获取前景显著图;其次建立背景模板,计算稀疏重构误差获取背景先验图;最后融合两种显著图,得到最终显著检测结果。在公开数据集上与11种算法进行比较,本文算法能够较为准确地检测出显著区域,尤其是在复杂背景下对多个显著目标的检测,存在明显的优势。     

学习全局引导渐进特征聚合轻量级网络的显著性目标检测

针对目前显著性目标检测算法中存在的特征融合不充分、模型较为冗余等问题,提出了一种基于全局引导渐进特征融合的轻量级显著性目标检测算法.首先,使用轻量特征提取网络MobileNetV3对图像提取不同层次的多尺度特征;然后对MobileNetV3提取的高层语义特征使用轻量级多尺度感受野增强模块以进一步增强其全局特征的表征力;最后设计渐进特征融合模块对多层多尺度特征自顶而下逐步融合,并采用常用的交叉熵损失函数在多个阶段对这些融合特征进行优化,得到由粗到细的显著图.整个网络模型是无需预处理和后处理的端到端结构.在6个基准数据集上进行了大量实验,并采用PR_Curve,F-measure,S-measure和MAE指标来衡量性能.结果表明,所提方法明显优于10种先进的对比方法,并且算法模型大小仅约为10 MB,在GTX2080Ti显卡上处理大小为400×300像素的图像的速度可以达到46帧/秒.     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

注意力引导网络的显著性目标检测

目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点。常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题。为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(attention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题。方法 该网络主要由特征提取模块(feature extraction module, FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module, C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware, PPA)损失训练网络。其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入。结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能。尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9%,MAE(mean absolute error)指标降低了1.9%。同时,网络具有不错的速度表现,达到实时效果。结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节。     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism, MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结...     

融入频域信息聚焦特征的显著性目标检测算法

由于视觉注意预测能够快速、准确地定位图像中的显著区域,因此将视觉注意中的频域信息融入显著性目标检测中,从而有效地在复杂场景中检测显著性目标。首先,采用改进的频域检测方法对图像进行视觉注意预测,将该频域信息融入Focusness特征中计算得到频域信息聚焦特征,并将此特征与颜色特征进行融合得到前景显著图。然后,对RBD背景进行优化,得到背景显著图。最后,对前景显著图、背景显著图进行融合。在ESSCD,DUT-OMON两个具有挑战性的数据集上进行了大量实验,并采用PR_Curve,F-Measure,MAE对结果进行了评估,结果表明,所提出的方法要优于6种对比方法(HFT,PQFT,HDCT,UFO,DSR和RBD),并且能够处理复杂场景的图像。     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。