RGB-D图像三维特征点的保结构检测方法

针对颜色-深度图像(RGB-D)特征融合困难、联合识别效率低的问题,提出了一种三维特征点的保结构检测方法,为图像配准、三维重建、目标识别与分类等问题提供稳定特征点.该方法利用透视投影在二维像平面上描述物点,建立了物点的三维保结构模型.基于扩散方程和尺度空间的联系,利用有限差分法将深度信息融入尺度空间中,给出了RGB-D尺度空间的一种表示方法.依据特征点与高斯拉普拉斯函数极值的对应关系,在RGB-D尺度空间上检测极值,获取了图像的保结构三维特征点.实验结果表明,与二维尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)方法相比,RGB-D图像三维特征点的保结构检测方法有效融合了物体表面的颜色和结构信息,能够检测并匹配更多的图像特征点.     

三分支多层次Transformer特征交互的RGB-D显著性目标检测

RGB-D显著性目标检测是计算机视觉领域的研究任务之一,很多模型在简单场景下取得了较好的检测效果,却无法有效地处理多目标、深度图质量低下以及显著性目标色彩与背景相似等复杂场景。因此,本文提出一种三分支多层次Transformer特征交互的RGB-D显著性目标检测模型。首先,本文采用坐标注意力模块抑制RGB和深度图的噪声信息,提取出更为显著的特征用于后续解码。其次,通过特征融合模块将高层的三层特征图调整到相同的分辨率送入Transformer层,有效获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后,本文提出一个多层次特征交互模块,该模块通过有效地利用高层特征和低层特征对显著性目标的位置和边界进行细化。最后,本文设计一个密集扩张特征细化模块,利用密集扩张卷积获取丰富的多尺度特征,有效地应对显著性目标数量和尺寸变化。通过在5个公开的基准数据集与19种主流模型相比,实验结果表明:本文方法在多个测评指标上有较好的提升效果,提高了在特定复杂场景下的检测精度,从P-R曲线、F-measure曲线和显著图也可以直观看出本文方法实现了较好的检测结果,生成的显著图更完整、更清晰,相比其他模型更加接近真值图。     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于显著性检测的害虫图像分类

针对病虫害分类时害虫种类多样,且类间与类内差异大等问题,提出了一种害虫分类模型PestNet.模型主要由目标定位模块OPM和多特征融合模块MFFM组成,OPM通过U型网络结构整合害虫图像浅层细节信息和深层空间信息,初步划定显著区域并输出空间语义特征.MFFM通过对空间语义特征和抽象语义特征进行双线性池化操作,弱化背景信息,增加细节特征.此外,通过目标区域裁剪和掩膜等方式辅助训练模型,提高模型分类精度.将该模型在病虫害数据集IP102上进行实验,分类准确率可达77.40％,能够实现复杂背景下大规模害虫图像的分类识别.     

基于R-VGG和多分支注意力的无人机图像配准模型

无人机图像通常分辨率较大且含有大面积的弱纹理区域,导致在配准时图像特征提取不足和误匹配增加.针对这些问题,提出一种基于R-VGG特征提取和多分支注意力的无监督配准模型.首先,利用两个具有共享权重参数的特征提取网络来提取运动图像和参考图像的低、高层融合特征;然后,在初步特征匹配之后,加入以残差块为单位的多分支注意力(Multi-Branch Attention, MBA)以滤除错误特征匹配;最后,采用卷积神经网络进行单应性估计,使用空间变换网络(Spatial Transform Network, STN)将运动图像根据单应性矩阵扭曲得到配准结果图像.通过实验将其与另外4种图像配准方法进行了比较,并根据结构相似性(SSIM)、互信息量(MI)和平均绝对误差(MAE)三种评价指标进行了衡量.结果表明,所提方法具有很好的性能表现,能够准确、稳定地完成无人机图像的配准任务.     

图像依赖的显著图融合方法

提出基于脊回归的显著图融合方法以获得更好的检测效果.在训练集中寻找待检测图像的近邻图像集,对近邻图像集采用脊回归方法对多种显著性检测方法的融合系数进行估计,进而对不同检测方法的显著图进行融合.该方法充分考虑了检测方法的差异性,很好的解决检测图像在没有基准二值标注下显著图的融合问题.试验采用流行的显著性数据集和显著性检测...     

基于Gabor滤波和显著性检测的红外与可见光图像融合

红外和可见光图像的融合既要突出红外图像中重要的亮度特征,又要使融合图像保留清晰的视觉效果。因此,提出了基于Gabor滤波和显著性检测的融合方法。首先,采用显著性检测得到红外和可见光图像的显著层,再使用Frankle-McCann Retinex增强算法对可见光图像进行增强,之后用Gabor滤波器将红外图像和增强后的可见光图像分解为细节层和基础层。然后,采用“最大绝对”的融合策略对显著层与细节层进行融合,最后进行图像重构。实验结果表明,得到的结果与其他八种经典算法比较中表现优异,尤其是AG、EI、IE、SF等指标方面尤为突出。     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性,提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制,利用双重注意力建立文本与图像之间的关联以增强文本语义;在图像语义增强模块引入保留强度和更新强度,控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估,实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

多特征融合和孪生注意力网络的高分辨率遥感图像目标检测

为提高高分辨率遥感图像目标检测效果,本文将多特征融合方法和孪生注意力网络相结合,提出一种新的目标检测方法。构建遥感图像目标检测的整体框架,基于锚框模型对遥感图像目标进行多层特征的提取及融合;运用孪生注意力网络对遥感图像目标实时视觉跟踪检测,引入通道和空间的双重自注意力机制,提高目标图像的特征表达能力,由此得到更加精准的检测结果。实验分析结果表明,本文方法的平均总体精度为93.8,F1指数平均值为0.88,Kappa系数平均值为0.93,均明显高于对比方法,说明本文方法具有较好的检测效果。     

基于视觉显著性的红外图像弱小目标检测方法

针对复杂背号下红外图像弱小目标检测难题,提出了一种基于视觉显著性的目标检测方法。首先利用基于视觉注意机制的显著性模型计算图像的显著度图,然后根据图像的显著度图确定目标的区域,最后在原图像上确定目标的精确位置,仿真实验结果表明,本文方法能够很好地检测出红外图像中的弱小目标;与常用背景抑制法相比,该方法不仅较好地突显了目标,而且极大地消除了虚警干扰。     

基于无监督深度学习的多聚焦图像融合

摄像机镜头受景深限制,不能同时聚焦距离差别较大的不同物体,导致单次曝光的图像聚焦处图像清晰,未聚焦处图像模糊。为了将多幅不同聚焦情况的图像融合成为一幅全清晰图像,文章提出了一种基于自编码器的无监督卷积神经网络,网络以融合图像与输入图像的结构相似度为目标,增加局部信息加权值,以融合后图像能最大程度地获取原始图像中的有效信息构建损失函数,最终训练网络进行图像融合。该方法在公共基准数据集上取得了较好的表现,与多种方法相比,融合结果的客观指标与主观感受均有明显的提高。     

双分支协同策略的弱监督行为检测

弱监督行为检测旨在使用视频级标签定位动作的起止边界及识别相应的行为类别。现有的模型依然存在行为定位不完整、背景干扰等问题。对此,提出了双分支协同策略,为背景帧引入辅助类,采用权重共享机制的非对称式训练,使得该模型能够抑制背景帧的激活以提高定位性能。在优化分支提出中心损失项来学习每个动作类的聚类中心,并惩罚特征与其中心之间的距离及最小类内变化,从而增强特征的可辩别性;基本分支丢弃其动作类的中心区域,同时学习背景特征,通过迭代训练挖掘与其行为相关的不明显区域,有助于更好的模拟背景,实现行为的完整性定位。该算法在THUMOS14和ActivityNet1.2数据集上进行实验验证并与其他相关文献进行比较,结果表明了所提出算法的可行性。     

基于多模态注意力机制的图像理解描述新方法

针对现有的图像理解描述方法存在描述句子不丰富、不准确、模型结构复杂、难以训练等问题,该文提出了一种端到端的基于多模态注意力机制(M-AT)的图像理解描述新方法。该方法首先通过关键词图像特征提取模型(K-IFE)提取更优的空间特征和关键词特征,并利用关键词注意力机制模型(K-AT)关注重要描述词语、空间注意机制模型(S-AT)关注图像更重要的区域并简化模型结构,且K-AT和S-AT两种注意力机制可以相互矫正,最终生成更加准确、丰富的图像描述语句。在MSCOCO数据集的实验结果表明该方法是有效的,部分评价指标有2%左右的提升。     

用于遥感图像变化检测的深度监督网络

为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测（CD）能力差的问题,借助Unet++网络构建用于遥感图像CD的深度监督网络（DSNet）.设计多尺度残差模块替换传统卷积层,通过融合孪生网络双分支上的空间与光谱特性,获取遥感图像在不同层次间的语义信息,有效解决了特征提取单一的问题.在模型解码端设计横向输出层,实现节点从低级向高级特征聚合的深度监督过程.将具备信息差异化的不同特征融合结果传输至基于归一化的注意力模块(NAM)中.在不引入额外参数的前提下增强了变化区域的信息权重.实验结果表明,所提模型在遥感图像CD任务中的召回率和精度分别为90.39%和92.04%,模型的参数量和计算量为6.38 M和60 G.与不同网络模型的对比表明,该方法具有检测精度高、速度快和轻量化等优点.     

遥感图像中基于视觉显著性的分层目标检测

针对遥感图像自动判读的应用场景,提出了一种基于视觉显著性的分层目标检测方法。该方法对于每一个特征定义一个偏好函数,并定义一个将各偏好函数计算的多个视觉显著性图像合成为一个视觉显著性图像的合成偏好函数。首先对低分辨率目标图像分别使用各偏好函数计算对应特征的视觉显著性图像;然后使用合成偏好函数计算合成的视觉显著性图像;最后定位出合成偏好函数取得最大值的区域,并将其作为最有可能包含目标的候选区域。这三个步骤在定位出的候选区域对应更高分辨率的图像上反复进行,直到待检测目标被发现或者被确定不存在为止。实验结果证明,该方法能够尽早地略过那些不包含目标的区域,与传统的目标检测方法相比,具有更好的检测效果和更少的计算量。     

多尺度特征提取和多级别特征融合的显著性目标检测方法

显著性目标检测已经被广泛应用到图像检索、图像分割、行人重识别等领域.目前主流的显著性目标检测方法通常采用短连接加权的方式融合多级别特征信息,这种方式无法精准有效地控制信息流的传递.而且,现有的检测方法通常采用单一的特征检测,导致显著性目标区域与背景的边界不连续、易模糊.因此,本文提出一种多尺度特征提取和多级别特征融合的...     

多模态特征融合的中文谣言检测

相较于纯文本的网络谣言,图文并茂的网络谣言形式更容易取得信任,同时也增加了谣言检测的难度。针对此类谣言形式,提出了一种融合多模态特征的中文谣言检测方法。首先,通过深度学习模型分别提取待检测信息中的文本词特征、文本的句子特征、文本的情感倾向特征、图像视觉特征和视觉特征语义向量;然后,通过注意力机制融合文本的词特征和视觉特征语义向量得到语义一致性特征;最后,将文本的句子特征、文本的情感倾向特征、图像视觉特征和语义一致性特征拼接起来得到多模态特征用于谣言检测。实验结果表明,本文提出的方法在微博多模态数据集上的准确率和F1值分别达到了89.9%和89.8%,提高了谣言检测的效果。     

基于区域显著性的双波段图像融合方法

为了在红外与可见光图像融合中保留更多有效信息,提出一种基于区域显著性分析的融合方法.通过区域分割以及多分辨率对比度分析,获得图像的尺度不变区域显著性图（RSISM）.利用RSISM能够有效表达区域的显著性特征,合理区分不同性质的区域;根据RSISM划分显著性区域、背景区域及中间区域,对各区域制定相异融合规则,并在非降采样轮廓波变换（NSCT）变换域上融合双波段图像.实验证明,与传统方法相比,该方法能够更好地保留显著性区域的红外特征及其他区域的细节信息,同时对背景热辐射干扰不敏感,有较好融合效果,并能够拓展应用于动态图像的融合中.     

融合多分支与多粒度特征的东北虎重识别

为解决东北虎重识别研究中存在的细节特征提取不充分等问题,提出了一种融合多分支与多粒度特征的东北虎重识别模型CMM-Net。其中,全局分支负责提取宏观上的粗粒度特征;注意力分支通过插入坐标注意力模块加深了网络对重要特征的关注度;局部分支通过将特征图切分成不同条带块,从而提取东北虎更细粒度的局部特征。通过多个分支结构和多个细粒度特征结合来对模型进行优化学习,加强全局特征与局部特征的关联性。同时提出用Circle Loss与Softmax的联合损失来提高网络精度。实验结果表明,在ATRW数据集上所提模型在单摄像头环境下mAP为93.6%,跨摄像头环境下mAP为77.4%,均优于多数文献所提方法,证明了本文模型的有效性。     

3分支多层次Transformer特征交互的RGB–D显著性目标检测

RGB深度图像（RGB–D）显著性目标检测是计算机视觉领域的研究任务之一,很多模型在简单场景下取得了较好的检测效果,却无法有效地处理多目标、深度图质量低下及显著性目标色彩与背景相似等复杂场景。因此,本文提出一种3分支多层次Transformer特征交互的RGB–D显著性目标检测模型。首先,提出一个跨模态坐标注意力模块,该模块通过采用坐标注意力抑制RGB图像和深度图的噪声信息,从而提取出更为显著的特征信息用于后续解码。其次,通过特征融合模块将高层的3层特征图调整到相同的分辨率送入Transformer层,有效地获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后,提出一个多层次特征交互模块,该模块有效地聚合多层次信息进行特征交互,从而能够更精准地定位显著性目标的位置,同时对显著性目标的边界进行细化。最后,设计一个密集扩张特征细化模块,利用密集扩张卷积获取丰富的多尺度特征,有效地应对显著性目标数量和尺寸变化。将模型在5个公开的基准数据集上与19种主流模型相比,实验结果表明：本文方法在多个测评指标上有较好的提升效果,提高了在特定复杂场景下的检测精度;从P–R(precision–re...