融合多尺度注意力的太赫兹图像目标检测研究

基于太赫兹技术的安检设备具有独特的无损伤检测特性,在安防领域具有良好的发展前景.太赫兹图像分辨率低,特征信息有限,且高亮区域多,目标与背景亮度相近,为太赫兹图像中的目标检测带来了一定的困难.针对此,本文提出一种融合多尺度注意力的目标检测框架MSAD-SSD,在SSD算法的基础上,采用ResNet101作为特征提取网络,...     

注意力特征融合的快速遥感图像目标检测算法

针对遥感图像背景复杂、小目标多、特征提取难等问题，提出了一种注意力特征融合的快速遥感图像目标检测算法——YOLO-Aff。该算法设计了一种带通道注意力的主干网络模块（ECALAN）以及模糊池（BP）模块来减小下采样带来的损失。此外，采用了一种无跨步卷积的特征金字塔网络（SPD-FPN）结合SimAM注意力特征融合模块（CBSA）来增强特征的跨尺度融合能力。最后，通过使用Wise-IoU作为网络的坐标损失来优化样本不均衡问题。实验结果表明，改进的YOLO-Aff算法在NWPU VHR-10数据集上的mAP值达到96%，较原算法mAP提高了2.9个百分点，为遥感图像的快速、高精度目标检测提供了新的解决方案。     

改进Faster R-CNN方法的太赫兹图像小尺度物体检测

随着世界性反恐举措的加强，隐匿在人体衣物、箱包中的小尺度危险物体如手枪、管制刀具等的检测越发重要.本文首先将非局部均值滤波方法和边缘增强方法结合，用以增强太赫兹人体安检图像质量.然后基于Faster R-CNN方法，提出了一种Double-RPN方法，该方法解决了主网络(以VGG16为例)在进行特征提取时，深层卷积池化操作引发信息流失从而导致小尺度物体检测准确率下降的问题.最后针对Double-RPN方法提出自适应损失函数，用以增强对困难样本的训练，并在主网络一致的前提下对该自适应损失函数进行消融实验分析.实验结果表明，本文提出的改进方法在手机和刀两类小尺度物体上较未改进之前检测准确率分别提升7.5%、4.7%,平均检测准确率提升4.06%.     

基于特征融合和注意力机制的遥感目标检测

为了降低遥感图像中尺寸较大或长宽比变化极端等类型目标对检测精度的不利影响,提出一种基于YOLOv5的改进算法。首先,设计多尺度特征融合模块,通过引入不同膨胀率的残差膨胀卷积块以获得更大感受野,提高对长宽比变化极端目标的检测能力;其次,引入全局-局部注意力,通过分解大核注意力以获得空间和通道维度的长期依赖性和适应性,实现动态提取丰富的全局上下文信息,提高网络对大尺寸目标的检测性能。在DOTA数据集上的消融实验证明了该算法的有效性,mAP达到77.05%,较改进前的模型提升了1.66%,亦优于主流算法,有效改善了遥感图像中目标尺寸过大或长宽比变化极端带来的问题。     

多层次特征融合与注意力机制的文本检测

卷积神经网络在自然场景文本检测中的应用,大大提高了文本检测的准确性.但由相机视角和文本本身引起的尺度多变性以及文本分布的多样性仍然给文本检测带来了挑战.从解决文本尺度多变性的角度出发,本文提出了一个新的多层次特征融合模块,在特征金字塔融合不同层级特征的同时,额外添加了一个空洞卷积池化模块分支,在不降低特征尺度的同时拥有...     

基于注意力机制和特征融合的道路目标检测算法

针对道路检测目标小、模型特征融合不充分等问题,提出了一种基于注意力机制和多尺度特征融合的道路目标检测算法MFFDM。该算法将Resnext50网络与注意力模块进行融合形成新的主干特征提取网络;其次,新增具有空间位置信息的底层检测层来匹配对小物体的检测;另外,利用反卷积模块及特征纹理提取模块设计多尺度特征融合网络DEFTFN。实验表明,与FCOS算法相比,该算法在KITTI数据集上的平均精度提升了9.3%,对道路行人目标的检测精度提升明显,提升幅度达14.6%。     

基于光照估计滤波的太赫兹图像融合研究

碳纤维增强复合材料广泛应用于航空航天等军民领域，在制备和使用过程中往往存在诸多缺陷，太赫兹时域光谱成像技术为碳纤维增强复合材料无损检测提供了新方法。在使用太赫兹无损检测技术时，可以通过在时域或频域中选择不同的参数来获取图像，同样的缺陷需要时域和频域不同的参数才可以有效检测出来。采用基于光照估计滤波的算法将不同参数的太赫兹图像进行融合。首先，通过光照估计滤波分辨初始图像序列中像素的曝光情况。然后隶属函数调用这些初始估计值。最终输出的融合图像是通过隶属函数分配的权重在所有像素之间加权平均得到。实验结果表明，所提出的方法对图像边界信息和细节信息都处理得比较好，适用于太赫兹多波段图像融合，具有更好的视觉效果。     

注意力和多重特征融合的图像局部特征检测及描述

针对基于深度学习的图像局部特征检测与描述模型参数大和内存资源消耗大的问题,提出一种结合注意力和多重特征融合的图像局部特征检测及描述算法.首先在不改变图片大小的条件下,使用基础残差块和膨胀卷积搭建基础骨干网络以获得图片的多尺度特征;然后在不增加模型复杂度的前提下,结合注意力机制从而获得更加优良的特征;最后通过改进的跳跃连接将低层语义信息与高级语义信息融合,更利于特征点的检测和描述.实验结果表明,在模型大小远小于同类方法模型的情况下,所提算法在HPatches数据集上表现优异,当阈值选取2～6时总体上的MMA值分别为0.57、0.71、0.78、0.81、0.83,与R2D2相比,分别提升了2.3％、2.4％、1.9％、1.4％、1.1％,提取的特征及描述更加鲁棒.     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

基于pro-YOLOv4的多尺度航拍图像目标检测算法

航拍图像目标检测存在多尺度目标检测精度低、检测速度慢、漏检和误检严重等问题.针对这些问题,提出一种融合卷积注意力机制和轻量化网络的目标检测算法(pro-YOLOv4),并应用于多尺度航拍图像目标检测.首先,利用K-means聚类算法对航拍数据集进行聚类分析并优化锚框参数,以提高对目标检测的有效性;其次,采用轻量级网络结构,精简网络复杂度,提高检测速度;最后,引入卷积注意力模块来解决复杂场景对于航拍目标检测的干扰,从而有效降低误检率和漏检率.在航拍数据集RSOD和NWPU VHR-10上进行实验对比,实验结果表明,pro-YOLOv4检测效果较YOLOv4有明显提升,平均检测精度分别提高了3.42％和3.98％.该算法不仅对多尺度目标均表现出较好检测性能,还降低了目标漏检率,并具有较好的鲁棒性和泛化能力.     

融合注意力机制的 YOLOv5 口罩检测算法

新冠疫情期间正确佩戴口罩可以有效防止病毒的传播,针对公共场所存在的人员密集、检测目 标较小等加大检测难度的问题,提出一种以 YOLOv5s 模型为基础并引入注意力机制融合多尺度注意力权重的 口罩佩戴检测算法。在 YOLOv5s 模型的骨干网络中分别引入 4 种注意力机制,抑制无关信息,增强特征图的 信息表达能力,提高模型对小尺度目标的检测能力。实验结果表明,引入 CBAM 模块后较原网络 mAP 值提升 了 6.9 个百分点,在 4 种注意力机制中提升幅度最明显,而引入 NAM 模块后在损失少量 mAP 的情况下使参 数量最少,最后通过对比实验选用 GIoU 损失函数计算边界框回归损失,进一步提升定位精度,最终结果较 原网络 mAP 值提升了 8.5 个百分点。改进模型在不同场景下的检测结果证明了该算法对小目标检测的准确 率和实用性。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

面向暗光场景的目标偏振/可见光融合检测方法

为解决偏振暗光场景下常见目标识别结果准确性不高的问题,提出了基于卷积神经网络的偏振度图像与可见光图像融合算法,设计了新的损失函数以形成无监督学习过程,引入拉普拉斯算子提高融合图像的质量,最终将被测目标的偏振信息与可见光信息有效结合;提出了基于改进的YOLOv5算法对融合后的目标进行目标检测,在网络框架中加入CA注意力机制,将通道注意力机制与空间注意力机制相结合。在自制的数据集上对提出的网络进行训练测试,结果表明,融合图像在主客观上都达到了较好的视觉效果,将改进的YOLOv5算法相比最优的YOLOv5s模型,精确率和召回率分别达到了89.3%和82.5%,均值平均精度分别提高了2.6%和1.8%。     

基于多尺度特征和注意力机制的航空图像分割

利用神经网络能通过进行建筑像素标记实现航空图像分割,但也存在分割边界模糊的问题,导致分割结果不理想.为此,本文以卷积神经网络U–net和FCN–8s基本网络模型,实现端到端训练.在此基础上,结合建立了全卷积神经网络结合多尺度特征和注意力机制的网络模型,提升了分割边界的清晰度.将多尺度特征和注意力机制的模型与基本模型进行对比,分析了真实与预测之间的相关度和相似度,并将预测结果进行对比.实验结果表明,结合多尺度特征和注意力机制的分割模型,分割边界更清晰,相对于相同训练规模的全卷积网络交并比高2%, Dice系数高3%,得到较好的分割结果.     

融合多重机制的SAR舰船检测

目的 针对合成孔径雷达(synthetic aperture radar, SAR)图像噪声大、成像特征不明显,尤其在复杂场景更容易出现目标误检和漏检的问题,提出了一种融合多重机制的SAR舰船检测方法,用于提高SAR舰船检测的精度。方法 在预处理部分,设计了U-Net Denoising模块,通过调整噪声方差参数L的范围来抑制相干斑噪声对图像的干扰。在YOLOv7(you only look once v7)主干网络构建MLAN_SC(maxpooling layer aggregation network that incorporate select kernel and contextual Transformer)结构,加入SK(selective kernel)通道注意力机制至下采样阶段,增强关键信息提取能力和特征表达能力。为解决MP(multiple pooling)结构中上下分支特征不平衡的问题,改善误检情况,融入上下文信息提取模块(contextual Transformer block, COT),利用卷积提取上下文信息,将局部信息和全局信息结合起来,使图像特征能够更有效地提取出来。在头部引入SPD卷积(space-to-depth convolution, SPD-Conv),增强小目标的检测能力。用WIoU(wise intersection over union)损失函数替换CIoU(complete intersection over union)损失函数,运用动态聚焦机制,在复杂图像上加强对目标的定位能力。结果 在SSDD(SAR ship detection dataset)数据集和HRSID (high-resolution SAR images dataset)数据集上进行了实验对比,结果表明,改进后的方法相比于YOLOv7,AP(average precision)可达到99.25%和89.73%,分别提升了4.38%和2.57%,准确率和召回率为98.41%,93.24%和94.79%,81.83%,优于对比方法。结论 本文通过融合多重机制改进YOLOv7方法,提升了对目标的定位能力,显著改善了SAR舰船检测中复杂舰船的误检和漏检情况,进一步提高了SAR舰船检测精度。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

图像特征注意力与自适应注意力融合的图像内容中文描述

针对现有基于注意力机制的图像内容中文描述模型无法在关注信息不减弱和无缺失的条件下对重点内容进行注意力加强关注的问题,提出一种图像特征注意力与自适应注意力融合的图像内容中文描述模型。模型使用编解码结构,首先在编码器网络中提取图像特征,并通过图像特征注意力提取图像全部特征区域的注意力信息;然后使用解码器网络将带有注意力权重的图像特征解码生成隐藏信息,以保证关注信息不减弱、无缺失;最后利用自适应注意力的视觉哨兵模块对图像特征中的重点内容进行再次加强关注,从而更加精准地提取图像的主体内容。使用多种评价指标（BLEU、METEOR、ROUGEL和CIDEr）进行模型验证,将所提模型与单一基于自适应注意力和基于图像特征注意力的图像描述模型进行对比实验,该模型的CIDEr评价指标值分别提高了10.1%和7.8%;同时与基线模型NIC（Neural Image Caption ）以及基于自底向上和自顶向下（BUTD）注意力的图像描述模型相比,该模型的CIDEr评价指标值分别提高了10.9%和12.1%。实验结果表明,所提模型的图像理解能力得到了有效提升,其各项评价指标得分均优于对比模型。     

结合旋转框和注意力机制的轻量遥感图像检测模型

目的 遥感图像目标检测在国防安全、智能监测等领域扮演着重要的角色。面对遥感图像中排列密集且方向任意分布的目标,传统水平框目标检测不能实现精细定位,大型和超大型的目标检测网络虽然有强大表征学习能力,但是忽略了模型准确率与计算量、参数量之间的性价比,也满足不了实时检测的要求,庞大的参数量和计算量在模型部署上也非常受限,针对以上问题,设计了一种轻量级的旋转框遥感图像目标检测模型（YOLO-RMV4）。方法 对原MobileNetv3网络进行改进,在特征提取网络中加入性能更好的通道注意力机制模块（efficient channel attention,ECA）,并且对网络规模进行适当扩展,同时加入路径聚合网络（path aggregation network,PANet）,对主干网络提取特征进行多尺度融合,为网络提供更丰富可靠的目标特征。网络检测头中则采用多尺度检测技术,来应对不同尺寸的目标物体,检测头中的角度预测加入了环形圆滑标签（circular smooth label,CSL）,将角度回归问题转换为分类问题,从而使预测角度和真实角度之间的距离可以衡量。结果 将提出的检测模型在制备的AV...