生成对抗网络辅助学习的舰船目标精细识别

针对近岸舰船目标细粒度识别的难题,提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本,来辅助分类子网络学习样本空间的流形分布,从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上,引入生成对抗网络后的算法识别准确率得到较大提升,平均识别精度提升了2%。消融实验结果表明,利用生成样本辅助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。     

用于遥感舰船细粒度检测与识别的关键子区域融合网络

目的 遥感图像中的舰船目标细粒度检测与识别在港口海域监视以及情报搜集等应用中有很高的实际应用价值,但遥感图像中不同种类的舰船目标整体颜色、形状与纹理特征相近,分辨力不足,导致舰船细粒度识别困难。针对该问题,提出了一种端到端的基于关键子区域特征的舰船细粒度检测与识别方法。方法 为了获得更适于目标细粒度识别的特征,提出多层次特征融合识别网络,按照整体、局部子区域两个层次从检测网络得到的候选目标区域中提取特征。然后结合候选目标中所有子区域的信息计算每个子区域的判别性显著度,对含有判别性组件的关键子区域进行挖掘。最后基于判别性显著度将子区域特征与整体特征进行自适应融合,形成表征能力更强的特征,对舰船目标进行细粒度识别。整个检测与识别网络采用端到端一体化设计,所有候选目标特征提取过程只需要经过一次骨干网络的计算,提高了计算效率。结果 在公开的带有细粒度类别标签的HRSC2016(high resolution ship collection)数据集L3任务上,本文方法平均准确率为77.3%,相较于不采用多层次特征融合识别网络提升了6.3%;在自建的包含45类舰船目标的FGSAID(fine-gr...     

联合显著性特征与卷积神经网络的遥感影像舰船检测

目的 针对高分辨率遥感影像舰船检测受云雾、海浪以及海岛等复杂因素干扰,存在虚警率高、漏检率高、目标检测和识别困难等问题,提出一种联合视觉显著性特征与卷积神经网络的海面舰船目标检测方法。方法 基于频率域相位谱显著性检测能够有效抑制高分辨率遥感影像上云层、海面杂波干扰的特点,计算影像多尺度显著图并进行加权融合。采用对数变换对融合后的图像进行空间域灰度增强以提高目标与背景的区分度,利用灰度形态学闭运算填充舰船目标孔洞,采用大津分割法来提取疑似舰船目标作为兴趣区域。最后构建舰船样本库,利用迁移学习的思想训练卷积神经网络模型,对所有兴趣区域切片进行分类判断和识别,得到最终检测结果。结果 利用多幅不同背景下的高分辨率遥感影像,分别从视觉显著性检测、舰船粗检测与船只类型识别3个方面进行实验验证,选取检测率、虚警率、识别率3个指标进行定量评价。结果表明,本文方法相比于其他方法能有效排除云雾、海岛等多种因素的干扰,检测率、虚警率、识别率分别为93.63%、3.01%、90.09%,明显优于其他算法,能够实现大范围影像上多种类型舰船的快速准确检测和识别。结论 本文将图像视觉显著性检测快速获取图像显著目标的特点与卷积神经网络在图像分类的优势相结合,应用于遥感影像的海域舰船目标检测,能够实现对复杂背景下舰船目标的检测和船只类型的精细化识别。     

融入混合注意力的可变形空洞卷积 近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar,SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border detection)3种检测模型上,与原模型相比,对小型舰船的检测精度分别提高了3.5%、2.6%和2.9%,总体精度达到89.9%。在SSDD(SAR ship detection dataset)数据集上的总体精度达到95.9%,优于现有方法。结论 本文通过改进骨干网络,使模型能够改变卷积核形状和大小,集中获取目标信息,抑制背景信息干扰,有效降低了SAR图像近岸复杂背景下小型舰船的误检漏检情况。     

融合注意力机制和空洞卷积的滑坡图像检测

滑坡区域图像检测与识别在灾害范围识别、灾情数据分析和防灾减灾中具有丰富的应用和研究价值。本文针对滑坡图像滑坡体形状纹理的多样性,以及滑坡目标区域检测识别效果不够理想的问题,提出一种注意力机制CBAM与空洞卷积结合的目标检测方法。在传统的目标检测算法Faster R-CNN的基础上,将注意力机制模型添加到卷积神经网络层,通过空间注意力与通道注意力结合的CBAM模型来进行滑坡图像特征的提取,增加空洞卷积模块来加大感受野区域,提高神经网络对遥感图像区域中的滑坡目标识别、尺寸不规范等特点的学习能力,从而进一步提升滑坡目标区域的检测精度。实验结果表明,在传统的目标检测算法的基础上采用两者结合的方式进行检测,可提升滑坡遥感图像上目标检测的召回率和精确率,具有一定的有效性和鲁棒性。     

聚焦—识别网络架构的细粒度图像分类

目的 细粒度图像分类是指对一个大类别进行更细致的子类划分,如区分鸟的种类、车的品牌款式、狗的品种等。针对细粒度图像分类中的无关信息太多和背景干扰问题,本文利用深度卷积网络构建了细粒度图像聚焦—识别的联合学习框架,通过去除背景、突出待识别目标、自动定位有区分度的区域,从而提高细粒度图像分类识别率。方法 首先基于Yolov2（youonly look once v2）的网络快速检测出目标物体,消除背景干扰和无关信息对分类结果的影响,实现聚焦判别性区域,之后将检测到的物体（即Yolov2的输出）输入双线性卷积神经网络进行训练和分类。此网络框架可以实现端到端的训练,且只依赖于类别标注信息,而无需借助其他的人工标注信息。结果 在细粒度图像库CUB-200-2011、Cars196和Aircrafts100上进行实验验证,本文模型的分类精度分别达到84.5%、92%和88.4%,与同类型分类算法得到的最高分类精度相比,准确度分别提升了0.4%、0.7%和3.9%,比使用两个相同D（dence）-Net网络的方法分别高出0.5%、1.4%和4.5%。结论 使用聚焦—识别深度学习框架提取有区分度的区域对细粒度图像分类有积极作用,能够滤除大部分对细粒度图像分类没有贡献的区域,使得网络能够学习到更多有利于细粒度图像分类的特征,从而降低背景干扰对分类结果的影响,提高模型的识别率。     

多级卷积特征金字塔的细粒度食物图片识别

目的 食物图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,比普通细粒度图片的识别难度更大。目前在食物图片识别领域,食物图片的识别与分类仍存在精度低、泛化性差等问题。为了提高食物图片的识别与分类精度,充分利用食物图片的全局与局部细节信息,本文提出了一个多级卷积特征金字塔的细粒度食物图片识别模型。方法 本文模型从整体到局部逐级提取特征,将干扰较大的背景信息丢弃,仅针对食物目标区域提取特征。模型主要由食物特征提取网络、注意力区域定位网络和特征融合网格3部分组成,并采用3级食物特征提取网络的级联结构来实现特征由全局到局部的转移。此外,针对食物图片尺度变化大的特点,本文模型在每级食物特征提取网络中加入了特征金字塔结构,提高了模型对目标大小的鲁棒性。结果 本文模型在目前主流公开的食物图片数据集Food-101、ChineseFoodNet和Food-172上进行实验,分别获得了91.4%、82.8%、90.3%的Top-1正确率,与现有方法相比提高了1%~8%。结论 本文提出了一种多级卷积神经网络食物图片识别模型,可以自动定位食物图片区分度较大的区域,融合食物图片的全局与局部特征,实现了食物图片的细粒度识别,有效提高了食物图片的识别精度。实验结果表明,该模型在目前主流食物图片数据集上取得了最好的结果。     

基于概率图与视觉显著性的海面目标检测方法

针对基于视觉的传统海面目标检测算法在水面无人艇的自动避碰应用中存在检测精确率、召回率低以及对复杂场景的适应性不足的问题,提出一种基于概率图与视觉显著性的海面目标检测算法。首先利用概率图模型分割出原始图像中的海界限区域与海面孤立目标;然后针对海界限区域子图像特点,设计了一种基于方向抑制的梯度特征,并结合背景先验改进频率调谐显著图,利用特征融合的方法提取海界限区域的潜在目标。实验结果表明,该算法能够有效抑制云、飞鸟、海天线和海杂波的背景干扰。与传统方法相比,提出的方法具有更高的精确率与召回率,且满足无人艇自动避碰实时性的要求。     

区域建议网络的细粒度车型识别

目的 细粒度车型识别旨在通过任意角度及场景下的车辆外观图像识别出其生产厂家、品牌型号、年款等信息,在智慧交通、安防等领域具有重要意义。针对该问题,目前主流方法已由手工特征提取向卷积神经网络为代表的深度学习方法过渡。但该类方法仍存在弊端,首先是识别时须指定车辆的具体位置,其次是无法充分利用细粒度目标识别其视觉差异主要集中在关键的目标局部的特点。为解决这些问题,提出基于区域建议网络的细粒度识别方法,并成功应用于车型识别。方法 区域建议网络是一种全卷积神经网络,该方法首先通过卷积神经网络提取图像深层卷积特征,然后在卷积特征上滑窗产生区域候选,之后将区域候选的特征经分类层及回归层得到其为目标的概率及目标的位置,最后将这些区域候选通过目标检测网络获取其具体类别及目标的精确位置,并通过非极大值抑制算法得到最终识别结果。结果 该方法在斯坦福BMW-10数据集的识别准确率为76.38%,在斯坦福Cars-196数据集识别准确率为91.48%,不仅大幅领先于传统手工特征方法,也取得了与目前最优的方法相当的识别性能。该方法同时在真实自然场景中取得了优异的识别效果。结论 区域建议网络不仅为目标检测提供了目标的具体位置,而且提供了具有区分度的局部区域,为细粒度目标识别提供了一种新的思路。该方法克服了传统目标识别对于目标位置的依赖,并且能够实现一图多车等复杂场景下的车型细粒度识别,具有更好的鲁棒性及实用性。     

改进YOLOX网络的轴承缺陷小目标检测方法

针对深度学习模型在工业轴承表面缺陷检测中多目标情形下的小目标漏检率高、模型特征融合不充分的问题,基于YOLOX提出一种多注意力特征加权融合的小目标缺陷检测算法。在骨干网络引入特征提取更加细粒度的Res2Block模块,同时嵌入自注意力机制,增加隐性小目标的区域特征,减少漏检率;设计内嵌坐标注意力并作为加权条件的双路金字塔特征融合网络,提升浅层细节特征和深层高级语义特征的交互融合能力;后处理阶段引入Focal Loss损失函数,增加模型对正样本目标的学习,进一步减少漏检率。实验结果表明,与原YOLOX算法相比,改进算法在自制小型列车轴承表面缺陷数据集上mAP提高了4.04个百分点,对小目标的识别率明显提升。     

遥感图像中复杂海面背景下的海上舰船检测

针对遥感图像中复杂海面背景下海上舰船的检测问题展开讨论,在Itti视觉显著度模型的基础之上进行改进,提出一种基于特征显著度图的复杂海面上舰船的自动检测方法,解决了传统的阈值分割方法在遥感图像复杂海面背景下较难将目标与背景分离的问题.在多种不同复杂海面背景下的舰船检测实验中,与传统阈值分割方法比较,本文方法有较高的检测率和较低的虚警率.     

复杂背景下SAR近岸舰船检测

目的 船舶在合成孔径雷达（synthetic aperture radar, SAR）图像中的检测是研究热点,但目前适合近岸舰船检测的方法并不多。在SAR图像中,近岸舰船受到岸上建筑物的干扰严重,尤其是对于排列紧密的近岸船舶来说,其对比度相似,很难区分船舶与背景。为解决近岸舰船检测困难问题,提出了一种基于加权双向注意金字塔网络的近岸舰船检测方法。方法 本文在FCOS （fully convolutional one-stage）网络的基础上提出了一种新的双向特征金字塔网络。将卷积注意力机制模块（convolutional block attention module,CBAM）与金字塔网络的每个特征图进行连接,提取丰富的语义信息特征;借鉴PANet （path aggregation network）的思想,添加自下而上的金字塔模块,突出不同尺度船舶的显著特征。最后提出了一种加权特征融合方式,使特征图提取的特征信息的着重点不同,提高舰船检测精度。结果 本文在公开的SAR图像舰船数据集SSDD （SAR ship detection dataset）上进行实验。实验结果表明,相比原FCOS方法,本文方法的检测精度提高了9.5%;与对比方法相比,本文方法在同等条件下的检测精度达到90.2%。在速度方面,本文方法比SSD提高0.6 s,比Faster R-CNN （region convolutional neural network）提高1.67 s,明显优于对比方法。结论 本文通过改进特征网络和特征融合方式,提高了算法对SAR图像舰船目标检测中背景复杂、排列紧密的近岸舰船目标的定位效果,有效增强了对舰船目标定位的准确性。     

基于帧差分块的混合高斯背景模型

针对混合高斯背景模型计算量过大、对复杂场景的适应能力较差等问题,提出了一种基于帧差分块和自适应学习率的混合高斯背景模型改进算法。引入分块模型思想,有效结合了像素的空域信息;根据帧间差分结果,判断可疑前景区域和背景区域,提高了检测灵敏度;针对前景可疑区域采用复杂模型,保证运动目标检测的精度,反之采用简单模型降低计算量;通过自适应学习率,加速背景的形成与消退。实验结果证明该算法较好地兼顾了检测精度和计算代价。     

基于语义信息跨层特征融合的细粒度鸟类识别

有效识别各种鸟类目标具有重要的生态环境保护意义。针对不同种类鸟类之间差别细微、识别难度大等问题,提出一种基于语义信息跨层特征融合的细粒度鸟类识别模型。该模型由区域定位网络、特征提取网络和一种跨层特征融合网络(Cross-layer Feature Fusion Network,CFF-Net)组成。区域定位网络在没有局部语义标注的情况下,自动定位出局部有效信息区域;特征提取网络提取局部区域图像特征和全局图像特征;CFF-Net对多个局部和全局特征进行融合,提高最终分类性能。结果表明,该方法在Caltech-UCSD Birds200-2011(CUB200-2011)鸟类公共数据集上,取得了87.8%的分类准确率,高于目前主流的细粒度鸟类识别算法,表现出优异的分类性能。     

多特征融合红外舰船尾流检测方法研究

针对舰船热尾流红外图像易受海杂波干扰、对比度偏低,传统方式无法对其进行识别的问题,提出一种基于Gabor滤波组和局部信息熵特征融合的红外舰船尾流检测算法。首先,应用灰度共生矩阵计算尾流与海面背景的对比度,判断该区域是否存在舰船尾迹,并提取出感兴趣区域以提高算法后续处理速度;其次,将多方向Gabor滤波器和局部信息熵两种纹理进行特征融合,实现舰船尾流特征增强;最后,经阈值分割、Hough变换实现红外舰船尾迹检测。实验结果表明,该方法能够有效地保留舰船尾流的纹理特征和细节,准确地提取完整的尾流边缘,从而大大提高检测率。     

复杂场景下遥感船舶的检测与分割定位

遥感图像船舶识别是目标识别的一个重要领域,在海防和救援方面具有重大应用价值.但遥感图像中的船舶普遍存在云雾遮挡、陆地背景干扰和体积小等因素所造成的识别难的问题.为了能准确识别复杂场景下船舶目标,在网络的特征提取部分加入了视觉注意机制,增强网络提取船舶特征信息的能力;并采用多级特征提取和去量化操作的学习方法来解决船舶体积小的问题;采用难样本重学习的学习策略来弱化云雾遮挡和陆地背景的干扰.通过上述方法,船舶识别的综合准确率达到了92.56%,召回率达到了89.26%,与相同实验环境(PyTorch)下其他常见目标检测算法相比,精确率和召回率都有明显提升.实验结果表明,文中方法在一定程度上解决了复杂场景下船舶分割和识别难的问题.实验中所使用代码和部分结果详见https://github.com/curioyang/First_paper.     

基于细粒度词表示的命名实体识别研究

命名实体识别(NER)是自然语言处理中的一项基础任务,其性能的优劣极大地影响着关系抽取、语义角色标注等后续任务。传统的统计模型特征设计难度大、领域适应性差,一些神经网络模型则忽略了词本身所具有的形态学信息。针对上述问题,该文构建了一种基于细粒度词表示的端到端模型(Finger-BiLSTM-CRF)来进行命名实体识别任务。该文首先提出一种基于注意力机制的字符级词表示模型Finger来融合形态学信息和单词的字符信息,然后将Finger与BiLSTM-CRF模型联合进行实体识别,最终该方法以端到端、无任何特征工程的方式在CoNLL 2003 数据集上取得了F₁为91.09%的结果。实验表明,该文设计的Finger模型显著提升NER系统的召回率,从而使得模型的识别能力显著提升。     

局部显著特征下的光学遥感图像舷靠舰船检测

目的 在光学遥感图像中,针对舷靠舰船灰度和纹理特征与港口相近,传统方法检测效果不理想的问题,提出一种基于局部显著特征的舷靠舰船检测方法。方法 首先,对原始图像预处理得到海陆分割后的二值图像;然后,提取二值图像中的直线段作为局部显著特征检测舰船目标;再将直线段提取结果与舰首检测相结合,建立舷靠舰船检测模型;最后,通过计算舰船几何尺寸及环境信息分析确定舰船目标。结果 在两幅不同场景的光学遥感图像中验证本文方法并与其他算法进行对比,本文方法识别率可达100%,且不存在误检和漏检情况,相比于其他算法具有一定优势。在舰船背景复杂或停泊朝向不定时,文中方法可有效判别舰船停靠方向并对舰船目标进行正确标记。结论 在复杂背景环境及其他干扰下,应用本文方法检测舷靠舰船目标准确率高,鲁棒性强,具有较高适应性。     

SAR图像中海上舰船目标自动检测新方法

针对中分辨率近岸海域SAR图像,结合已有的舰船检测算法,提出了一种新的海上舰船目标自动检测方法。该方法先根据相应的抽取算法和图像数据映射准则,分离图像中的海洋和陆地区域,并结合最大熵分割法提取海洋背景中包含候选目标的感兴趣区域,最后利用特征匹配方法检测出真正的舰船目标。对50多幅SAR图像进行了试验,其结果表明该方法能自动、快速、准确地检测出图像中舰船目标。     

基于数据合成和度量学习的台标检测与识别

台标是视频的重要语义信息,其检测与识别面临类别多、结构复杂、区域小、信息量低、背景干扰大等难题.为提高模型的泛化能力,本文提出将台标图像叠加到背景图像中合成台标数据,来构建训练数据集.进一步,我们提出两阶段可伸缩台标检测与识别（scalable logo detection and recognition,SLDR）方法,其采用batch-hard度量学习方法快速训练匹配模型,确定台标类别.SLDR的检测与识别分离机制使得其可将检测目标扩展到未知类别.实验结果表明,合成数据可以有效提升模型的泛化能力和检测精度.实验亦显示SLDR方法在不更新检测模型的情况下,即可获得与端到端模型相当的精度.