基于改进的Mask R-CNN的鱼类识别算法研究

水下鱼类是重要的地球生物资源。针对现有的深度学习模型在水下鱼类图像识别场景中识别效果不佳的问题,提出了一种基于改进的Mask R-CNN的鱼类识别算法模型。首先,采用深度残差网络和特征金字塔结构对水下鱼类图像进行特征提取;其次,选用区域候选网络针对特征图生成感兴趣区域;然后,通过改进的Soft NMS算法对感兴趣区域进行后处理以减少对鱼类目标候选框的误检率;最后,在头部网络中添加级联结构对特征区域进行微调以提升鱼类识别精度。在Fish4knowledge数据集上的对比实验结果表明,改进的鱼类识别算法的平均精度均值为87.4%,相对于基线算法模型精度提升了3.6%。所提算法能够有效提高水下鱼类识别精度,同时减少误检率,提升泛化性能,对我国水下鱼类资源的开发利用具有重要的学术价值和经济价值。     

基于深度神经网络损失函数融合的文本检测

针对基于传统深度神经网络的自然场景文本检测存在检测效果较差、文本边界框检测不准确等缺陷,提出基于损失函数融合的深度神经网络。将损失函数Balanced loss,利用加权的方法与传统深度神经网络进行融合,用于提高文本框边界区域及图像中难检测像素点的损失值,从而约束模型的优化方向,提升模型学习复杂特征的能力。实验结果表明,在自然场景文本检测中所提出方法有效提高了网络的检测准确性。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型，现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中，由于新类别样本数量少，产生了许多无关的边界框，导致候选区域的准确率较低。为了解决这个问题，提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强，对新类别样本进行补充，扩大样本的覆盖范围，同时引入FPN网络进行多尺度特征提取，再对RPN网络进行改进，引入支持集图像分支，计算支持集图像特征与查询集图像特征的深度互相关性，得到注意力特征图，进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证，实验结果表明，该方法获得了更精准的候选框，进而提升了检测精度。     

基于优化候选区域的战场目标检测研究

针对Faster R-CNN算法对战场小型目标和遮挡目标的检测存在耗时且检测精度低的问题,提出基于优化候选区域的Faster R-CNN算法.算法使用改进的区域提取网络(Region Proposal Networks,RPN)提取候选区域并通过误差比较的方法优化候选区域,同时,引入排斥损失来优化遮挡目标的候选区域.优化后的候选区域和特征图进入检测网络,完成目标的分类和位置回归.在坦克装甲目标数据集上进行实验,结果表明:与传统检测算法相比,所提算法在检测速率和平均精度方面的性能更优.     

改进的YOLOv5烟雾检测模型

针对烟雾发生场景复杂，小目标烟雾检测困难的问题，提出一种改进的YOLOv5烟雾检测模型。为了增加模型对目标烟雾的检测精度，结合加权双向特征金字塔网络（BiFPN）结构对特征融合过程进行修改，并在通道和空间维度上加入混合注意力机制对融合特征图的权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更高的鲁棒性；使用α-CIOU替换G-IOU作为预测框回归损失，提升预测框的预测精度；剔除分类损失以降低模型的复杂度。实验结果表明，改进后的YOLOv5烟雾检测模型相比于YOLOv5模型检测精度更高，其准确率达到99.35%，召回率达到99.18%，并且检测速度可达46 frame/s，该算法能有效提取烟雾的整体特征，对于复杂场景下的烟雾以及小目标烟雾检测任务更为适用。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

改进的基于YOLOv3的人脸检测算法

针对因背景与人脸高度相似和人脸目标尺度过小而导致的人脸检测精度较低的问题,提出了一种改进的基于YOLOv3的人脸检测算法。首先使用遗传算法改进原算法中随机初始化的影响,生成更符合目标大小的预测框,其次用轻量级网络改进原特征提取网络,提高人脸检测速度,最后使用边框回归损失代替YOLOv3坐标损失函数并改进置信度损失函数以提升训练收敛速度和结果精度。所设计的算法模型在Wider Face数据集上的检测精度和速度得到了提升。     

面向驾驶场景的多尺度特征融合目标检测方法

针对驾驶场景中目标检测卷积神经网络模型检测精度较低的问题,提出一种基于改进RefineDet网络结构的多尺度特征融合目标检测方法。在RefineDet网络结构中嵌入LFIP（Light-weight Featurized Image Pyramid,轻量级特征化的图像金字塔）网络,将LFIP网络生成的多尺度特征图与RefineDet中的ARM（Anchor Refinement Module,锚点框修正模块）输出的主特征图相融合,提升特征层中锚点框初步分类和回归的输出效果,为ODM（Object Detection Module,目标检测模块）模块提供修正的锚点框以便于进一步回归和多类别预测;在RefineDet网络结构中的ODM之后嵌入多分支结构RFB（Receptive Field Block,感受野模块）,在检测任务中获得不同尺度的感受野以改善主干网络中提取的特征。将模型中的激活函数替换为带有可学习参数的非线性激活函数PReLU（Parametric Rectified Linear Unit,参数化修正线性单元）,加快网络模型的收敛速度;将RefineDet的边界框回归损失函数替换为排斥力损失函数Repulsion Loss,使目标检测中的某预测框更靠近其对应的目标框,并使该预测框远离附近的目标框及预测框,可以提升遮挡情况下目标检测的精度;构建驾驶视觉下的目标检测数据集,共计48 260张,其中38 608张作为训练集,9 652张作为测试集,并在主流的GPU硬件平台进行验证。该方法的mAP为85.59%,优于RefineDet及其他改进算法;FPS为41.7 frame/s,满足驾驶场景目标检测的应用要求。实验结果表明,该方法在检测速度略微下降的情况,能够较好地提升驾驶视觉下的目标检测的精确度,并能够一定程度上解决驾驶视觉下的遮挡目标检测和小目标检测的问题。     

基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法。所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络。其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度。最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统。实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。     

基于改进Mask R-CNN的越南场景文字检测

针对越南场景文字检测训练数据缺乏及越南文字声调符号检测不全的问题,在改进的实例分割网络Mask R-CNN的基础上,提出一种针对越南场景文字的检测算法。为了准确地分割带声调符号的越南场景文字,该算法仅使用P2特征层来分割文字区域,并将文字区域的掩码矩阵大小从14×14调整为14×28以更好地适应文字区域。针对用常规非极大值抑制（NMS）算法不能剔除重复文字检测框的问题,设计了一个针对文字区域的文本区域过滤模块并添加在检测模块之后,以有效地剔除冗余检测框。使用模型联合训练的方法训练网络,训练过程包含两部分：第一部分为特征金字塔网络（FPN）和区域生成网络（RPN）的训练,训练使用的数据集为大规模公开的拉丁文字数据,目的是增强模型在不同场景下提取文字的泛化能力;第二部分为候选框坐标回归模块和区域分割模块的训练,此部分模型参数使用像素级标注的越南场景文字数据进行训练,使模型能对包括声调符号的越南文字区域进行分割。大量交叉验证实验和对比实验结果表明,与Mask R-CNN相比,所提算法在不同的交并比（IoU）阈值下都具有更好的准确率与召回率。     

景区行人检测YOLOv5-GSPE算法模型研究与实现

针对景区内高密度行人检测中遮挡与小目标行人漏检率高、模型复杂度高、计算量大的问题,提出一种YOLOv5-GSPE改进算法模型,在保证精度的同时改善检测效果,降低模型复杂度。改进算法模型通过GhostConv优化主干网络中常规卷积(Conv)降低模型复杂度,并使用空洞卷积改善SPPF模块中池化操作带来的特征信息丢失,提升模型检测时效性,增强主干网络特征提取。提出一种增强的特征金字塔网络—PrFPN,使用同层连接进一步丰富原始输入特征的融合,减少特征提取过程中的特征损失。将引入正态分布计算优化后的EIoU损失函数作为边界框回归损失函数,提高边界框定位精度。实验结果表明,YOLOv5-GSPE算法模型对比YOLOv5s模型在保证检测时效性的情况下整体复杂度降低了12.51%,基于Pedestrian测试集的平均精度提升4.05%,基于WiderPerson测试集的平均精度提升3.28%,并降低了行人遮挡及小目标漏检率,改善了检测效果,该模型的可行性与有效性得到验证。     

嵌入注意力机制的自然场景文本检测方法

针对自然场景文本检测中存在的文本检测信息缺失、漏检的问题,提出了嵌入注意力机制的自然场景文本检测方法。利用Faster-RCNN目标检测网络和特征金字塔网络（FPN）作为基本框架;在区域建议网络（RPN）中嵌入注意力机制并依据文本的特点改进锚点（anchor）的设置,精确了文本候选区域;重新设定损失函数的作用范围。实验结果表明,该方法有效地保证文本检测信息的完整性,较之现有方法明显地提高了文本检测的召回率和准确率,能够应用于文本检测的实际任务中。     

面向特征融合的图像多窜改检测与定位算法

现有的图像窜改检测方法大多只针对某一种窜改方式,且存在窜改区域边界检测精度不高的问题,对此,提出了一种基于U型网络的双流编码器—解码器架构的图像窜改检测方法。首先利用编码器与解码器之间跳跃连接的方式来融合窜改图像中的低级和高级特征,并使用空洞卷积和CBAM注意力机制对编码器输出的特征进行融合,使得网络对不同尺度大小的窜改区域都有较好的定位性能;其次为了提高网络对窜改区域的边界检测精度,使用图像形态学方法制作了窜改边界数据集;最后使用多损失函数来同时优化网络的性能,即采用交叉熵和均方根损失函数来分别度量预测图的窜改区域损失和窜改边界损失。在CASIA、Columbia、NIST16、Coverage四个公开数据集上的实验结果表明,所提方法可以有效地检测出拼接和复制—粘贴两种窜改方式所伪造图像的窜改区域,输出像素级别的窜改区域定位图,且与其他主流窜改检测方法相比,所提方法在CASIA和Columbia数据集上的AUC值达到最高,在Columbia数据集上的F1值达到最高。     

基于卷积神经网络的多尺度Logo检测算法

针对自然场景图像中多尺度Logo的检测需求,提出了一种基于卷积神经网络的多尺度Logo检测算法。该算法基于两阶段目标检测的实现思路,通过构建特征金字塔并采取逐层预测的方式实现多尺度候选区域的生成,通过融合卷积神经网络中的多层特征图以增强特征的表达能力。在FlickrLogos-32数据集上的实验结果显示,相比基线方法,所提算法能够提升生成候选区域的召回率,并且在保证大中尺度 Logo 检测精度的前提下,提升小尺度Logo的检测性能,验证了所提算法的优越性。     

基于多尺度注意力机制的场景文本擦除

自然场景文本擦除技术可应用在图像通信中的隐私保护、图像编辑等领域,然而现阶段的场景文本擦除在面对背景复杂、文本尺度变化较大的场景图像时,难以提取鲁棒的文本特征,出现文本检测不全、背景修复不完整等问题.针对上述问题,文中提出基于多尺度注意力机制的场景文本擦除框架.该框架主要由背景修复网络和文本检测网络共同组成,它们共享一个主干网络.在背景修复网络中,设计纹理自适应模块,从原始特征的通道和空间两个维度进行特征编码,自适应地集成局部特征与全局特征,有效修复因重构文本区域而导致的阴影部分.在文本检测网络中,设计上下文感知模块,学习图像中文本区域和非文本区域之间的判别关系,有效区分文本区域和非文本区域,提升文本检测的效果.此外,为了增强网络的感受野,改进不同尺度文本的擦除效果,提出多尺度特征损失函数,同时优化背景修复网络和文本检测网络.SCUT-SYN、SCUT-EnsText数据集上的实验表明,文中框架可取得较优的文本擦除性能.     

层级语义融合的场景文本检测

目的 场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此问题,提出了一种层级语义融合的场景文本检测算法。方法 该方法包括基于文本片段的局部语义理解模块和基于文本实例的全局语义理解模块,以分别引导网络关注文字局部和文字实例间的多层级语义信息。首先,基于文本片段的局部语义理解模块根据相对位置将文本划分为多个片段,在细粒度优化目标的监督下增强网络对局部语义的感知能力。然后,基于文本实例的全局语义理解模块利用文本片段粗分割结果过滤背景区域并提取可靠的文字区域特征,进而通过注意力机制自适应地捕获任意形状文本的全局语义信息并得到最终分割结果。此外,为了降低边界区域的预测噪声对层级语义信息聚合的干扰,提出边界感知损失函数以降低边界区域特征的歧义性。结果 算法在3个常用的场景文字检测数据集上实验并与其他算法进行了比较,所提方法在性能上获得了显著提升,在Totoal-Text数据集上,F值为87.0%,相比其他模型提升了1.0%;在MSRA-TD500（MSRA text detection 500 database）数据集上,F值为88.2%,相比其他模型提升了1.0%;在ICDAR 2015（International Conference on Document Analysis and Recognition）数据集上,F值为87.0%。结论 提出的模型通过分别构建不同层级下的语义上下文和对歧义特征额外的惩罚解决了层级语义提取不充分的问题,获得了更高的检测精度。     

基于雷达与图像数据融合的人体目标检测方法

三维人体目标检测在智能安防、机器人、自动驾驶等领域具有重要的应用价值。目前基于雷达与图像数据融合的三维人体目标检测方法主要采用两阶段网络结构,分别完成目标概率较高的候选边界框的选取以及对目标候选框进行分类和边界框回归。目标候选边界框的预先选取使两阶段网络结构的检测准确率和定位精度得到提高,但相对复杂的网络结构导致运算速度受到限制,难以满足实时性要求较高的应用场景。针对以上问题,研究了一种基于改进型RetinaNet的三维人体目标实时检测方法,将主干网络与特征金字塔网络结合用于雷达点云和图像特征的提取,并将两者融合的特征锚框输入到功能网络从而输出三维边界框和目标类别信息。该方法采用单阶段网络结构直接回归目标的类别概率和位置坐标值,并且通过引入聚焦损失函数解决单阶段网络训练过程中存在的正负样本不平衡问题。在KITTI数据集上进行的实验表明,本文方法在三维人体目标检测的平均精度和耗时方面均优于对比算法,可有效实现目标检测的准确性和实时性之间的平衡。     

基于特征图关注区域的目标检测对抗攻击方法

目标检测在无人驾驶、监控安防等领域应用广泛，但研究发现目标检测系统易受对抗样本影响导致性能下降，对其应用安全造成了巨大危险。当前的目标检测对抗攻击方法大多针对某一类目标检测模型进行攻击，普遍存在迁移能力弱的问题。为解决上述问题，基于生成对抗网络提出了一种目标检测对抗攻击方法，该方法针对检测模型中常用的非极大值抑制机制和检测模型的特征图关注区域设计了位置回归攻击损失，通过该损失优化攻击，能够使模型的非极大值抑制机制失效，引导生成的候选框偏离预测的关注区域，导致模型预测失败。在VOC数据集上进行实验，该方法能够有效攻击Faster-RCNN、SSD300、SSD512、Retinanet、YOLOv5、One-Net等多种类型的目标检测模型，有效提升了目标检测攻击方法的迁移能力。     

基于改进YOLOv5的车辆端目标检测

在自动驾驶应用场景下,将YOLOv5应用于目标检测中,性能较之前版本有明显的提升,但在高运行速度情况下检测精度仍不够高,本文提出一种基于改进YOLOv5的车辆端目标检测方法.为解决训练不同数据集时需手动设计初始锚框大小,引入自适应锚框计算.在主干网络(backbone)添加压缩与激励模块(squeeze and excitation,SE),筛选针对通道的特征信息,提升特征表达能力.为了提升检测不同大小物体时的精度,将注意力机制与检测网络融合,把卷积注意力模块(convolutional block attention module, CBAM)与Neck部分融合,使模型在检测不同大小的物体时能关注重要的特征,提升特征提取能力.在主干网络中使用空间金字塔池化SPP模块,使得模型输入可以输入任意图像高宽比和大小.在激活函数方面,进行卷积操作后使用Hardswish激活函数,应用于整个网络模型.在损失函数方面,使用CIoU作为检测框回归的损失函数,改善定位精度低和训练过程中目标检测框回归速度慢的问题.实验结果表明,改进后的检测模型在KITTI 2D数据集上测试,目标检测的精确率(preci...     

基于边界极限点特征的改进YOLOv3目标检测

目标数量多、尺度较小与高度重叠等问题导致目标检测精度低、难度大。为提升目标检测精度,尽可能避免漏检、误检情况,提出一种基于边界极限点特征的改进YOLOv3目标检测算法。首先,引入边界增强算子Border,从边界的极限点中自适应地提取边界特征来增强已有点特征,提高目标定位准确度;然后,增加目标检测尺度,细化特征图,增强特征图深、浅层语义信息的融合,提高目标检测精度;最后,基于目标检测中目标实例特性及改进网络模型,引入完全交并比（CIoU）函数对原YOLOv3损失函数进行改进,提高检测框收敛速度以及检测框召回率。实验结果表明,相较于原YOLOv3目标检测算法,改进后的YOLOv3目标检测算法的平均精度提高了3.9个百分点,且检测速度与原算法相近,能有效提高模型对目标的检测能力。