基于改进YOLOv8的交通标志检测算法

目前交通标志检测在自动驾驶和辅助驾驶等智能驾驶中扮演着重要的角色,其性能的好坏影响着车辆行驶的安全。针对交通标志图像背景复杂和检测目标小等问题,提出了一种基于改进YOLOv8的交通标志检测算法。首先使用全局注意力模块,通过引入空间注意力和通道注意力机制,对输入特征图进行全局关注,有效捕捉输入特征图的全局上下文信息,对特征图在通道和空间维度上进行加权,使模型能够更加关注图像中的交通标志,避免干扰信息的影响,提高网络检测精度;其次引入幻影卷积替换原网络中的普通卷积,减小网络模型体积的同时提高模型的检测速度;最后增加一个小目标检测层,保留特征图更多浅层细节信息,提高网络对小尺寸交通标志的检测能力。实验结果表明,改进后的算法在精确率、召回率和平均精确率上相比于原算法分别提升2.6%、1.1%和1.5%,检测速度满足实时性要求。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

改进Mask RCNN的焊缝缺陷检测

焊接缺陷检测是焊接行业的一项重要工作,利用X射线焊缝缺陷图像进行缺陷检测是焊接无损检测的重要手段。为实现对缺陷的自动识别和定位,结合缺陷的具体特征提出了一种改进的Mask RCNN实例分割网络实现对图像进行缺陷检测和分割。该方法在原有网络的基础上通过采用变形卷积更好地提取不规则形状缺陷特征信息,引入空洞卷积加强高层特征的感受野,在局部图像中融合全局图像信息使局部图像获取上下文信息,利用迁移学习和数据增强降低对训练数据的需求,提升检测和分割精度。最终,通过对焊缝X射线数据集上进行实验,验证改进的Mask RCNN模型与原始Mask RCNN模型以及Faster RCNN模型等模型进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的Mask RCNN模型可以更好的适用于焊缝缺陷检测中。     

基于密集双流聚焦网络的肺炎辅助诊断模型

X光片对肺炎疾病的诊断具有重要作用,但其成像时易受噪声污染,导致肺炎疾病的影像学特征不明显和病灶特征提取不充分。针对上述问题,提出密集双流聚焦网络DDSF-Net的肺炎辅助诊断模型。首先设计残差多尺度块,利用多尺度策略提高网络对医学影像中不同尺寸肺炎病灶的适应性,采用残差连接提高网络参数的传递效率;然后设计双流密集块,采用全局信息流和局部信息流并行结构的密集单元,其中Transformer对全局上下文语义信息进行学习,卷积层进行局部特征提取,利用密集连接方式实现两种信息流的深浅层特征融合;最后,设计具有中心注意操作和邻近插值操作的聚焦块,利用裁剪医学影像尺寸来过滤背景噪声信息,利用插值对医学图像进行放大,增强病灶的细节特征。在肺炎X光片数据集中与典型模型进行对比,本文模型的准确率、精确率、召回率、F1,AUC值和训练时间分别为98.12%,98.83%,99.29%,98.71%,97.71%和15 729 s,准确率和AUC值较密集网络分别提升了4.89%和4.69%。DDSFNet能够有效缓解肺炎影像学特征不明显和病灶特征提取不充分的问题,通过热力图和三份公共数据集进一步验证了本文...     

融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。     

基于LGF-Net的全天候轨道入侵异物智能检测系统

针对轨道入侵异物为行车安全带来巨大威胁,而现有的轨道目标检测模型检测精度和速度难以平衡、复杂轨道环境中多尺度目标检测鲁棒性差等问题,提出了一种全天候高精度实时多尺度轨道入侵异物检测模型。该模型通过使用双分支结构和线性特征变换提升模型的特征提取速度;通过改进Transformer结构使轻量型模型能够建模全局上下文信息;通过设计高丰富度特征融合结构和轻量型注意力机制进一步提升模型的多尺度目标检测能力。此外,本文将该模型进行嵌入式移植并研制智能检测系统。实验结果表明,本文所提出的模型在实际轨道场景采集的数据集中检测精度和速度分别为94.93%和132 fps,比YOLOv5s高3.09%,能够满足在复杂轨道场景中高精度实时检测多尺度入侵异物的应用需求。     

结合残差收缩和时空上下文的行为检测网络

针对R-C3D行为检测网络特征提取冗余度高及边界定位不准确的问题,结合残差收缩结构和时空上下文,提出一种改进的行为检测网络（RS-STCBD）。首先,将收缩结构和软阈值化操作融入到3D-ResNet的残差模块中,设计通道自适应阈值的残差收缩单元（3D-RSST）,并级联多个3D-RSST单元构建特征提取网络以消除行为特征中的噪声、背景等冗余信息;然后,在时序候选子网中嵌入多层卷积替代一次卷积,以增加时序侯选片段的时序维度感受野;最后,在行为分类子网引入非局部注意力机制,通过捕获优质行为时序片段间的远程依赖以获取动作时空上下文信息。在THUMOS14和ActivityNet1.2数据集上的实验结果表明：改进网络的mAP@0.5分别达到36.9%和41.6%,比R-C3D方法提升了8.0%和14.8%。基于改进网络的行为检测方法提高了动作边界定位精度和行为分类准确率,有利于改善自然场景下的人机交互质量。     

面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络

针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战，提出了端到端的轻量化深度全局-局部知识蒸馏（Lightweight Deep Global-Local Knowledge Distillation,LDGLKD）网络。为探索空-谱特征的全局序列属性，教师模型视觉Transformer(Vision Transformer,ViT)被用来指导轻量化学生模型进行高光谱影像场景分类。LDGLKD选择预训练的VGG16作为学生模型来提取局部细节信息，将ViT和VGG16通过知识蒸馏协同训练后，教师模型将所学习到的远程上下文关系向小规模学生模型进行传递。LDGLKD可通过知识蒸馏结合上述两种模型的优点，在欧比特高光谱影像场景分类数据集OHID-SC及公开的高光谱遥感图像数据集HSRS-SC上的最佳分类精度分别达到91.62%和97.96%。实验结果表明：LDGLKD网络具有良好的分类性能。根据欧比特珠海一号卫星提供的遥感数据构建的OHID-SC可以反映详细的地表覆盖情况，并为高光谱场景分类任务提供数据支撑。     

结合多尺度上下文信息的唐卡小样本目标检测

通过对图像中感兴趣的对象进行分类与定位,能够帮助人们理解唐卡图像丰富的语义信息,促进文化传承。针对唐卡图像样本较少,背景复杂,检测目标存在遮挡,检测精度不高等问题,本文提出了一种结合多尺度上下文信息和双注意力引导的唐卡小样本目标检测算法。首先,构建了一个新的多尺度特征金字塔,学习唐卡图像的多层级特征和上下文信息,提高模型对多尺度目标的判别能力。其次,在特征金字塔末端加入双注意力引导模块,提升模型对关键特征的表征能力,同时降低噪声的影响。最后利用Rank&Sort Loss替换交叉熵分类损失,简化模型训练的复杂度并提升检测精度。实验结果表明,所提出的方法在唐卡数据集和COCO数据集上的10-shot实验中,平均检测精度分别达到了19.7%和11.2%。     

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测（PS-TOD）模型。设计了一个基于位置通道嵌入三维注意力（PCE3DA）的多尺度特征融合（MSFF）模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力（PSSA）机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型（DETR）相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。     

采用空间注意力机制的红外弱小目标检测网络

红外弱小目标检测被广泛应用于预警、制导等国防领域中。然而,红外弱小目标所占像素少、缺少形状特征和纹理特征,使得红外弱小目标检测成为一个具有挑战性的课题。针对红外弱小目标检测,提出了一种简单高效的实时红外弱小目标检测网络。检测网络利用自适应感受野融合模块来增加小目标周围的上下文信息,并通过引入空间注意力机制来建立不同区域之间的相关性模型,使不同区域之间的相关性和紧凑性得到加强。为了提高检测网络对目标的定位和正负样本的判别能力,分别利用GIOU loss和Focal loss来设计损失函数。在3个红外弱小目标序列和单帧红外图像上进行实验,检测网络分别取得了91.62%,71.54%,81.77%和90.67%的AP值,且检测速度接近165 FPS。实验结果表明,该红外弱小目标检测网络对复杂背景和低信噪比条件下的红外弱小目标具有较好的检测效果。     

联合线性引导与网格优化的混凝土裂缝分割

针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题,提出一种联合线性引导和网格优化的裂缝分割模型。首先,在主干网络中引入多分支线性引导模块,通过自适应单维度池化增强网络对裂缝线性结构的表达能力,让不同区域的裂缝建立联系,增强全局上下文信息感知能力,提高网络分割精度;然后,提出网格细节优化模块,通过分区-优化-合并三步骤,将整个空间域划分为若干个空间网格,提取空间网格中的细微裂缝信息,防止细微裂缝漏分;最后,在主干网络的跳跃连接处嵌入混合注意力模块,在空间和通道双维度突出裂缝特征,减少背景干扰。在Deepcrack537,Crack500和CFD裂缝数据集上,所提模型的IoU值分别达到77.07%,58.96%和56.55%,F1-score值分别达到87.05%,74.19%和72.24%,明显优于大多数现有方法,具有更高的分割精度。     

特征点辅助的时空上下文目标跟踪与定位

针对动态目标跟踪中快速运动和目标遮挡而跟踪失败问题,提出了一种特征点辅助的时空上下文跟踪算法。首先提取目标特征点,通过特征点匹配和光流跟踪方法进行目标追踪,获得目标预估位置;其次,建立特征点变化率和时空上下文模型更新率关系模型,实时调控更新率,防止引入错误信息;最后,在预估位置区域内,构建局部上下文外观模型,计算与时空上下文模型的相关性获取置信图,进一步精确定位目标。算法在一组测试视频集中进行验证,相比目前4种主流算法(平均跟踪成功率最高为60%,平均跟踪误差最小为26.14 pixel),本算法综合性能达到最优,平均跟踪成功率为90%,平均跟踪误差为7.47 pixel,平均跟踪速率25.31 f/s。在双目视觉移动机器人平台上对随机运动目标进行跟踪实验,在背景干扰、遮挡、目标旋转和快速运动等组合情况下,跟踪成功率97.4%,跟踪距离平均相对误差为4.05%。     

基于形变卷积和深层聚合网络的水下文物检测

搭载有视觉检测系统的自主水下航行器(AUV)具有水下文物探测功能,对深海考古有着重要意义。 水下文物所处环境复 杂多变,目标存在破损、堆叠和泥沙掩埋等情况,导致判别特征提取困难,使得 AUV 视觉检测系统无法可靠、准确地实现水下文物 的检测。 针对上述问题,提出一种基于可形变深层聚合网络模型的水下文物检测算法。 为了充分提取复杂环境下水下文物目标 特征信息,设计了具有可形变卷积层的多尺度深层聚合网络。 在此基础上,引入 SimAM 注意力模型进行特征优化,来增强文物目 标潜在特征信息并削弱背景干扰。 最后,通过不同尺度的特征融合实现水下文物检测。 在采集的水下文物数据集上进行大量验 证和分析,算法的精确率、召回率和平均精度均值(mAP)分别达到了 92. 7% 、90. 5% 和 92. 2% 。 此外,算法已部署到 AUV 系统中。 在实际深海测试场景中,视觉检测系统的文物检测帧率达到 19 fps,可满足实时检测的任务需求。     

基于深度学习的人脸检测算法研究

随着计算机视觉之深度学习的兴起与人脸识别技术在智能化产品的广泛应用,基于深度卷积神经网络的人脸检测相关技术成为计算机视觉领域的热门研究。基于RetinaFace结构,提出一种改进的人脸检测模型。该模型采用Resnet34作为特征提取层,利用特征金字塔网络(FPN)进行上下文分辨率信息融合,结合Inception网络适应多尺度的人脸。基于人脸边界框回归损失和分类损失,额外增加人脸五点关键点训练损失。通过IoU大于0.5非极大抑制处理在Wider Face的Easy、Medium、Hard数据集的检测边界框,训练的卷积模型在测试集准确率分别是93.79%、91.92%、55.75%。在人脸密集、遮挡严重、背景复杂的场景下检测的效果并不是很理想,而在人脸稀疏的情况下取得较好的结果。     

近景摄影测量技术在钢轨检测中的应用研究

为解决手工检测工具效率低、检测结果不便于数字化管理和工作强度大等弊端,将非接触式近景摄影测量技术与三维结构光检测相结合,提出一种准确获取钢轨的三维点云数据,进而得到钢轨表面轮廓参数的有效手段.使用近景摄影测量技术获取标志点的空间位置,以此作为点云扫描的全局拼接点;利用三维结构光扫描仪获取钢轨的点云数据,从而获取钢轨表面...     

多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测

初烤烟叶等级的快速准确检测对开发烟叶智能分级设备以促进农产品精细化管理有着重要意义。针对相似度较高但等级不同的初烤烟叶难以区分的问题,本文提出多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测网络（Flue-cured Tobacco Leaf Grade Detection Network,FTGDNet）。首先,FTGDNet采用CSPNet作为特征提取主干网络,采用GhostNet作为辅助特征提取网络以增强模型的特征提取能力;其次,在主干网络末端嵌入显式视觉中心瓶颈模块（Explicit Visual Center Bottleneck module,EVCB）以实现全局特征信息与局部细节特征信息融合;然后,构建多感受野特征自适应融合模块（Multi-Receptive Field Feature Adaptive Fusion module,MRFA＿d）,利用注意力特征融合机制（Attention Feature Fusion,AFF）将不同感受野特征图进行自适应加权融合,在增强模型局部感受野的同时突出有效通道信息;最后,设计了一种新的定位损失函数（More Comple...     

REC-ResNet：面向COVID-19辅助诊断的特征增强模型

基于残差神经网络的新冠肺炎（Corona Virus Disease 2019, COVID-19）辅助诊断是最近的研究热点，但是COVID-19胸部X-Ray图像病变区域多样化，其大小、形状、位置因患者而异，且与周围组织的边界模糊，对比度较低，导致难以充分提取病变区域的有效特征。本文针对上述问题，提出一种COVID-19辅助诊断模型REC-ResNet，该模型以ResNet50为主干网络，引入三种特征增强策略，用来提高模型的特征提取能力。首先，采用残差自适应特征融合模块以自适应加权的方式有效地融合模型每个Stage中来自不同残差块的分层特征，该模块不仅建模不同通道之间的相关性，还学习自适应地估计不同层次信息的相对重要性；然后，在模型主干中引入高效特征增强Transformer模块，采用特征增强多头自注意力提取胸部X-Ray图像中的全局信息以增强模型的表达能力，有效地弥补了CNN捕获全局特征表示能力较弱的不足；其次，为了获得更丰富的上下文信息，提出跨层注意力增强模块，分别采用通道注意力和空间注意力对深层和浅层特征进行增强，并在充分考虑长距离特征依赖的情况下有效地融合高级语义信息和低级空...     

基于深度学习的花椒采摘器视觉识别

对于智能花椒采摘器中机器视觉部分在花椒枝干识别与采摘定位上的不足,本文通过将深度学习技术中的卷积神经网络模型与注意力机制这两种模型运用到智能花椒采摘器的机器视觉部分以提高采摘器的识别功效.结果 显示,经过优化后的卷积神经网络算法训练使采摘器对花椒簇的整体识别准确率由52.3％提高至96.7％,同时通过注意力机制算法提升了机器视觉对花椒树主枝干识别的抗干扰能力,帮助采摘器更加准确的判断出采摘点的位置.通过以上两种模型验证了深度学习技术在提高花椒采摘器机器视觉的算法准确性与抗干扰能力的有效性.