基于Faster R-CNN的无人机航拍图像小目标检测（英文）

为了解决复杂图像背景下无人机航拍图像小目标检测问题,提出了一种基于Faster R-CNN的多尺度小目标检测方法。以高压塔上的鸟巢为检测对象,首先通过改进卷积神经网络ResNet101对目标进行特征提取,然后采用多尺度滑动窗口方式在不同分辨率卷积特征图上获取目标初始建议区域,最后在选取的分辨率较高的卷积特征图上增加一个反卷积操作进一步对特征图的分辨率进行提升,并作为建议窗口的特征映射层传入目标检测子网络中。通过对无人机实际航拍图像中鸟巢的检测结果表明,所提出的算法可以实现对航拍图像中小目标的精确检测。     

基于改进YOLOv5的无人机小目标检测方法研究

针对无人机航拍图像检测存在小目标检测准确率低以及检测模型计算量过大的问题，提出了一种基于改进YOLOv5的无人机小目标检测方法。首先，针对小目标存在漏检的问题，在YOLOv5的特征提取网络中引入了高效通道注意力机制（ECA）模块，提高对小目标的特征提取能力，进而提高小目标检测精度；其次，针对模型计算量大的问题，将模型中的CBL模块进行改进，把其中的普通卷积替换为Ghost卷积，减少模型参数和计算量，以便于在小型嵌入式设备部署；最后为了进一步优化和改进YOLOv5算法，采用加权损失函数，以充分学习图像特征。在DOTA数据集上进行测试，实验结果表明，改进的模型提升了小目标检测效果，其mAp为73.1%，比原算法提高了1.9%，速度达到了92 ms，可以准确地完成无人机航拍小目标检测任务，同时也满足实时性要求。     

基于边缘特征和CNN联合的多视航拍图像配准方法

针对传统卷积神经网络对多视航拍图像进行配准训练时,未能充分利用多视图像间边缘特征之间的联系,为了提取多层图像边缘结构之间的特征信息,提出了一种基于边缘特征和卷积神经网络联合的多视航拍图像配准方法,通过窗口灰度加权算法提取图像的边缘特征图,并将边缘特征图作为卷积神经网络的输入端进行训练,在测试阶段,给出一对新的多视航拍图像,训练后的模型可以预测图像间的空间对应关系。实验结果表明,该算法实现了图像对齐变换,提高了图像配准的精度,优于现有的图像配准方法。     

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测（PS-TOD）模型。设计了一个基于位置通道嵌入三维注意力（PCE3DA）的多尺度特征融合（MSFF）模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力（PSSA）机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型（DETR）相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。     

引入注意力机制的轻量级小目标检测网络

为了提高在如无人机航拍图像等背景复杂情况下的小目标检测能力,本文在YOLOv4网络的基础上,提出了一种引入注意力机制的轻量级小目标检测网络.首先,在通道注意力机制中加入多尺度融合模块并构造多方法特征提取器,再将所设计的通道注意力模块嵌入到YOLOv4特征提取网络,增强网络对于图像感兴趣区域的关注能力;接着,改进YOLO...     

改进全卷积网络优化绝缘子缺陷检测

绝缘子各种缺陷的准确检测与定位是保障电网安全正常运行的关键,针对传统学度学习全卷积网络在进行航拍绝缘子图像缺陷识别时准确率不高问题,提出基于改进全卷积网络优化的航拍电网绝缘子缺陷自动检测算法,算法通过优化模型结构、剔除全连接层Dropout、增加多尺度池化与孔洞卷积以及采用双目标优化函数,实现FCN模型的有效改进,实验...     

基于Hough检测和C-V模型的航拍绝缘子 自动协同分割方法*

绝缘子分割是通过图像处理技术实现其运行状态自动检测及故障诊断的重要前提。针对航拍图像具有背景复杂、分辨率较低、数量多和伪目标多等特点,使用传统分割方法会产生大量的用户交互导致分割效果不佳。本文把协同分割引入到绝缘子航拍图像处理中,提出一种Hough检测修复结合自动初始化轮廓C-V模型的航拍绝缘子图像协同分割方法。本方法利用航拍绝缘子图像帧之间的关系作为先验信息以达到更高的分割精度。首先对航拍图像进行去除文本预处理;然后对预处理过的图像进行Hough检测修复以处理输电线与绝缘子粘连问题并用SLIC进行超像素分割;最后利用广义霍夫变换实现C-V模型初始轮廓的选取并进行基于图像间的C-V模型的绝缘子协同分割。实验结果表明,本文分割方法的准确率明显比其他算法高,能够有效地区分目标和背景并去除杆塔、输电线等伪目标,自动化性能良好,为无人机航拍绝缘子的状态检测及故障诊断奠定基础。     

卷积神经网络SSD的道路目标检测

针对在传统的道路目标识别中,需要进行手工提取特征,模型的泛化能力差。使用深度学习的技术,提出了使用深度卷积神经网络(SSD)解决道路目标问题。该方法首先对图像特征进行自动提取,在基础网络后添加不同尺寸的特征图,然后对多尺寸的特征图做卷积滤波,得到目标坐标值和目标的类别。实验中,在SSD模型中增加了特征图的检测层数,增大原图像尺寸,调试相应的参数,经过多次迭代,最终得到目标模型。实验采用行车记录仪采集的图像,在图像中标定出车辆、行人和骑行的人三类,实验表明,检测目标尺寸越小,检测难度越大,检测效果越差,SSD模型对目标检测的平均准确率均值提高了0.082。提出的道路目标检测方法与传统目标识别算法相比,省去了手工特征提取,减少了工作量,提高了模型的泛化能力。     

改进YOLOv5的无人机影像道路目标检测算法（英文）

针对无人机影像中道路小目标漏检和目标之间遮挡导致的目标检测精度低、鲁棒性差等问题,提出一种多尺度融合卷积注意力模块（Convolutional block attention module, CBAM）的YOLOv5道路目标检测算法,即YOLOv5s-FCC。首先,引入小目标感知层对模型进行多尺度改进,增加一个针对小目标的YOLO检测头以提高网络对道路中小目标的特征提取能力。其次,利用CBAM融合空间和通道信息以增强网络中的重要信息,通过将CBAM引入Backbone主干网络不同位置,以获得CBAM最佳融合位置。最后,采用CIo U作为损失函数,以提高边界框预测所需的计算速度和精度。在自建的无人机道路目标数据集上进行训练,结果表明,相较YOLOv5算法,YOLOv5-FCC算法可将mAP50和mAP50-95分别提高2.0%和4.2%。在VisDrone数据集上也验证了YOLOv5-FCC算法的有效性,并建立了基于无人机的道路目标检测系统,实现道路目标的自动检测。     

小波分析理论在图像目标检测中的应用

根据小波分析理论,提出了能量特征图和基于多尺度分析的边缘特征图相融合的特征融合方法,使得目标检测在考虑了图像局部信息的同时又考虑了图像的整体信息,同传统的单一分辨率下的目标检测方法比较,有效地提高了目标检测算法的效能.实验验证了该方法对复杂自然背景和不同类型的人造目标具有较强的自适应性,检测性能不受目标运动状态的影响.     

基于Faster R-CNN的工件螺纹孔目标检测

为了提高螺纹孔目标检测的准确率,结合双相机视觉系统与Hough变换圆检测算法,提出了一种基于Faster R-CNN的螺纹孔目标检测方法。首先建立了由双相机组成的图像获取系统,通过安置在高处的工业相机采集工件整体图像,利用Hough变换圆检测算法初步筛选出工件上的疑似螺纹孔的位置,并驱动第二个工业相机逐个在近处采集经Hough变换检测出的疑似螺纹孔的局部精确图像。然后,在自建的螺纹孔数据集上训练以ResNet50为基础网络的Faster R-CNN目标检测模型。最后,将螺纹孔处局部图像输入训练好的Faster R-CNN目标检测模型进一步识别并进行定位。实验结果表明,该方法能有效地避免螺纹孔小目标检测,相对于单独使用Hough变换方法或者Faster R-CNN目标检测方法检测螺纹孔,具有更高的识别和定位精度。     

基于超分辨率改进Faster R-CNN的点阵结构内部缺陷判识方法

利用增材制造技术制备金属三维点阵结构件过程中,结构内部经常会出黏连、断裂等多种细小缺陷,导致样件结构功能下降。根据缺陷结构与正常结构之间的特征区别,提出了一种针对金属点阵结构内部出现的细小缺陷自动判识的方法。利用X-射线微聚焦CT扫描金属点阵结构获得原始输入图片,在Faster R-CNN(Faster region-based convolutional neural networks)框架的基础上,改进原有特征提取网络,开发图像超分辨率重建模块。通过对工业CT图片的局部细节特征增强,实现了快速有效地识别细小缺陷的类型,以及缺陷位置信息的标注。试验证明,改进Faster R-CNN模型对金属点阵结构样件内部的两种典型细小缺陷识别的平均正确率高达93.5%。研究结果表明,通过超分辨率网络对图像进行放大,可以提高细小缺陷的特征提取,通过加深网络加强特征学习,从而实现了点阵结构内部细小缺陷的自动判识。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于多任务Faster R-CNN车辆假牌套牌的检测方法

针对现有车辆假牌套牌各种检测方法存在计算复杂度高、检测精度低、鲁棒性欠缺等问题,提出一种基于多任务的高速区域卷积神经网络(Faster R-CNN)车辆假牌套牌的检测方法。首先利用时空约束得到疑似套牌车辆,接着用Faster R-CNN定位分割出车辆前脸部分图像,然后对疑似套牌车辆的车脸公脸部分(车辆的基本特征)的特征进行比对;在此基础上再对高仿套牌车辆的车脸私脸部分(车检标)的细微特征进行检测比对。这种分层次的、从车辆宏观特征到微观特征的视觉检测方法,具有检测速度快、鲁棒性高、泛化能力强、实施部署方便、检测精度高等优点。实验研究表明,在Vehicle ID数据集和杭州卡口数据集中分别取得了99.39%、99.22%的检测精度。     

一种远距离行人小目标检测方法

远距离行人小目标成像像素少、缺乏纹理信息,深度卷积神经网络难以提取小目标细粒度特征,难以准确识别与检测。本文提出一种远距离行人小目标检测方法。首先,在YOLOv4的基础上引入浅层特征改进特征金字塔,提取行人小目标细粒度特征,提出引力模型特征自适应融合方法,增加多层次语义信息之间的关联度,防止小目标特征信息流失。然后,采用增强型超分辨率生成对抗网络增加行人小目标特征数量,提高行人小目标检测准确率。最后,选取图像像素中占比范围为0.004%～0.026%的行人小目标建立试验数据集,通过与Faster RCNN、ION、YOLOv4对比实验验证。结果表明,本文方法mAP_0.5提高了25.2%、26.3%、11.9%,FPS达到24,研究成果在远距离安防监测监控领域具有重要应用价值。     

基于改进Faster RCNN的铝材表面缺陷检测方法

针对传统检测算法对工业铝材表面缺陷识别率不高、对于小缺陷定位不准确等问题,提出改进的Faster RCNN深度学习网络对于铝材表面10种缺陷进行检测。首先,对数据进行增强后,在主干网络加入特征金字塔网络(FPN)结构以加强对小缺陷的特征提取能力,随后用感兴趣区域校准(ROI Align)算法来代替粗糙的感兴趣区域池化(ROI Pooling)算法,获得更准确的缺陷定位信息,最后加入K-means算法对缺陷数据进行聚类,得出更适应铝材缺陷的锚框。实验表明,改进后的网络对铝材表面缺陷检测的平均精度均值(mAP50)为91.20%,比原始的Faster RCNN网络提高了16%,并且对铝材小缺陷的检测能力也得到明显的提高。     

焊接缺陷的磁光成像小波多尺度识别及分类

针对焊缝微小凹陷、未熔合和焊偏等焊接缺陷,提出了基于磁光成像无损探伤的小波多尺度边缘提取算法及主成分分析-误差反向传播神经网络(PCA-BP)缺陷分类模型;研究了焊件表面及近表面缺陷的可视化无损检测及分类方法。首先,通过对焊件施加感应磁场,利用法拉第磁致旋光原理构成磁光传感器,获取焊接缺陷磁光图像。然后,针对焊接缺陷磁光图像存在噪声干扰、对比度低且成像背景复杂等特征,基于小波模极大值的多尺度边缘信息融合方法,设计了具有高抗噪性的缺陷边缘检测算法。最后,通过PCA法对磁光图像列方向灰度变量进行预处理,得到能表征95%磁光图像列方向灰度变量信息的256个特征点作为输入特征量,构建了三层BP神经网络模型,对焊接缺陷样本进行分类。试验结果表明,所提方法能准确识别微小凹陷、未熔合和焊偏等焊接缺陷,模型分类准确率可达90.80%。