基于Faster R-CNN的多任务增强裂缝图像检测方法

针对Faster R-CNN算法对多目标、小目标检测精度不高的问题,本文提出一种基于Faster R-CNN的多任务增强裂缝图像检测(Multitask Enhanced Dam Crack Image Detection Based on Faster R-CNN, ME-Faster R-CNN)方法。同时提出一种基于K-means的多源自适应平衡TrAdaBoost的迁移学习方法(multi-source adaptive balance TrAdaBoost based on K-means, K-MABtrA)辅助网络训练,解决样本不足问题。ME-Faster R-CNN将图片输入ResNet-50网络提取特征;然后将所得特征图输入多任务增强RPN模型,同时改善RPN模型的锚盒尺寸和大小以提高检测识别精度,生成候选区域;最后将特征图和候选区域发送到检测处理网络。K-MABtrA方法利用K-means聚类删除与目标源差别较大的图像,再在多元自适应平衡TrAdaBoost迁移学习方法下训练模型。实验结果表明:将ME-Faster R-CNN在K-MABtrA迁移学习的条件下应用于小数据集大坝裂缝图像集的平均IoU为82.52%,平均精度mAP值为80.02%,与相同参数设置下的Faster R-CNN检测算法相比,平均IoU和mAP值分别提高了1.06%和1.56%。     

面向设备开关图像识别的改进Faster R-CNN

在大型工业厂房中, 由于设备控制开关种类繁多、数量庞大, 在日常的运维过程中, 操作规程的繁杂性和人为判断的主观性可能导致操作失误, 造成严重后果. 为辅助操作人员准确判断设备开关状态是否正确, 提出了面向设备开关状态识别的改进Faster R-CNN. 首先, 使用膨胀残差网络作为特征提取网络, 在ResNet50中引入多分支膨胀卷积, 融合不同感受野的信息; 其次, 改进特征金字塔网络, 在原网络上增加一条自底向上的特征增强分支, 融合多尺度的特征信息; 然后, 使用K-means++算法对开关边界框聚类, 设计适合设备开关的候选框尺寸; 最后, 使用Soft-NMS代替非极大值抑制算法NMS来降低开关重叠对检测效果的影响, 增强抑制重叠候选框的能力. 在开关状态数据集上, 改进Faster R-CNN的均值平均精度(mAP)达到了91.5%, 并且已实际应用于抽水蓄能电站日常运维的设备开关状态辅助识别, 满足复杂场景下的智能监管需求.     

基于先验知识的航拍绝缘子检测方法

在架空输电线路中对带电状态的绝缘子进行检测和故障定位,对保证电网可靠运行具有重大意义。基于无人机平台提出一种复杂背景条件下的绝缘子检测算法。在检测算法的特征提取层引入注意力机制模块以获取更多的绝缘子特征信息,同时利用航拍图像中绝缘子的先验知识,结合K均值聚类算法改进目标候选框的生成模式。在此基础上,通过将中心损失引入绝缘子检测目标函数以增强训练过程中绝缘子类内特征的内聚性。实验结果表明,相对Faster R-CNN检测算法,在绝缘子检测数据集上Faster R-CNN改进算法检测精度提高4%以上。     

改进Faster R-CNN的道路目标检测

针对道路场景下各目标尺度复杂导致的检测精度低问题,提出一种面向道路目标的多尺度Faster R-CNN算法.分析数据集标注的面积及长宽比分布以设置合适尺寸的锚框,提高锚框与目标的匹配度,模型对道路小目标的平均精准度提升了13％以上.在Faster R-CNN网络的特征提取部分加入特征金字塔结构,融合不同尺度特征图的信息...     

面向视频数据的深度学习目标识别算法综述

目标识别是计算机视觉领域的一大挑战,随着深度学习的发展,目标识别算法被广泛应用于视频数据中目标的识别和监测。对现有目标识别算法进行归纳,根据是否采用锚点机制将主流算法分为Anchor-Based和Anchor-Free两大类。针对R-CNN、SPP-Net、SSD、YOLOv2等Anchor-Based类目标识别算法,从候选框创建、特征提取和结果生成角度分析基于区域和基于回归的目标识别算法的区别和各自优势。针对CornerNet、ExtremeNet、CenterNet、FCOS等Anchor-Free类目标识别算法,从特征提取、关键点选择/层次结构和结果生成角度分析基于关键点和基于特征金字塔的目标识别算法的区别和各自优势。在此基础上,以识别效率和识别精度为评价指标,对Faster R-CNN、Mask R-CNN、SSD等8种代表性目标识别算法进行对比总结。最后,针对目标识别算法中的数据预处理耗时长、多尺度特征同步识别精度低、结构繁杂等问题,对当前研究的不足和未来研究方向进行分析和展望。     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

基于Faster R-CNN的肺炎目标检测

针对肺炎图像中病灶组织与正常组织难以区分，导致的肺炎检测准确率低的问题，提出一种基于改进Faster R-CNN的肺炎目标检测算法。通过CRP-CLAHELS的流程在增强图像对比度的同时提取图像的边缘特征，提出IN-ResNet50网络作为特征提取主干网络，提取更丰富的图像特征。在此基础上，引入Soft-NMS改进候选框合并策略，提高网络在多个目标肺炎区域下的检测准确率。在RSNA数据集上的实验结果表明，该算法相比Faster R-CNN平均精度均值提高7.26%,与其它目标检测主流算法SSD、YOLOv3相比平均精度均值分别提高8.83%、7.02%,验证了其有效性。     

基于可变形卷积的改进YOLO目标检测算法

针对YOLO目标检测算法存在边界框定位不准确及对小目标检测精度低的问题,提出一种改进的YOLO目标检测算法dcn-YOLO。使用k-means++算法聚类出更符合数据集尺寸的锚盒,以降低初始点对聚类结果的影响并加快网络训练收敛速度。构建残差可变形卷积模块res-dcn,分别采用将其嵌入YOLO第一特征提取头模块中和替换3个YOLO特征提取头模块的方式,构建两种改进的dcn-YOLO算法,使网络可以自适应地学习特征点的感受野,从而对不同尺寸和形状的目标提取更有效的特征,提高检测精度。在VOC数据集上的实验结果表明,该算法能有效提高目标检测精度,mAP达到82.6%,相比YOLO、SSD、Faster R-CNN,分别高出了2.1、5.2、9.4个百分点。     

基于改进卷积神经网络的山顶点识别研究

针对传统山顶点识别方法中特征选择困难等问题,借助深度卷积神经网络特征自学习的优势,将格网DEM数据中的山顶点提取转换为数字图像中的目标检测问题,提出一种基于改进Faster R-CNN的山顶点识别方法;将DEM数据处理为等高线图与灰度图叠加的形式,采用基于Faster R-CNN的目标识别框架,以ResNet-101替代原始的VGG16作为山顶识别模型的特征提取网络,并在RPN锚框尺寸设置中引入K-Means聚类算法,实现适用于自建山顶样本集PEAK-100的锚框参数设定;利用改进后的Faster R CNN自动提取山顶的深度特征,生成高质量的山顶区域,并结合高程标识出最终的山顶点坐标;实验结果表明,新方法的山顶点识别准确率为94.82％,相比于传统方法漏提率减少约60％,在一定程度上避免了山顶识别效果易受人工选择特征的影响.     

基于改进YOLOv3的小目标检测方法研究

针对YOLOv3算法在小目标上检测效果不佳,漏检率较高的问题,提出一种改进YOLOv3网络结构的小目标识别方法.首先,利用优化的K-means聚类方法弥补原聚类算法中对聚类中心的初始位置敏感问题;然后,对数据集中的标注目标进行聚类分析选取优化的聚类锚点框宽高维度作为改进YOLOv3网络的初始候选框;其次,对Darkne...     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

结合深度学习与支持向量机的金属零件识别

目的 在视觉引导的工业机器人自动拾取研究中，关键技术难点之一是机器人抓取目标区域的识别问题。特别是金属零件，其表面的反光、随意摆放时相互遮挡等非结构化因素都给抓取区域的识别带来巨大的挑战。因此，本文提出一种结合深度学习和支持向量机的抓取区域识别方法。方法 分别提取抓取区域的方向梯度直方图（HOG）和局部二进制模式（LBP）特征，利用主成分分析法（PCA）对融合后的特征进行降维，以此来训练支持向量机（SVM）分类器。通过训练Mask R-CNN（regions with convolutional neural network）神经网络完成抓取区域的初步分割。然后利用SVM对Mask R-CNN识别的抓取区域进行二次分类，完成对干扰区域的剔除。最后计算掩码完成实例分割，以此达到对抓取区域的精确识别。结果 对于随机摆放的铜质金属零件，本文算法与单一的Mask R-CNN及多特征融合的SVM算法就识别准确率、错检率、漏检率3个指标进行了比较，结果表明本文算法在识别准确率上较Mask R-CNN和SVM算法分别提高了7%和25%，同时有效降低了错检率与漏检率。结论 本文算法结合了Mask R-CNN与SVM两种方法，对于反光和遮挡情况具有一定的鲁棒性，同时有效地提升了目标识别的准确率。     

基于双模型的输电线绝缘子自爆检测算法

针对输电线路无人机巡检图像中绝缘子自爆缺陷目标小而难以精准检测的问题,提出一种基于Faster R-CNN和改进的YOLO v3级联双模型的绝缘子自爆缺陷检测算法。首先,利用无人机巡检图像构建绝缘子串缺陷数据集,并对训练图像样本进行翻转预处理,增加样本数量,提高模型泛化能力,避免过拟合;然后,利用Faster R-CNN检测图像中的绝缘子串,再将检测到的绝缘子串图像送入改进的YOLO v3网络进行自爆缺陷的定位。改进的YOLO v3网络是在YOLO v3基础上借鉴FPN的思想,增加特征提取层并进行特征融合,充分利用深层特征和浅层特征;同时采用CIoU Loss函数作为损失函数,以解决边界框宽高比尺度信息。实验结果表明,本文算法在所构建的绝缘子缺陷数据集上的检测准确率达到91.2%,相比Faster R-CNN或YOLO v3等单模型检测算法提升了3.31个百分点以上,能有效实现无人机巡检中绝缘子自爆缺陷的检测,为输电线路智能化巡检故障诊断提供方法支持。     

两级上下文卷积网络宽视场图像小目标检测方法

目标检测和识别已经在输电线路巡检中被广泛采用。由于图像数据量大,小目标分辨率低,现有的图像金字塔、特征金字塔和多异构特征融合等方法虽能准确地检测目标,却非常耗时,因而快速、准确地检测宽视场图像中小目标仍是一个挑战。此算法提出一个两个Faster-RCNs级联的上下文宽视场小目标检测卷积网络,首先,针对降分辨率的宽视场图像,利用一个Faster R-CNN来检测目标的上下文区域,然后,针对上下文区域对应的高分辨率原始图像,利用Faster R-CNN来检测来小目标。我们用航拍输电线路图像数据集进行了目标检测试验,试验结果表明,小目标检测方法达到了88%的检测精度,比单级Faster R-CNN检测方法具有更高的准确率。     

基于改进Faster R-CNN的嘴部检测方法

在通过嘴部进行人机交互的场景下,外界光线变化、小目标检测的复杂性、检测方法的不通用性等因素给不同场景下嘴部的识别带来了很大困难.该文以不同场景下的人脸图像为数据源,提出了一种基于改进Faster R-CNN的人脸嘴部识别算法.该方法在Faster R-CNN框架中结合多尺度特征图进行检测,首先将同一卷积块不同卷积层输出的特征图结合,然后对不同的卷积块按元素进行求和操作,在输出的特征图上进行上采样得到高分辨率的表达能力更强的特征,从而提高了嘴部这种小目标的检测性能.在网络训练试验中运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性.实验表明,相比于原始的Faster R-CNN,对嘴部的检测准确率提高了8%,对环境的适应性更强.     

基于DSSD的静态手势实时识别方法

手势识别作为一种自然和谐的人机交互方式,具有广泛的应用前景,而传统手势识别方法准确率不高、实时性较差。为此,在DSSD网络模型的基础上,提出一种静态手势实时识别方法。自制手势数据集,通过K-means算法及手肘法选取先验框的宽高比,采用迁移学习的方法解决数据量小导致的检测精度低的问题,同时根据识别精度选择ResNet101为DSSD模型的基础网络,经DSSD模型的反卷积模块融合各个特征提取层的语义信息,加强对小手势目标的检测能力。实验结果表明,该方法识别静态手势的识别率达到95.6%,较基于Faster R-CNN、YOLO和SSD的手势识别方法分别提高了3.6%、4.5%及2.3%,其检测速度为8 frame/s,能够满足实时检测要求。     

基于Faster R-CNN的灵武长枣图像检测方法

基于机器视觉技术自动采摘地方特色林果灵武长枣时,自然变化的环境会极大地影响检测的准确率。为适应时时变化的自然环境,提出基于双损失函数的区域卷积神经网络（Faster R-CNN）集成学习模型。建立图像数据集,包括训练集和测试集;根据特征搭建Faster R-CNN模型,在RPN层利用softmax作为基础分类器得到感兴趣区域;以此为特征图再结合一层损失函数,分别利用Large Marge Softmax Loss（L-softmax）、Angular Softmax Loss（A-softmax）做损失计算,取各类最大值;加载训练集进行图像训练得到检测器,将已训练好的检测器通过测试集得出结果图像,完成图像检测。同单一损失函数网络、标准的ResNet101以及ResNet50网络结构进行对比,该图像检测网络方法的精确率为0.982 6,召回率为0.921 3,平均精度为0.9。