基于改进Faster R-CNN的嘴部检测方法

在通过嘴部进行人机交互的场景下,外界光线变化、小目标检测的复杂性、检测方法的不通用性等因素给不同场景下嘴部的识别带来了很大困难.该文以不同场景下的人脸图像为数据源,提出了一种基于改进Faster R-CNN的人脸嘴部识别算法.该方法在Faster R-CNN框架中结合多尺度特征图进行检测,首先将同一卷积块不同卷积层输出的特征图结合,然后对不同的卷积块按元素进行求和操作,在输出的特征图上进行上采样得到高分辨率的表达能力更强的特征,从而提高了嘴部这种小目标的检测性能.在网络训练试验中运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性.实验表明,相比于原始的Faster R-CNN,对嘴部的检测准确率提高了8%,对环境的适应性更强.     

水下遮挡目标检测方法的研究与实现

水下遮挡目标的检测与识别对海洋资源的勘探有着重大意义.针对现有方法中存在检测准确率低以及漏检的问题,将优化的特征复原通道(GAN)与改进的Faster R-CNN进行融合,提出了一种水下遮挡目标检测模型.实验表明,方法相较于Faster R-CNN、SSD、YOLO等现有模型均有不同程度提高,同时降低了漏检个数.     

基于Faster R-CNN的人脸检测方法

近年来,基于候选区域的快速卷积神经网络（Faster R-CNN）算法,在多个目标检测数据集上有出色的表现,吸引了广泛的研究兴趣. Faster R-CNN 框架本来是用做通用目标检测的,本文将它应用到人脸检测上,分别使用ZF和VGG16卷积神经网络,在WIDER人脸数据集上训练Faster R-CNN模型,并在FDDB人脸数据库上测试. 实验结果表明,该方法对复杂光照、部分遮挡、人脸姿态变化具有鲁棒性,在非限制性条件下具有出色的人脸检测效果. 这两种网络结构,在检测效率和准确性上各有优势,可以根据实际应用需求,选择使用合适的网络模型.     

双通道Faster R-CNN在RGB-D手部检测中的应用

在人机交互、手语识别等大量与人手有关的视觉任务中,手部检测是极为重要的一个预处理阶段。随着RGB-D数据采集设备的发展,额外提供的深度数据能够与传统使用的彩色数据互相补充以提供更强的特征表达。此外,传统的检测方法由于使用肤色、HOG等手工设计的特征,不能对手部进行很好的表达。而基于深度学习的检测方法通过从数据中自动学习有效的特征避免了这个问题。为了结合RGB-D数据和深度学习技术的优点,提出了一种融合彩色和深度数据的双通道 Faster R-CNN检测框架。该方法在原有Faster R-CNN检测框架的基础上,增加了Depth通道信息,并在特征层面上将其与RGB通道信息进行融合。实验结果表明,所提方法在性能上比仅采用RGB或在数据层面上融合的Faster R-CNN框架有明显优势。因此,该方法能有效融合来自彩色和深度通道的数据,以提升手部检测性能。     

基于SENet改进的Faster R-CNN行人检测模型

随着无人驾驶和智能驾驶技术的发展,计算机视觉对视频图像检测的实时性和准确性要求也越来越高.现有的行人检测方法在检测速度和检测精度两个方面难以权衡.针对此问题,提出一种改进的Faster R-CNN模型,在Faster R-CNN的主体特征提取网络模块中加入SE网络单元,进行道路行人检测.这种方法不仅能达到相对较高的准确率,用于视频检测时还能达到一个较好的检测速率,其综合表现比Faster R-CNN模型更好.在INRIA数据集和私有数据集上的实验表明,模型的mAP最好成绩能达到93.76%,最高检测速度达到了13.79 f/s.     

基于融合FPN和Faster R-CNN的行人检测算法

针对多尺度行人检测的问题,本文提出一种基于融合特征金字塔网络（Feature pyramid networks,FPN）和Faster R-CNN(Faster region convolutional neural network)的行人检测算法。首先,对FPN和区域建议网络（Region proposal networks,RPN）进行融合;然后,对FPN和Fast R-CNN进行融合;最后,在Caltech数据集、KITTI数据集和ETC数据集上分别对融合FPN和Faster R-CNN的行人检测算法进行训练和测试。该算法在Caltech数据集、KITTI数据集和ETC数据集上的mAP (mean Average Precision)分别达到69.72%, 69.76%和89.74%。与Faster R-CNN相比,该算法不仅提高了行人检测精度,而且在多尺度行人检测的问题上也获得了较为满意的检测效果。     

基于Faster R-CNN的多任务增强裂缝图像检测方法

针对Faster R-CNN算法对多目标、小目标检测精度不高的问题,本文提出一种基于Faster R-CNN的多任务增强裂缝图像检测(Multitask Enhanced Dam Crack Image Detection Based on Faster R-CNN, ME-Faster R-CNN)方法。同时提出一种基于K-means的多源自适应平衡TrAdaBoost的迁移学习方法(multi-source adaptive balance TrAdaBoost based on K-means, K-MABtrA)辅助网络训练,解决样本不足问题。ME-Faster R-CNN将图片输入ResNet-50网络提取特征;然后将所得特征图输入多任务增强RPN模型,同时改善RPN模型的锚盒尺寸和大小以提高检测识别精度,生成候选区域;最后将特征图和候选区域发送到检测处理网络。K-MABtrA方法利用K-means聚类删除与目标源差别较大的图像,再在多元自适应平衡TrAdaBoost迁移学习方法下训练模型。实验结果表明:将ME-Faster R-CNN在K-MABtrA迁移学习的条件下应用于小数据集大坝裂缝图像集的平均IoU为82.52%,平均精度mAP值为80.02%,与相同参数设置下的Faster R-CNN检测算法相比,平均IoU和mAP值分别提高了1.06%和1.56%。     

基于深度学习的无人机巡检图像销钉故障检测

随着经济和社会的发展,发电量和用电量逐年上升。安全的电力保障关系到国计民生,在常年的使用过程中,由于电力传输的输电线路受到外界环境的影响,使得输电线路部件容易出现不同程度的破损,其中销钉是固定螺母的关键零件,销钉的脱落会导致各部件之间连接的不稳定,这给输电网络的安全运行带来了极大的隐患。随着深度学习技术在计算机视觉领域中的应用,使得机器自动识别销钉这一输电线路系统中的微小部件成为现实。采用Faster R-CNN算法对无人机巡检图像中的销钉脱落故障进行识别,并讨论了不同分类器对识别结果的影响,然后对ACF+Adaboost、Hough+LSD和Faster R-CNN检测方法进行比较。实验结果表明,基于Faster R-CNN的目标检测方法对于输电线路中销钉脱落故障的识别率可达到96%,同时对正常销钉的识别率最高可达98%。     

基于目标检测算法的FashionAI服装属性识别

随着网络上服装图片数量的快速增长,对于大量的服装进行分类的需求与日俱增.传统的使用手工进行服装图像的语义属性标注并不能完全的表达服装图像中的丰富信息,并且传统的手工设计的特征已经不能满足现实的精度和速度的需求.近年来,深度学习已经应用到计算机视觉方方面面,为基于深度学习的服装分类识别技术奠定了坚实的基础.本文根据已有的数据集DeepFashion构建了三个新的子数据集,进行分类训练的deepfashionkid数据集和进行Faster R-CNN训练的deepfashionVoc数据集和进行Mask R-CNN训练的deepfashionMask数据集.使用deepfashionkid数据集在VGG16上进行预训练得到clothNet模型,进而改进Faster R-CNN的损失函数.并且各自对比了这两种算法使用clothNet预训练的模型与不使用的区别.另外,本文了采用一种新的类似嫁接学习的预训练策略.实验表明,这些训练技巧对于检测精度的提高具有一定的帮助.     

两级上下文卷积网络宽视场图像小目标检测方法

目标检测和识别已经在输电线路巡检中被广泛采用。由于图像数据量大,小目标分辨率低,现有的图像金字塔、特征金字塔和多异构特征融合等方法虽能准确地检测目标,却非常耗时,因而快速、准确地检测宽视场图像中小目标仍是一个挑战。此算法提出一个两个Faster-RCNs级联的上下文宽视场小目标检测卷积网络,首先,针对降分辨率的宽视场图像,利用一个Faster R-CNN来检测目标的上下文区域,然后,针对上下文区域对应的高分辨率原始图像,利用Faster R-CNN来检测来小目标。我们用航拍输电线路图像数据集进行了目标检测试验,试验结果表明,小目标检测方法达到了88%的检测精度,比单级Faster R-CNN检测方法具有更高的准确率。     

基于Mask R-CNN的电力设备锈迹检测

电力设备锈迹目标的识别在电力安全方面具有极高的应用价值，但是锈迹具有大小、形状不规则等特点，利用传统的机器学习算法检测效率和准确率不高.针对这一问题，研究分析锈迹特点，提出基于Mask R-CNN的电力设备锈迹检测识别方法.使用Faster R-CNN完成目标检测的功能，FCN精准的完成语义分割的功能，实现像素级别的分类识别，较好地解决了不规则锈迹的检测问题.实验结果表明，基于Mask R-CNN的电力设备锈迹检测结果准确率高.     

基于Faster R-CNN的榆紫叶甲虫识别方法研究

针对传统图像识别方法中利用人工设计特征提取模板对昆虫的识别精度不高的问题,提出了基于K-means聚类的深度学习网络模型Faster R-CNN对图像中的目标进行识别。该方法用K-means聚类算法,结合BWP指标对训练数据标签的长宽比值进行聚类,用新的聚类中心点代替标准Faster R-CNN网络中生成初始候选框的长宽比值;对生成初始候选框的尺寸加以改进;将训练数据送入改进后的Faster R-CNN网络进行训练。实验结果表明,在识别具有特定长宽比例的目标时,加入聚类策略的Faster R-CNN网络较标准Faster R-CNN网络有较强的鲁棒性,有效克服了叶片豁口或孔洞造成的冗余现象、榆紫叶甲虫甲壳反光的干扰、相邻的榆紫叶甲虫特征的互相影响和其他与榆紫叶甲虫有相似特征的种类昆虫的干扰。最终达到94.73%的识别精度,较标准网络提高了4.15%。该方法可有效克服传统昆虫检测中特征提取模板的局限性,对识别昆虫这种特征细腻,姿态多样的目标有重要意义。     

Arrow R-CNN for handwritten diagram recognition

We address the problem of offline handwritten diagram recognition. Recently, it has been shown that diagram symbols can be directly recognized with deep learning object detectors. However, object detectors are not able to recognize the diagram structure. We propose Arrow R-CNN, the first deep learning system for joint symbol and structure recognition in handwritten diagrams. Arrow R-CNN extends the Faster R-CNN object detector with an arrow head and tail keypoint predictor and a diagram-aware postprocessing method. We propose a network architecture and data augmentation methods targeted at small diagram datasets. Our diagram-aware postprocessing method addresses the insufficiencies of standard Faster R-CNN postprocessing. It reconstructs a diagram from a set of symbol detections and arrow keypoints. Arrow R-CNN improves state-of-the-art substantially: on a scanned flowchart dataset, we increase the rate of recognized diagrams from 37.7 to 78.6%.

     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。     

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层。实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。     

面向设备开关图像识别的改进Faster R-CNN

在大型工业厂房中, 由于设备控制开关种类繁多、数量庞大, 在日常的运维过程中, 操作规程的繁杂性和人为判断的主观性可能导致操作失误, 造成严重后果. 为辅助操作人员准确判断设备开关状态是否正确, 提出了面向设备开关状态识别的改进Faster R-CNN. 首先, 使用膨胀残差网络作为特征提取网络, 在ResNet50中引入多分支膨胀卷积, 融合不同感受野的信息; 其次, 改进特征金字塔网络, 在原网络上增加一条自底向上的特征增强分支, 融合多尺度的特征信息; 然后, 使用K-means++算法对开关边界框聚类, 设计适合设备开关的候选框尺寸; 最后, 使用Soft-NMS代替非极大值抑制算法NMS来降低开关重叠对检测效果的影响, 增强抑制重叠候选框的能力. 在开关状态数据集上, 改进Faster R-CNN的均值平均精度(mAP)达到了91.5%, 并且已实际应用于抽水蓄能电站日常运维的设备开关状态辅助识别, 满足复杂场景下的智能监管需求.