复杂背景下的手势识别

目的 手势识别是人机交互领域的热点问题。针对传统手势识别方法在复杂背景下识别率低,以及现有基于深度学习的手势识别方法检测时间长等问题,提出了一种基于改进TinyYOLOv3算法的手势识别方法。方法 对TinyYOLOv3主干网络重新进行设计,增加网络层数,从而确保网络提取到更丰富的语义信息。使用深度可分离卷积代替传统卷积,并对不同网络层的特征进行融合,在保证识别准确率的同时,减小网络模型的大小。采用CIoU（complete intersection over union）损失对原始的边界框坐标预测损失进行改进,将通道注意力模块融合到特征提取网络中,提高了定位精度和识别准确率。使用数据增强方法避免训练过拟合,并通过超参数优化和先验框聚类等方法加快网络收敛速度。结果 改进后的网络识别准确率达到99.1%,网络模型大小为27.6 MB,相比原网络（TinyYOLOv3）准确率提升了8.5%,网络模型降低了5.6 MB,相比于YOLO（you only look once）v3和SSD（single shot multibox detector）300算法,准确率略有降低,但网络模型分别减小到原来的1/8和1/3左右,相比于YOLO-lite和MobileNet-SSD等轻量级网络,准确率分别提升61.12%和3.11%。同时在自制的复杂背景下的手势数据集对改进后的网络模型进行验证,准确率达到97.3%,充分证明了本文算法的可行性。结论 本文提出的改进Tiny-YOLOv3手势识别方法,对于复杂背景下的手势具有较高的识别准确率,同时在检测速度和模型大小方面都优于其他算法,可以较好地满足在嵌入式设备中的使用要求。     

基于AT-PGGAN的增强数据车辆型号精细识别

目的 车型识别在智能交通、智慧安防、自动驾驶等领域具有十分重要的应用前景。而车型识别中，带标签车型数据的数量是影响车型识别的重要因素。本文以"增强数据"为核心，结合PGGAN（progressive growing of GANs）和Attention机制，提出一种基于对抗网络生成数据再分类的网络模型AT-PGGAN（attention-progressive growing of GANs），采用模型生成带标签车型图像的数量，从而提高车型识别准确率。方法 该模型由生成网络和分类网络组成，利用生成网络对训练数据进行增强扩充，利用注意力机制和标签重嵌入方法对生成网络进行优化使其生成图像细节更加完善，提出标签重标定的方法重新确定生成图像的标签数据，并对生成图像进行相应的筛选。使用扩充的图像加上原有数据集的图像作为输入训练分类网络。结果 本文模型能够很好地扩充已有的车辆图像，在公开数据集StanfordCars上，其识别准确率相比未使用AT-PGGAN模型进行数据扩充的分类网络均有1%以上的提升，在CompCars上与其他网络进行对比，本文方法在同等条件下最高准确率达到96.6%，高于对比方法。实验结果表明该方法能有效提高车辆精细识别的准确率。结论 将生成对抗网络用于对数据的扩充增强，生成图像能够很好地模拟原图像数据，对原图像数据具有正则的作用，图像数据可以使图像的细粒度识别准确率获得一定的提升，具有较大的应用前景。     

结合跨层特征融合与级联检测器的防震锤缺陷检测

目的 防震锤可以减少输电线路的周期性震动以降低线路的疲劳损害,定期对防震锤进行巡检非常必要。针对目前无人机巡检输电线路所得航拍图像背景复杂,而种类较多、形状各异以及特性不一的防震锤在航拍图像中占据像素面积很小,导致防震锤检测过程中出现的检测精度低、无法确定缺陷类型等问题,提出了一种结合跨层特征融合和级联检测器的防震锤缺陷检测方法。方法 本文使用无人机对防震锤部件巡检的航拍图像进行数据扩充建立防震锤缺陷检测数据集,并划分了4种缺陷类型,为研究提供了数据基础。首先,以VGG16（Visual GeometryGroup 16-layer network）为基础对1、3、5层特征进行特征融合得到特征图,平衡了语义信息和空间特征;其次,使用3个级联检测器对目标进行分类定位,减小了交并比（intersection over union,IoU）阈值对网络性能的影响;最后,将非极大值抑制法替换为Soft-NMS（soft non-maximum suppression）算法,去除边界框保留了最佳结果。结果 在自建数据集上验证网络模型对4种防震锤缺陷类型的检测效果,与现有基于深度学习的其他6种先进算法相比,本文算法的平均准确率比Fast R-CNN（fast region-based convolutional network）、Faster R-CNN、YOLOv4（you only look onceversion 4）分别提高了13.5%、3.4%、5.8%,比SSD300（single shot MultiBox detector 300）、YOLOv3、RetinaNet分别提高了9.5%、8.5%、8%。与Faster R-CNN相比,本文方法的误检率降低了5.61%,漏检率降低了3.01%。结论 本文提出的防震锤缺陷检测方法对不同背景、不同光照、不同角度、不同尺度、不同种类和不同缺陷种类的防震锤均有较好的检测结果,不但可以更好地提取防震锤的特征,而且还能提高分类和位置预测网络的定位精度,从而有效提高了防震锤缺陷检测算法的准确率,在满足防震锤巡检工作实际检测要求的同时还具有较好的鲁棒性和有效性。     

融合先验信息和特征约束的杆塔螺栓缺陷检测

目的 螺栓是输电线路中数量最多的紧固件,一旦出现缺陷就会影响电力系统的稳定运行。针对螺栓缺陷自动检测中存在的类内多样性和类间相似性挑战,提出了一种融合先验信息和特征约束的Faster R-CNN（fasterregions with convolutional neural network）模型训练方法。方法 在航拍巡检图像预处理阶段,设计了基于先验信息的感兴趣区域提取算法,能够提取被识别目标的上下文区域,从而减少模型训练阶段的数据量,帮助模型在训练阶段关注重点区域,提高其特征提取能力。在模型训练阶段,首先通过费舍尔损失约束Faster R-CNN模型的输出特征生成,使样本特征具有较小的类内距离和较大的类间间隔;然后采用K近邻算法处理样本特征得到K近邻概率,将其作为难易样本的指示以引导模型后续更加关注难样本。结果 在真实航拍巡检图像构建的螺栓数据集上进行测试,与基线模型相比,本文模型使螺栓识别的平均精度均值（mean average precision,mAP）提高了6.4%,其中正常螺栓识别的平均精度（average precision,AP）提高了0.9%,缺陷螺栓识别的平均精度提高了12%。结论 提出的融合先验信息和特征约束的输电杆塔螺栓缺陷检测方法在缺陷螺栓识别上获得了良好的效果,为实现输电线路螺栓缺陷的自动检测奠定了良好的基础。     

增强小目标特征的航空遥感目标检测

目的 航空遥感图像中多为尺寸小、方向错乱和背景复杂的目标。传统的目标检测算法由于模型的特征提取网络对输入图像进行多次下采样,分辨率大幅降低,容易造成目标特征信息丢失,而且不同尺度的特征图未能有效融合,检测目标之间存在的相似特征不能有效关联,不仅时间复杂度高,而且提取的特征信息不足,导致目标漏检率和误检率偏高。为了提升算法对航空遥感图像目标的检测准确率,本文提出一种基于并行高分辨率结构结合长短期记忆网络（long short-term memory,LSTM）的目标检测算法。方法 首先,构建并行高分辨率网络结构,由高分辨率子网络作为第1阶段,分辨率从高到低逐步增加子网络,将多个子网并行连接,构建子网时对不同分辨率的特征图反复融合,以增强目标特征表达;其次,对各个子网提取的特征图进行双线性插值上采样,并拼接通道特征;最后,使用双向LSTM整合通道特征信息,完成多尺度检测。结果 将本文提出的检测算法在COCO （common objects in context）2017数据集、KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）车辆检测和UCAS-AOD （University of Chinese Academy of Sciences-Aerial Object Detection）航空遥感数据集上进行实验验证,平均检测准确率（mean average precision,mAP）分别为41.6%、69.4%和69.3%。在COCO 2017、KITTI和VCAS-AOD数据集上,本文算法与SSD513算法相比,平均检测准确率分别提升10.46%、7.3%、8.8%。结论 本文方法有效提高了航空遥感图像中目标的平均检测准确率。     

无人机航拍图像中裸露地表的识别

电力输电线路下方或附近的无覆盖物的裸露地表,是引起输电线路事故的主要隐患之一;从无人机电力巡检航拍图像中识别裸露地表可以预防类似事故的发生;由于Mask RCNN识别无人机电力巡检航拍图像中裸露地表的精度较低,提出一种图像特征融合的方法,即人工提取HOG和LBP两种不同的图像特征,经过不同权重的融合共同表征图像中裸露地表区域的特征,再对SVM进行训练并用于识别;实验结果表明,采用该方法识别率可以达到80％以上,识别时间少于60 ms;HOG和LBP两种特征在进行融合时,当两种特征的数量级相当时,得到的识别率最高;可见,该方法在具有较高识别率的同时,具有比较好的实时性,适合于无人机机载平台对航拍图像的初筛,且训练时间较少,权重参数规模小,为无人机航拍图像中目标物的识别提供一种新思路.     

面向改进尺度缩放网络的绝缘子识别

目的 在电力系统中，准确地识别绝缘子目标是保障输电线路正常运行的重要前提。针对传统方法无法自动提取绝缘子特征，以及深度学习网络提取绝缘子语义信息不足的问题，提出了一种基于改进多尺度网络的绝缘子识别模型，同时满足自动识别和增强语义信息的要求。方法 改进工作主要分为3部分，首先，采用特征融合的方法，增强特征提取网络生成的特征图的语义信息；其次，特征提取后，为了避免经过多次卷积、池化操作，较小尺度绝缘子语义信息损失严重，因此，扩大网络中的小尺度特征图，进一步丰富较小尺度绝缘子的语义信息；最后，为了更好地识别尺度差异较大的绝缘子，改进锚点框的参数。完成改进工作后，通过边框回归得到绝缘子的准确位置信息，最终识别出绝缘子。结果 实验数据集由复合、玻璃和陶瓷3种材质的绝缘子构成，共有4 350幅图像。在实验数据集上进行识别，实验结果与3种不同结构的多尺度网络模型相比，模型结构最优，识别准确率为96.28%，与传统的Faster RCNN（faster region convolutional neural network）、改进的Faster RCNN等方法相比，识别准确率提高了1.98%~11.99%不等。结论 本文提出的改进模型使绝缘子识别准确率显著提高，为之后的输电线路检测工作夯实基础。     

基于改进SSD算法的光伏组件缺陷检测研究

无人机自动化巡检是解决大型分布式光伏系统运维需求的有效方案.无人机航拍产生大量光伏板图像数据,需要算法实现更高的识别精度和更快的识别速度,为此提出一种改进的SSD算法,用于检测光伏组件缺陷.新算法在原有SSD算法中嵌入注意力机制,并使用迁移学习策略提高检测速度和准确率,能够对光伏组件普遍存在的玻璃破碎、受光面发黄、灰尘...     

基于深度残差胶囊网络与注意力机制的加密流量识别方法

随着用户安全意识的提高和加密技术的发展,加密流量已经成为网络流量中的重要部分,识别加密流量成为网络流量监管的重要部分。基于传统深度学习模型的加密流量识别方法存在效果差、模型训练时间长等问题。针对上述问题,提出了一种基于深度残差胶囊网络模型（DRCN,deep residual capsule network）的加密流量识别方法。原始胶囊网络通过全连接形式堆叠导致模型耦合系数变小,无法搭建深层网络模型。针对上述问题,DRCN模型采用三维卷积算法（3DCNN）动态路由算法代替全连接动态路由算法,减少了每个胶囊层之间传递的参数,降低了运算复杂度,进而构建深层胶囊网络,提高识别的准确率和效率;引入通道注意力机制为不同的特征赋予不同的权重,减少无用特征对识别结果的影响,进一步增强模型特征提取能力;将残差网络引入胶囊网络层,搭建残差胶囊网络模块缓解了深度胶囊网络的梯度消失问题。在数据预处理方面,截取的数据包前784byte,将截取的字节转化成图像输入到DRCN模型中,该方法避免了人工特征提取,减少了加密流量识别的人工成本。在ISCXVPN2016数据集上的实验结果表明,与效果最好的BLSTM模型相比,DRCN模型的准确率提高了5.54%,模型的训练时间缩短了232s。此外,在小数据集上,DRCN模型准确率达到了94.3%。上述实验结果证明,所提出的识别方案具有较高的识别率、良好的性能和适用性。     

基于视觉感知的智能扫地机器人的垃圾检测与分类

目的 为了提高扫地机器人的自主性和智能化程度，为扫地机器人配备视觉传感器，使其获得视觉感知能力，通过研究有效的垃圾检测分类模型与算法，实现对垃圾的定位与识别，引导扫地机器人对垃圾进行自动识别与按类处理，提高工作的目的性和效率，避免盲动和减少能耗。方法 选择检测速度较快的YOLOv2作为主网络模型，结合密集连接卷积网络，嵌入深层密集模块，对YOLOv2进行改进，提出一种YOLOv2-dense网络，该网络可以充分利用图像的高分辨率特征，实现图像浅层和深层特征的复用与融合。结果 测试结果表明，智能扫地机器人使用本文方法可以有效识别不同形态的常见垃圾类别，在真实场景中，测试识别准确率为84.98%，目标检测速度达到26帧/s。结论 实验结果表明，本文构建的YOLOv2-dense网络模型具有实时检测的速度，并且在处理具有不同背景、光照、视角与分辨率的图片时，表现出较强的适应和识别性能。在机器人移动过程中，可以保证以较高的准确率识别出垃圾的种类，整体性能优于原YOLOv2模型。     

基于胶囊神经网络的车型精细识别研究

车辆型号精细识别在智能交通系统、涉车刑侦案件侦破等方面具有十分重要的应用前景。针对车辆型号种类繁多、部分型号区分度小等带来的车辆型号精细分类困难的问题,提出一种基于胶囊神经网络(capsule network,CapsNet)的车型图像识别模型CapCar。以CompCars数据集作为样本,首先通过加权平均值法进行图像的灰度化处理,减少数据集训练计算量,提高模型的训练速度。然后通过胶囊神经网络提取车型图像的全部特征和局部特征,实现车型分类识别。相较于现有的车型精细识别方法,该方法在提高识别精度的同时,有效压缩了模型参数规模。在基准数据集CompCars下进行大量实验的结果表明,CapCar模型进行车辆精细识别精度可达98.89%,其识别率高于一些其他经典的网络模型。CapCar模型参数大小仅为6.3 MB。该算法具有一定的先进性。     

基于胶囊网络在复杂场景下的行人识别

大数据环境下,对行人检测的需求度不断提高,然而视频中的信息越来越丰富,视频中所获取的场景也愈加复杂。在如此背景下,目前大多使用卷积神经网络进行识别,但识别率不高。在原有的胶囊网络模型的基础上,增加了两层卷积层并将胶囊维度进行了扩展,同时使用了动态路由迭代算法,提出了一种基于改进胶囊网络的行人识别模型(PRM-ICN),该网络能够更有效地减少复杂背景中多余信息的干扰。实验在TensorFlow框架下使用三个国际知名且有一定难度的公开通用数据集CUHK01、CUHK03和Market-1501上进行验证,并将结果与PRM-AlexNet和PRM-VGG-16两个著名的行人识别网络相对比。实验结果表明在三个数据集上,所提出的网络模型在CMC曲线和MAP指标下都要优于其他两个网络,证明了所提模型在复杂场景下识别效果的优越性。     

深度残差网络的无人机多目标识别

传统目标识别算法中,经典的区域建议网络(RPN)在提取目标候选区域时计算量 大,时间复杂度较高,因此提出一种级联区域建议网络(CRPN)的搜索模式对其进行改善。此外, 深层次的卷积神经网络训练中易产生退化现象,而引入残差学习的深度残差网络(ResNet),能 够有效抑制该现象。对多种不同深度以及不同参数的网络模型进行研究,将两层残差学习模块 与三层残差学习模块结合使用,设计出一种占用内存更小、时间复杂度更低的新型多捷联式残 差网络模型(Mu-ResNet)。采用 Mu-ResNet 与 CRPN 结合的网络模型在无人机目标数据集以及 PASCAL VOC 数据集上进行多目标识别测试,较使用 ResNet 与 RPN 结合的网络模型,识别准 确率提升了近 2 个百分点。     

Convolutional neural networks for object detection in aerial imagery for disaster response and recovery

Accurate and timely access to data describing disaster impact and extent of damage is key to successful disaster management (a process that includes prevention, mitigation, preparedness, response, and recovery). Airborne data acquisition using helicopter and unmanned aerial vehicle (UAV) helps obtain a bird’s-eye view of disaster-affected areas. However, a major challenge to this approach is robustly processing a large amount of data to identify and map objects of interest on the ground in real-time. The current process is resource-intensive (must be carried out manually) and requires offline computing (through post-processing of aerial videos). This research introduces and evaluates a series of convolutional neural network (CNN) models for ground object detection from aerial views of disaster’s aftermath. These models are capable of recognizing critical ground assets including building roofs (both damaged and undamaged), vehicles, vegetation, debris, and flooded areas. The CNN models are trained on an in-house aerial video dataset (named Volan2018) that is created using web mining techniques. Volan2018 contains eight annotated aerial videos (65,580 frames) collected by drone or helicopter from eight different locations in various hurricanes that struck the United States in 2017–2018. Eight CNN models based on You-Only-Look-Once (YOLO) algorithm are trained by transfer learning, i.e., pre-trained on the COCO/VOC dataset and re-trained on Volan2018 dataset, and achieve 80.69% mAP for high altitude (helicopter footage) and 74.48% for low altitude (drone footage), respectively. This paper also presents a thorough investigation of the effect of camera altitude, data balance, and pre-trained weights on model performance, and finds that models trained and tested on videos taken from similar altitude outperform those trained and tested on videos taken from different altitudes. Moreover, the CNN model pre-trained on the VOC dataset and re-trained on balanced drone video yields the best result in significantly shorter training time.     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

改进胶囊网络优化分层卷积的亚健康识别算法

针对传统卷积神经网络(CNN)为获得高准确率不断堆叠卷积层、池化层致使模型结构复杂、训练时间长且数据处理方式单一的问题,提出改进胶囊网络优化分层卷积的亚健康识别算法。首先,对原始振动数据进行小波降噪和小波包降噪两种数据处理,更好地保留原始信号中对亚健康识别有用的信息;其次,CNN采用分层卷积的思想,并行3个不同尺度的卷积核,多角度地进行特征提取;最后,将卷积核提取的特征输入到剪枝策略的胶囊网络中进行亚健康识别,改进的胶囊网络在保证准确率的同时加快亚健康识别时间,解决CNN结构过于复杂以及识别效果不佳的问题。实验结果表明,提出算法识别准确率高且识别时间较少。     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

结合旋转框和注意力机制的轻量遥感图像检测模型

目的 遥感图像目标检测在国防安全、智能监测等领域扮演着重要的角色。面对遥感图像中排列密集且方向任意分布的目标,传统水平框目标检测不能实现精细定位,大型和超大型的目标检测网络虽然有强大表征学习能力,但是忽略了模型准确率与计算量、参数量之间的性价比,也满足不了实时检测的要求,庞大的参数量和计算量在模型部署上也非常受限,针对以上问题,设计了一种轻量级的旋转框遥感图像目标检测模型（YOLO-RMV4）。方法 对原MobileNetv3网络进行改进,在特征提取网络中加入性能更好的通道注意力机制模块（efficient channel attention,ECA）,并且对网络规模进行适当扩展,同时加入路径聚合网络（path aggregation network,PANet）,对主干网络提取特征进行多尺度融合,为网络提供更丰富可靠的目标特征。网络检测头中则采用多尺度检测技术,来应对不同尺寸的目标物体,检测头中的角度预测加入了环形圆滑标签（circular smooth label,CSL）,将角度回归问题转换为分类问题,从而使预测角度和真实角度之间的距离可以衡量。结果 将提出的检测模型在制备的AV...     

利用对抗网络改进多标记图像分类

为了更有效地对多标记图像进行分类,提出一个改进的卷积神经网络模型,通过融合多层次特征并利用空间金字塔池化来学习多标记图像中的多尺度特征,同时设计对抗网络生成新的样本辅助模型训练.首先,对传统卷积神经网络模型进行改进,利用空间金字塔池化层替换网络的最后一层,并将在ImageNet上预先训练好的参数传递给该模型;然后,通过将深层特征和浅层特征进行融合,使得模型对不同尺度的物体具有更好的识别能力;最后,设计了一个对抗网络生成带遮挡的样本,使模型对遮挡物体的识别也具有良好的鲁棒性.实验测试在2个基准数据集上进行,文中模型在Corel5K数据集上的平均查准率和平均查全率分别为0.457和0.427,mAP值达到0.442,而在PASCAL VOC 2012数据集上的mAP值则达到0.85.实验结果表明,与当前国际先进的模型相比,该模型具有更好的有效性和更强的鲁棒性.