基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于迁移学习和R-FCN的电力设备红外图像识别算法

电力设备类型的准确识别是实现红外图像智能诊断的前提。针对电力设备红外图像数量多、识别任务重等问题,采用迁移学习和基于区域的全卷积网络(R-FCN)算法实现电力设备红外图像的智能识别。首先,利用Labelimg软件制作电力设备红外图像数据集;然后,基于迁移学习的原理,选择在VOC数据集上表现优秀的识别算法R-FCN;最后,将R-FCN检测模型分别与2种不同大小的卷积神经网络结合,并利用在线难例挖掘(OHEM)改进算法。实验结果表明:在相同样本条件下,以上提出的算法能够快速有效地识别电力设备红外图像,精度达到0.9143,具有较好的准确性和鲁棒性。该算法为电力设备红外图像热故障诊断提供诊断基础。     

FS-YOLOv5：轻量化红外目标检测方法

针对传统目标识别算法复杂场景下的道路目标识别精度低、实时性差、小目标检测难度大等问题，提出了基于红外场景下FS-YOLOv5轻量化模型。采用单阶段目标检测网络YOLOv5s作为基础网络，提出了一种新的FSMobileNetV3网络代替原网络中的CSPDarknet主干网络来提取特征图像；在原网络CIoU损失函数的基础上引入Power变换，替换为α-CIoU，提高网络对小目标的检测能力；将K-means++聚类算法应用在FLIR红外数据集上重新生成Anchor，最后利用DIoU-NMS替换原网络的NMS后处理方法，改善对遮挡物体的检测能力，降低了模型的漏检率。通过在FLIR红外数据集上的消融实验验证了FS-YOLOv5轻量化算法满足红外场景下的道路目标检测任务，与原网络相比，在平均精度仅降低0.37个百分点的前提下，FS-YOLOv5模型的大小减少了26%，参数量减少了29%，检测速度提升了11 FPS，满足了在不同场景下移动端部署的需求。     

面向火焰快速检测的轻量化深度网络研究

在易燃易爆场合火灾控制中火焰极速检测意义重大,其对算法实时性、准确度、抗干扰性有较高要求。为此提出一种基于改进YOLOv4-tiny轻量化抗干扰火焰检测深度网络。引入类火目标图像与真实火焰图像并通过Mosaic数据增强方式建立鲁棒性火焰检测数据集;对YOLOv4-tiny骨干网络采用深度可分离卷积进行改进,使得原网络更加轻量化;在特征金字塔网络FPN(feature pyramid network)中融合多尺度特征提高网络对多层特征的学习表示能力,并引出多检测头以适应火焰爆发过程中不同尺度火焰的精准检测;在FPN中引入ECA(efficient channel attention)通道注意力机制进一步提高检测精度。实验结果表明,提出的YOLOv4-tiny-L4参数量仅为4.22 MB,准确率高达94.1%,执行时间仅为46 ms,满足火焰快速检测基本要求。     

基于多模态多级特征聚合网络的光场显著性目标检测

现有基于深度学习的显著性检测算法主要针对二维RGB图像设计,未能利用场景图像的三维视觉信息,而当前光场显著性检测方法则多数基于手工设计,特征表示能力不足,导致上述方法在各种挑战性自然场景图像上的检测效果不理想。提出一种基于卷积神经网络的多模态多级特征精炼与融合网络算法,利用光场图像丰富的视觉信息,实现面向四维光场图像的精准显著性检测。为充分挖掘三维视觉信息,设计2个并行的子网络分别处理全聚焦图像和深度图像。在此基础上,构建跨模态特征聚合模块实现对全聚焦图像、焦堆栈序列和深度图3个模态的跨模态多级视觉特征聚合,以更有效地突出场景中的显著性目标对象。在DUTLF-FS和HFUT-Lytro光场基准数据集上进行实验对比,结果表明,该算法在5个权威评估度量指标上均优于MOLF、AFNet、DMRA等主流显著性目标检测算法。     

基于多级特征的红外图像行人检测算法

由于可见光图像和红外图像的成像原理不同,可见光图像的行人检测算法难以直接应用于红外图像中.为此,提出一种基于多级梯度特征的红外图像行人检测算法.使用改进的图像显著性检测算法提取红外图像的关键区域,应用质心重定位的滑窗算法快速定位其中的高亮区,采用Zernike矩判断图像的对称性及与行人特征的相似性,通过基于边缘信息输入的卷积神经网络模型逐级缩小判定范围.在OTCBVS红外图像行人数据集上的实验结果表明,与稀疏表示算法相比,该算法的检测准确率较高.     

融合手部骨架灰度图的深度神经网络静态手势识别

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图.网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数.通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率.实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68％;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8％.     

空基红外小目标检测与跟踪系统

近些年,红外成像技术快速发展,红外图像具有背景复杂、信杂比低、目标尺寸小等特点,为多运动目标的实时检测跟踪带来了挑战。该空基红外小目标检测与跟踪系统的构建包含三个部分：数据集制作、小目标检测和多目标跟踪。首先使用条件对抗生成网络和图像融合算法生成的仿真数据与真实数据相结合,搭建了红外小目标数据集;其次,小目标检测方面,采用了基于YOLOv3-tiny检测器进行红外小目标检测;多目标跟踪方面,采用了基于卡尔曼滤波算法和匈牙利算法的多目标跟踪方法;最终,在满足实时性的要求下,系统取得了较好的效果。     

基于深度学习和特征融合的人脸活体检测算法

针对目前基于深度学习的活体检测算法大都基于大型卷积神经网络的问题,提出一种基于轻量级网络MobileNetV2和特征融合的活体检测算法。首先,以改进的MobileNetV2为基础网络分别从RGB、HSV、LBP图中提取特征;然后,将得到的特征图堆叠在一起以进行特征层的融合;最后,从融合后的特征图中继续提取特征,并利用Softmax层作出真假人脸的判断。仿真结果显示,所提算法在NUAA数据集上的等错误率（EER）为0.02%,在Siw数据集上的ACER（Average Classification Error Rate）为0.75%,而且测试单张图像仅用时6 ms。实验结果表明：融合不同的信息可以获得更低的错误率,改进的轻量化网络保证了算法的高效性并满足实时性需求。     

基于改进SSD算法的电厂设备油液渗漏检测

为能实现对电厂充油设备和管道的油液渗漏现象快速、准确的检测与识别,通过引入高分辨率网络实现高分辨率特征提取,改进特征融合模块以融合高分辨率特征信息强化特征表达,提出了一种基于改进SSD的油液渗漏图像检测算法。此外,针对油液渗漏现象构建一个电厂设备的油液渗漏数据集并提出了一种随机种子遮挡的数据图像增广策略。经实验测试表明,算法在检测效果上提升明显,相比于基于SSD算法的的漏油检测模型的准确率和召回率分别提高了3.1%和3.7%,满足了工程实际需求,具有较高的实用性。     

智能人机交互中第一视角手势表达的一次性学习分类识别

在智能人机交互中,以交互人的视角为第一视角的手势表达发挥着重要作用,而面向第一视角的手势识别则成为最重要的技术环节.本文通过深度卷积神经网络的级联组合,研究复杂应用场景中第一视角下的一次性学习手势识别(One-shot learning hand gesture recognition,OSLHGR)算法.考虑到实际应...     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4 MB缩减到14.2 MB的情况下,检测精准率从97.86%提高到98.46%。     

可见光–红外特征交互与融合的YOLOv5目标检测算法

目标检测是自动驾驶系统的关键技术, 普通RGB目标检测算法在夜间和恶劣气候等场景往往表现一般, 融合可见光和红外信息的目标检测算法因而受到诸多研究关注. 现有方法通常融合结构复杂, 且忽视了模态间信息交流的重要性. 对此, 本文以YOLOv5为基本框架, 提出一种可见光–红外特征交互与融合的目标检测算法, 使用一种新的主干网络跨阶段局部(CSPDarknet53-F), 采用双分支结构分别提取可见光和红外特征. 然后, 通过特征交互模块重构各模态的信息成分和比例, 提升模态间信息交流, 使可见光和红外特征进行更充分的融合. 在FLIR-aligned和M$^3$FD数据集上的大量实验证明, 本文算法使用的CSPDarknet53-F在协同利用可见光和红外信息方面更加出色, 提升了模型精度, 同时, 拥有对抗光照强度骤变的鲁棒性     

基于迁移学习的移动机器人单帧图像坡度检测算法

针对未知环境下移动机器人平稳上坡控制对坡度感知精度的要求,本文提出了一种基于迁移学习的移动机器人单帧图像坡度检测算法.利用室内图像标准数据集训练深度卷积神经场-全连接超像素池化网络(deep convolutional neural field-fully connected superpixel pooling ne...     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

基于轻量级神经网络的RGB-D人体目标检测

针对现有基于神经网络的人体目标检测算法网络结构复杂,运算量大,不利于实际应用,以及传统方法检测精度较差的问题,提出一种新的轻量级检测算法,使用无锚框机制,并将MobileNetV3作为主干网络。该网络支持多个数据输入方式,可分别以RGB彩色图、深度图或RGB-D作为输入。通过在两个公开数据集和自采集数据集中的试验证明,新算法总体检测精度及运行效率均优于已有算法,获得较为理想的每秒峰值速度（FLOPS）。在英特尔i5-7200 CPU平台下,以RGB-D和Depth为输入的帧率分别可达32f/s和55f/s,以RGB为输入的表现优于同级别轻量级网络YOLOV3-Tiny。     

基于多尺度联合权重分配的目标检测算法

针对SSD(single shot multibox detector)算法在复杂交通场景下对交通标志小目标识别效果不佳的问题,提出一种基于多尺度特征互补和重点特征信息挖掘（multi-scale feature complementary fusion and key feature information mining SSD,MK-SSD）的目标检测改进算法。利用跨阶段局部网络设计多尺度特征互补模块,同时构建多路径特征融合网络,有效提升浅层网络对小目标的特征提取能力。设计联合权重分配模块,将感知域与重点信息挖掘相结合,更高效地利用重点特征信息并抑制对非重点信息的关注度。利用轻量化残差块对预测网络进行改进,提升目标检测能力。经实验分析,改进后的算法在自制交通标志数据集上平均准确率达到89.64%,在保证实时性的同时,相较于YOLO系列和SSD系列算法拥有更高的检测精度,能检测出大部分SSD网络漏检的小目标。