复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

基于Faster R-CNN的榆紫叶甲虫识别方法研究

针对传统图像识别方法中利用人工设计特征提取模板对昆虫的识别精度不高的问题,提出了基于K-means聚类的深度学习网络模型Faster R-CNN对图像中的目标进行识别。该方法用K-means聚类算法,结合BWP指标对训练数据标签的长宽比值进行聚类,用新的聚类中心点代替标准Faster R-CNN网络中生成初始候选框的长宽比值;对生成初始候选框的尺寸加以改进;将训练数据送入改进后的Faster R-CNN网络进行训练。实验结果表明,在识别具有特定长宽比例的目标时,加入聚类策略的Faster R-CNN网络较标准Faster R-CNN网络有较强的鲁棒性,有效克服了叶片豁口或孔洞造成的冗余现象、榆紫叶甲虫甲壳反光的干扰、相邻的榆紫叶甲虫特征的互相影响和其他与榆紫叶甲虫有相似特征的种类昆虫的干扰。最终达到94.73%的识别精度,较标准网络提高了4.15%。该方法可有效克服传统昆虫检测中特征提取模板的局限性,对识别昆虫这种特征细腻,姿态多样的目标有重要意义。     

基于图像增强与深度学习的安全带目标检测

为通过交通视频自动化检测驾驶员是否佩戴安全带，设计一种基于YOLO v3和Faster R-CNN的安全带单类别目标检测方法。基于YOLO v3网络训练车窗检测模型与车窗-驾驶员检测模型，得到驾驶员的精确位置；利用直方图均衡化、高斯滤波等方法对驾驶员图片进行图像增强操作，提高安全带区域的对比度；基于Faster R-CNN网络设计安全带单类别目标检测模型，将传统的分类问题转变为单类别目标检测问题。实验结果表明，模型检测准确率可达96.0%。相对于其它方法，适应性更强，鲁棒性更高，准确率相应提高。     

基于Mask R-CNN的电力设备锈迹检测

电力设备锈迹目标的识别在电力安全方面具有极高的应用价值，但是锈迹具有大小、形状不规则等特点，利用传统的机器学习算法检测效率和准确率不高.针对这一问题，研究分析锈迹特点，提出基于Mask R-CNN的电力设备锈迹检测识别方法.使用Faster R-CNN完成目标检测的功能，FCN精准的完成语义分割的功能，实现像素级别的分类识别，较好地解决了不规则锈迹的检测问题.实验结果表明，基于Mask R-CNN的电力设备锈迹检测结果准确率高.     

基于改进Faster R-CNN的嘴部检测方法

在通过嘴部进行人机交互的场景下,外界光线变化、小目标检测的复杂性、检测方法的不通用性等因素给不同场景下嘴部的识别带来了很大困难.该文以不同场景下的人脸图像为数据源,提出了一种基于改进Faster R-CNN的人脸嘴部识别算法.该方法在Faster R-CNN框架中结合多尺度特征图进行检测,首先将同一卷积块不同卷积层输出的特征图结合,然后对不同的卷积块按元素进行求和操作,在输出的特征图上进行上采样得到高分辨率的表达能力更强的特征,从而提高了嘴部这种小目标的检测性能.在网络训练试验中运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性.实验表明,相比于原始的Faster R-CNN,对嘴部的检测准确率提高了8%,对环境的适应性更强.     

基于DSSD的静态手势实时识别方法

手势识别作为一种自然和谐的人机交互方式,具有广泛的应用前景,而传统手势识别方法准确率不高、实时性较差。为此,在DSSD网络模型的基础上,提出一种静态手势实时识别方法。自制手势数据集,通过K-means算法及手肘法选取先验框的宽高比,采用迁移学习的方法解决数据量小导致的检测精度低的问题,同时根据识别精度选择ResNet101为DSSD模型的基础网络,经DSSD模型的反卷积模块融合各个特征提取层的语义信息,加强对小手势目标的检测能力。实验结果表明,该方法识别静态手势的识别率达到95.6%,较基于Faster R-CNN、YOLO和SSD的手势识别方法分别提高了3.6%、4.5%及2.3%,其检测速度为8 frame/s,能够满足实时检测要求。     

基于卷积神经网络的指针式仪表识别

目前大部分研究指针式仪表识别的方法中提取指针是完全基于传统的图像处理技术,提取过程较为复杂且步骤繁多.为了有效解决指针式仪表读数识别中指针中轴线所在直线提取困难及识别精度不高等问题,本文提出了一种基于深度学习的指针式仪表的识别方法.首先用Faster R-CNN算法检测仪表圆盘,再采用基于深度学习的方法Faster R-CNN算法检测指针,根据得到的指针目标框的位置信息裁剪得到指针图像,在指针图像的基础上进行二值化、细化、霍夫变换检测直线、最小二乘法拟合直线等步骤识别仪表最终读数.和直接在仪表表盘目标框图像或原始图像上进行传统图像处理相比很大程度上减少了定位指针中轴线所在直线过程中的干扰.实验结果表明本文所提出的基于深度学习的指针检测的平均准确率高达96.55％.对于复杂背景下指针式仪表的指针区域的检测具有良好的准确性与稳定性.     

一种基于降噪自编码器的人脸表情识别方法

针对传统人脸表情识别算法鲁棒性差,易受到人脸身份信息干扰的问题,本文在基于降噪自编码器的基础上,提出一种人脸表情识别算法。首先,从图片中检测出人脸部分,并进行尺度归一化处理;再构造堆栈式降噪自编码神经网络模型进行预训练;最后为了避免由训练样本不足容易造成的过拟合问题,在深度网络模型的全连接层采用了Dropout技术。实验结果在数据集CK 、JAFFE和Yale上均取得了较高的准确率,说明了该方法具有较强的鲁棒性和抗身份信息干扰的能力。     

粒子群优化神经网络在动态手势识别中的应用

为了提高动态手势学习训练速度和识别准确率,本文提出一种基于粒子群优化BP神经网络的动态手势识别方法。首先基于自然人机交互需要,定义一套基于机器视觉的动态手势模型;在获取指尖运动轨迹的基础上,提取动态手势的特征向量作为神经网络的输入;利用改进的PSO算法训练BP神经网络,得到神经网络的权值和阈值;最后利用训练过的神经网络识别基于机器视觉的动态手势。测试结果表明:改进的PSO算法能够提高神经网络训练速度和精度,进而提高动态手势识别准确率。     

基于深度学习的监控视频中多类别车辆检测

针对传统机器学习算法在交通监控视频的车辆检测中易受视频质量、拍摄角度、天气环境等客观因素影响,预处理过程繁琐、难以进行泛化、鲁棒性差等问题,结合空洞卷积、特征金字塔、焦点损失,提出改进的更快的区域卷积神经网络（Faster R-CNN）和单阶段多边框检测检测器（SSD）两种深度学习模型进行多类别车辆检测。首先从监控视频中截取的不同时间的851张标注图构建数据集;然后在保证训练策略相同的情况下,对两种改进后的模型与原模型进行训练;最后对每个模型的平均准确率进行评估。实验结果表明,与原Faster R-CNN和SSD模型相比,改进后的Faster R-CNN和SSD模型的平均准确率分别提高了0.8个百分点和1.7个百分点,两种深度学习方法较传统方法更适应复杂情况下的车辆检测任务,前者准确度较高、速度较慢,更适用于视频离线处理,后者准确度较低、速度较快,更适用于视频实时检测。     

基于LightGBM的改进表面肌电信号手势识别研究

为了提升表面肌电信号(sEMG)手势动作识别的准确性和训练效率,提出一种基于LightGBM的手势识别模型.传统的GBDT算法训练效率较低,准确率无法快速提升,LightGBM算法采用基于梯度的单侧采样和互斥特征捆绑改进性能,具有训练速度快、占用内存低、分类准确率高的优势.将臂环采集到的8通道sEMG数据按时间顺序进行...     

基于改进卷积神经网络的山顶点识别研究

针对传统山顶点识别方法中特征选择困难等问题,借助深度卷积神经网络特征自学习的优势,将格网DEM数据中的山顶点提取转换为数字图像中的目标检测问题,提出一种基于改进Faster R-CNN的山顶点识别方法;将DEM数据处理为等高线图与灰度图叠加的形式,采用基于Faster R-CNN的目标识别框架,以ResNet-101替代原始的VGG16作为山顶识别模型的特征提取网络,并在RPN锚框尺寸设置中引入K-Means聚类算法,实现适用于自建山顶样本集PEAK-100的锚框参数设定;利用改进后的Faster R CNN自动提取山顶的深度特征,生成高质量的山顶区域,并结合高程标识出最终的山顶点坐标;实验结果表明,新方法的山顶点识别准确率为94.82％,相比于传统方法漏提率减少约60％,在一定程度上避免了山顶识别效果易受人工选择特征的影响.     

面向静态手势识别的边缘序列递归模型算法

针对传统手势识别准确率不高、鲁棒性不强的问题,通过研究静态手势轮廓特征,从手势边缘序列角度出发提出一种基于手势边缘轮廓递归图的CK-1距离的手势识别算法CSRP.首先通过阈值分割获取手势区域图像;然后定位起始点坐标,建立随着空间位置变化的手势边缘序列;为了克服边缘序列数据的不等长问题,构造基于时空域的手势轮廓序列递归图;最后利用MPEG-1压缩算法计算手势递归图像之间的CK-1距离,完成手势识别.实验结果表明,该算法在手势发生旋转、平移、缩放时具有较高的鲁棒性,并且计算量小、效率高,手势识别的准确率高达97%.     

基于双模型的输电线绝缘子自爆检测算法

针对输电线路无人机巡检图像中绝缘子自爆缺陷目标小而难以精准检测的问题,提出一种基于Faster R-CNN和改进的YOLO v3级联双模型的绝缘子自爆缺陷检测算法。首先,利用无人机巡检图像构建绝缘子串缺陷数据集,并对训练图像样本进行翻转预处理,增加样本数量,提高模型泛化能力,避免过拟合;然后,利用Faster R-CNN检测图像中的绝缘子串,再将检测到的绝缘子串图像送入改进的YOLO v3网络进行自爆缺陷的定位。改进的YOLO v3网络是在YOLO v3基础上借鉴FPN的思想,增加特征提取层并进行特征融合,充分利用深层特征和浅层特征;同时采用CIoU Loss函数作为损失函数,以解决边界框宽高比尺度信息。实验结果表明,本文算法在所构建的绝缘子缺陷数据集上的检测准确率达到91.2%,相比Faster R-CNN或YOLO v3等单模型检测算法提升了3.31个百分点以上,能有效实现无人机巡检中绝缘子自爆缺陷的检测,为输电线路智能化巡检故障诊断提供方法支持。     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。     

复杂背景下的手势识别

目的 手势识别是人机交互领域的热点问题。针对传统手势识别方法在复杂背景下识别率低,以及现有基于深度学习的手势识别方法检测时间长等问题,提出了一种基于改进TinyYOLOv3算法的手势识别方法。方法 对TinyYOLOv3主干网络重新进行设计,增加网络层数,从而确保网络提取到更丰富的语义信息。使用深度可分离卷积代替传统卷积,并对不同网络层的特征进行融合,在保证识别准确率的同时,减小网络模型的大小。采用CIoU（complete intersection over union）损失对原始的边界框坐标预测损失进行改进,将通道注意力模块融合到特征提取网络中,提高了定位精度和识别准确率。使用数据增强方法避免训练过拟合,并通过超参数优化和先验框聚类等方法加快网络收敛速度。结果 改进后的网络识别准确率达到99.1%,网络模型大小为27.6 MB,相比原网络（TinyYOLOv3）准确率提升了8.5%,网络模型降低了5.6 MB,相比于YOLO（you only look once）v3和SSD（single shot multibox detector）300算法,准确率略有降低,但网络模型分别减小到原来的1/8和1/3左右,相比于YOLO-lite和MobileNet-SSD等轻量级网络,准确率分别提升61.12%和3.11%。同时在自制的复杂背景下的手势数据集对改进后的网络模型进行验证,准确率达到97.3%,充分证明了本文算法的可行性。结论 本文提出的改进Tiny-YOLOv3手势识别方法,对于复杂背景下的手势具有较高的识别准确率,同时在检测速度和模型大小方面都优于其他算法,可以较好地满足在嵌入式设备中的使用要求。     

基于Faster R-CNN的灵武长枣图像检测方法

基于机器视觉技术自动采摘地方特色林果灵武长枣时,自然变化的环境会极大地影响检测的准确率.为适应时时变化的自然环境,提出基于双损失函数的区域卷积神经网络(Faster R-CNN)集成学习模型.建立图像数据集,包括训练集和测试集;根据特征搭建Faster R-CNN模型,在RPN层利用softmax作为基础分类器得到感兴...     

基于Faster-RCNN和先验知识的车架VIN码识别方法

为了提高车检所工作效率,同时克服对VIN(Vehicle Identification Number)这类长字符串识别准确率低的难题,基于现有深度卷积神经网络的模型,提出以Faster R-CNN为主干网络,并结合先验知识的车架VIN识别模型。根据车架号图像特点,选择Faster R-CNN进行字符级定位和识别的方案。针对长字符识别容易漏字符的现象,使用被遗漏位置的前后字符坐标来定位缺失字符。使用inception网络对补漏得出的字符区域进行识别。灵活使用先验知识使得该方法比只使用Faster R-CNN识别车架号的准确率提高了31.7百分点,识别率达到了64.77%,这也高于当前主流OCR模型在长度超过15位的文本上的准确率。     

基于改进Faster R-CNN的垃圾检测与分类方法

针对人工分拣垃圾环境差、任务繁重且分拣效率低的问题,为提高垃圾识别与分类的精确度,同时克服垃圾体积小及图像分辨率较低的难题,基于现有深度卷积神经网络模型,提出改进的Faster R-CNN目标检测模型与VGG16及ResNet50卷积神经网络相结合的方法。根据卷积网络的特性,修改Faster R-CNN网络结构,提升小目标检测任务精度,采用Soft-NMS算法替代传统的非极大值抑制算法,并对参数进行敏感分析,确定其参数范围为0.4~0.7。实验结果表明,与传统Faster R-CNN算法相比,该方法平均精确度提高8.26个百分点,综合识别率达到81.77%,且能够减少图像处理时间。