基于三维视觉特征的数字手势语义识别新方法研究

为了解决现有手势识别易受背景噪声干扰和算法较为复杂的问题,提出一种基于3D视觉的数字手势语义识别方法。首先,通过RealSense 3D相机采集手部区域的RGB图像和深度图像,并结合深度信息和肤色信息,对手势进行分割;其次,对手势图像进行形态学滤波后,得到手势区域的轮廓凸包面积比、凸缺陷数、手指夹角和关键点连线比值等特征参数;最后,通过分析不同手势独有的特征参数,实现准确的手势识别。对数字0～9的手势分别进行50次识别实验,手势分割准确率为100%,手势识别准确率为98.5%。实验表明该方法准确可靠,数字手势识别效果理想。     

基于半监督生成对抗网络的毫米波雷达跨域手势识别

基于深度学习的毫米波雷达手势识别以其免接触、保护隐私和环境依赖性低等特点受到越来越多的关注。但是目前的学习方法大都采用全监督方法,其性能受限于雷达数据的获取和标注,且其学习样本都来源于单一环境,极大的影响了不同场景下的迁移能力,因此本文提出了一种基于半监督生成对抗网络的跨域手势识别方法。首先,通过数据预处理,提取动态混合特征时间图（DFTM）以消除环境干扰,并且对手势动态特征进行更加全面的表征;其次,结合毫米波信号特点进行数据增强,进一步扩充数据量,提高模型泛化能力;第三,针对实际应用中可获得的标记数据通常较少的问题,提出并构建了一个改进半监督生成对抗网络,在原始GAN的基础上增加了分类器,通过生成数据帮助提高分类器辨别能力,同时利用源域中的少量标记数据和目标域中的大量未标记数据,实现域无关的手势识别。实验结果表明,对于新用户、新环境和新位置的平均手势识别准确率分别达到 98.21%、95.23%和97.6%。与现有其他手势识别方法相比,本文所提方法在只有少量标记数据的情况下也能达到较高的跨域手势识别准确率,为后续毫米波雷达人机交互提供了新的研究思路。     

改进Canny算子在静态手势分割中的应用

为满足静态手势分割中对于手势提取的要求,本文提出使用一种联合滤波方式及自适应阈值的改进传统Canny算子。在获取图像后先进行双边滤波,再采用椭圆肤色模型筛选肤色域,并将域分成块,根据块域特征分离手部,最后采用自适应阈值的改进Canny算子提取互动手部轮廓。     

锥套定位的高精度点圆特征提取算法

光学标记辅助加油锥套识别定位系统中,快速高精度提取光学标记质心坐标是锥套定位的重要基础。 实际应用场景 下,工作距离越远,光学标记点特征的成像越弱;且复杂的背景干扰使得质心提取的准确性大大降低。 通过分析光学标记点、圆 特征的成像特性,结合锥套结构特点,对光学标记圆特征进行提取,精确分割锥套有效特征区域以代替全局搜索,剔除大量背景 干扰;进而提出了一种由类 FAST 阈值粗定位法与二维高斯残差重心拟合法相结合的二级高效点特征质心提取算法,通过设置 亮度阈值快速识别光斑特征并获取粗略位置,在此基础上精确框选光斑像素分布邻域,拟合计算提取高精度亚像素质心坐标。 实验表明,本文算法满足实时提取要求,与其他经典算法相比,本文算法在保持较高精度的同时,稳定性也能达到较高水平。     

基于语义分割与连通区域标记的隔离开关状态识别方法

提出一种基于语义分割与连通区域标记的隔离开关状态识别方法.首先,提出基于语义分割算法的隔离开关像素提取方法,将图像按照语义类别进行像素分类,实现对开关臂所在像素的提取.其次,提出基于区域生长算法的语义分割图像标记方法,实现对隔离开关连通区域的标记,并提出面积排序统计方法优化面积阈值和消除非开关臂区域.最后,根据开关臂连通区域个数判断隔离开关状态.通过引入风格迁移算法生成隔离开关风格化图像增强训练集,提升污损图像中隔离开关定位、分割的准确性.实验结果表明所提方法能够准确定位、分割隔离开关,并识别开关状态.     

手部姿势与挥动速度识别的人机交互

为了实现人与机器人之间最自然、最直观的交互,设计了一种基于Kinect手部姿势与挥动速度识别的方法。该方法利用Kinect for Windows SDK中的API追踪并绘制上肢骨架信息定义识别5种遥控机器人的手势,并通过无线接口遥控机器人运动。Kinect传感器固定和移动两种测试环境验证手势识别方法的准确率。测试结果表明,传感器固定不动时,识别性能几乎不受光照、背景的干扰,接近100%;当Kinect缓慢移动时,识别率略有下降;当Kinect移动速度达到0.4 m/s时,识别性能显著下降约25%。这种基于Kinect手部姿势与挥动速度识别的方法为移动机器人提供了一种自然便捷的交互方式。     

改进Sobel算子在静态手势分割中的应用

为了解决传统的Sobel算法存在的斜方向不敏感问题,本文提出了一种改进的Sobel算法并应用在静态手势分割中。该方法首先对静态图像双边滤波,去噪且最大程度保留边缘;然后采用椭圆肤色模型筛选出肤色域,根据肤色域特征分离手部;最后,增加Sobel算法45°和135°两个方向模板,重新分配权重,使用改进算法提取手部轮廓。实验证明其在简单静态手势分割中具有较高精确度。     

基于高光谱成像技术的500 kV运行绝缘子污秽识别及可视化研究

电网绝缘子数量多,污秽成分复杂,传统污秽测试方法耗费大量人力物力,为快速、有效地辨识其污秽程度,本文提出一种基于高光谱成像技术的线路绝缘子污秽等级识别技术。首先,利用高光谱成像仪对不同污秽等级的84支运行绝缘子样品进行图谱信息采集,进行黑白校正;其次,获取感兴趣区域(region of interest,ROI)的反射率光谱曲线,使用SG平滑预处理方法削弱噪声干扰,通过竞争性算法(CARS)提取波谱特征;同时,采用HSI分量法分析现场绝缘子不同污秽等级的图像特征,提取图像饱和度(Saturation)分量特征;结合光谱数据与图像特征参量,建立基于极限学习机(Extreme Learning Machine, ELM)的污秽等级识别模型,识别准确率可达86.1%,获取绝缘子高光谱图像各像素点的图谱信息并使用已建立的污秽等级识别模型进行分类,可实现绝缘子污秽等级的图像可视化。     

基于表观特征的手势识别研究

手势识别在人机交互与虚拟现实中有重要应用,本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测,分割出手势;对手势分割后的图像计算Zemike矩和傅里叶描绘子,选取Zernike矩和傅里叶描述子构成联合特征向量;构建一个多层感知器神经网络分类器,进行手势识别。构建一个含有2000样本的数据集来验证算法,实验结果显示手势识别准确率达到98．9％.     

Grael脑电放大器与深度学习的手势实时识别研究

手势识别是人机交互的关键。为了能够更好地实现脑电信号与肌电信号的融合,精准地识别人体的运动,本文建立了一套基于Grael脑电放大器的手势动作实时检测识别的研究系统。通过Grael脑电放大器和Curry8系统采集5个通道的8种不同手势的表面肌电信号(sEMG),并对采集到的sEMG信号进行滤波去噪、滑动窗口分割以及特征提取等预处理的操作;最后采用几种常用的分类器与卷积神经网络(CNN)对不同手势的sEMG信号进行实时分类识别。结果表明CNN的识别准确率最高,能达到92.98%;对每个手势动作进行30次实时识别检测,结果显示识别延迟大概在1～1.5 s,实时识别的精度可高达90%。该系统为将来研究脑电信号与肌电信号的融合提供了一个可行的方法,在人机交互方面展现了巨大的潜力和应用空间。     

基于Mask R-CNN的轮毂缺陷分割技术

汽车轮毂在铸造过程中不免有缺陷的产生,为实现工业检测自动化的需要,提出了基于Mask R-CNN的汽车轮毂缺陷自动分割方法,采用卷积神经网络模型训练参数来代替传统的人工设定参数。首次将Mask R-CNN应用于轮毂缺陷图像的识别,通过深层次的卷积网络训练可以使模型识别轮毂缺陷特征并将不同缺陷类型标注并分割开来,从而实现轮毂X射线图像的自动分割。实验表明,使用Mask R-CNN模型对复杂轮毂缺陷的识别率有93%以上,并对不同的缺陷类型都有效果,且每帧检测时间达到0.24s/帧,满足工业轮毂缺陷检测的要求。     

基于改进Mask R-CNN的硬化混凝土离析程度评价北大核心CSCD

水工混凝土钻孔图像中骨料的精准分割对于硬化混凝土离析评价至关重要。然而,传统的骨料图像分割方法存在精度低和泛化性能差的问题。针对上述问题,本文提出了一种改进Mask R-CNN的硬化混凝土骨料分割模型,通过在Mask R-CNN模型的主干网络中引入高效通道注意力模块(efficient channel attention,ECA)与空间注意力模块(stage attention module,SAM),实现卷积网络对通道与空间权重的自适应调整,从而提升模型对目标骨料边界与位置分布的检测性能;进一步提出硬化混凝土离析程度定量评价方法,通过量化目标骨料的面积、边界以及在高程方向上的分布,实现混凝土离析程度的定量评价。工程案例表明,所提骨料分割模型平均精度(m AP@0.5)达到了0.8752,相比未改进模型提高了4.19%,在多种复杂环境下的分割效果均优于传统骨料图像分割方法,且混凝土离析程度定量评价平均误差仅为4.85%,验证了所提方法的有效性与优越性,为混凝土离析程度科学评价提供了新的技术手段。     

基于改进Mask R-CNN的建筑工地实例分割算法

实例分割对排除建筑工地不规则机械设备带来的安全隐患以及监测工人具有重要意义。然而当前主流的实例分割模型存在着边界检测精度不高的问题。结合实例分割的特点，提出了一种基于全局上下文通道注意力（GCCA）机制多阶段细化掩码的改进Mask R-CNN模型。首先，在Mask头部以多阶段的方式逐步融合细粒度特征，细化高质量掩码。其次，为了更好的融合细粒度特征，构建了GCCA注意力机制，其通过简化的全局上下文模块聚合全局特征，并利用一维卷积实现无降维的局部通道交互。实验结果表明，在COCO和MOCS数据集上均取得了较好的效果。其中，相较于Mask R-CNN模型，此算法在检测和分割的平均精度分别提高了2.4%和7.6%。     

基于Mask R-CNN的复合绝缘子过热缺陷检测

针对当前基于复合绝缘子红外图的过热缺陷检测技术中存在的工作量大、智能化程度低,以及传统的图像分割方法在复杂背景下分割不精确且泛化性能差的问题,提出了一种基于实例分割网络Mask R-CNN的复合绝缘子过热缺陷检测方法。首先,该方法为提高分割精度,借鉴Cascade R-CNN的思路对Mask R-CNN网络进行改进,并在模型训练中使用数据增强、迁移学习等方法提升网络表现。接着,该方法对深度分割网络得到的结果使用传统图像处理的骨架化等方法做进一步优化,使得最终的分割结果只覆盖复合绝缘子芯棒部分。最后,该方法直接读取红外图中自带的温度数据并转换成实际的温度值,根据DL/T664-2016《带电设备红外诊断应用规范》中的相关方法与标准实现对过热缺陷的等级判断。研究结果表明,该文提出的算法对出现严重缺陷及紧急缺陷的复合绝缘子红外图检测准确率较高,都是100%,而无过热缺陷或者一般缺陷的红外图会出现误检现象,总体上在测试集的缺陷检测中取得了93%的准确率。     

基于峰谷形态的纸张纹路分割算法

针对基于图像纸张计数技术最为关键的纹路提取与分割问题,本文从峰谷形态角度提出一种新的算法。该方法首先利用测地重建消除产生干扰的次要极值区域,接着利用区域极值对极值区域和非极值区域进行0,1标记得到二值条纹后即可实现计数。文章比较了区域极值,动态阈值以及全局阈值在复杂成像条件下不同的纹路分割性能。实验证明,极值是比阈值更为优越的明暗条纹判据,具有更强的抗毛边,抗油墨,以及抗光照不均性能,因而能保证更高的计数准确率。     

基于红外图像的输电线路故障识别

传统红外图像输电线路故障识别方法易受到噪声的干扰,故障边缘特征信息模糊,不能准确找出输电线路故障的位置,存在识别准确率低,抗干扰性差等难题,为此提出了基于红外图像对输电线路故障识别方法。采用红外成像仪器采集输电线路的温度变化图像,并采用粒子滤波算法去除故障图像中的噪声干扰,通过RGB色彩通道转换对输电线路红外图像的故障区域进行划分,利用共轭梯度法对输电线路故障区域的故障点进行识别和定位。实验结果表明,该方法能够实现输电线路故障的准确定位和高精度识别,且定位精度高达80%。     

基于HS-CrCb空间的手指数量检测方法研究

手势识别成为未来人机交互的重要方式,本文主要对复杂背景下手指数量的检测方法进行研究。首先通过对比分析不同颜色空间下的手势区域提取方法,提出一种基于 HS-CrCb 肤色模型的手势区域提取方法,并在实验中提取了更清晰和完整的手势区域;其次,采用凸缺陷、手势形状以及手指夹角等特征对手势进行建模和手指数量检测,算法能准确识别出不同手势下对应的手指数量。在Qt和OpenCV环境下建立算法平台,算法在实验测试中取得了良好的效果,具有较好的工程参考和应用价值。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。