多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

基于改进3D卷积神经网络的行为识别

鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%～7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

多模深度卷积神经网络应用于视频表情识别

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。     

利用几何特征和时序注意递归网络的动作识别

为提高基于人体骨架(Skeleton-based)的动作识别准确度,提出一种利用骨架几何特征与时序注意递归网络的动作识别方法。首先,利用旋转矩阵的向量化形式描述身体部件对之间的相对几何关系,并与关节坐标、关节距离两种特征融合后作为骨架的特征表示;然后,提出一种时序注意方法,通过与之前帧加权平均对比来判定当前帧包含的有价值的信息量,采用一个多层感知机实现权值的生成;最后,将骨架的特征表示乘以对应权值后输入一个LSTM网络进行动作识别。在MSR-Action3D和UWA3D Multiview Activity II数据集上该方法分别取得了96.93%和80.50%的识别结果。实验结果表明该方法能对人体动作进行有效地识别且对视角变化具有较高的适应性。     

基于自注意力特征融合组卷积神经网络的三维点云语义分割

针对现有算法忽略点云数据全局单点特征和局部几何特征的深层关系,导致捕获的局部几何信息缺乏鉴别性且难以有效识别复杂形状的问题,提出基于自注意力特征融合组卷积神经网络的三维点云语义分割算法.首先,设计轻量化网络框架的代理点图卷积提取点云局部几何特征,并加入组卷积操作减少计算量和复杂度,以较少的冗余信息增强特征的丰富性;其次...     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

基于时空图小波神经网络的手部动作识别方法

根据车间人员操作监控的需要,文中研究了一种基于深度学习的新方法——时空图小波神经网络（ST-GWNN）。该算法对图小波卷积进行参数化,以降低每层图卷积层的参数复杂度,并采用一阶切比雪夫多项式逼近图小波卷积;分离多项式阶数 K 与邻接节点阶数之间的关系,固定多项式阶数,通过调整超参数 s 来改变邻域范围,从而识别更多复杂的手部动作。实验结果表明,文中提出的ST-GWNN在动作识别中的识别率优于目前常用的时空图卷积神经网络,并且能够充分利用动作的时空关联性。     

基于格拉姆角场和CNN-RNN的滚动轴承故障诊断方法

针对卷积神经网络难以处理时间序列数据和循环神经网络难以提取数据深层特征的问题,提出了一种基于深度卷积网络和循环神经网络相结合的滚动轴承故障诊断方法.首先,使用格拉姆角场(GAF)编码将一维轴承振动信号构造为时序图像并划分为训练集、验证集和测试集;然后,将训练集和验证集输入VGG16模型进行特征提取,将提取到的特征输入R...     

一种基于神经网络特征识别方法的研究

提出一种新型基于人工神经网络的特征识别方法,可大大加快特征识别的速度,降低交叉特征识别的难度。同时,提出的ＬＡ图克服了ＦＡＧ图特征信息不完备的缺陷,使网络的输入形式简洁统一,改善了现有用神经网络识别特征时由于输入的不确定性和复杂性而导致效率不高、特征识别域小和使用困难的不足。此方法通用性较强,计算量较小。     

基于声发射时频分析与卷积神经网络的液膜密封摩擦状态识别

针对液膜密封状态监测领域无损监测开发不足、信号特征评估困难以及摩擦状态判别智能化特性缺乏的问题,提出一种基于声发射时频分析与卷积神经网络的液膜密封摩擦状态识别方法。该方法将声发射无损监测技术应用于液膜密封的摩擦状态监测,卷积神经网络作为液膜密封摩擦状态自主决策的实现手段,声发射信号的时频信息作为卷积神经网络的特征输入,分析短时傅立叶变换、 S变换以及小波变换3种时频分析方法对卷积神经网络识别性能的影响。结果表明：对于液膜密封的声发射信号,3种时频分析方法与卷积神经网络结合的优选顺序为：短时傅立叶变换、 S变换、小波变换;基于声发射时频分析与卷积神经网络的液膜密封摩擦状态识别方法准确率较高,相比其他识别方法取得了较好的识别效果。     

基于特征融合度量学习的高压断路器机械故障诊断

数据驱动的深度学习方法在高压断路器机械故障诊断中取得了一定的成效,然而这些方法实现优异性能的前提是可获取海量训练样本,在现场数据匮乏场景下其诊断性能明显下降。为此,提出了一种新颖的特征融合度量学习模型用于现场小样本高压断路器机械故障诊断。首先构建了特征融合卷积神经网络,有效提升了可鉴别特征提取能力。然后以K近邻算法作为度量学习器实现小样本数据的匹配和分类。最后通过改进中心损失进一步提升特征表示的分辨能力,并通过情景训练从实验室构建的大样本集中学习可迁移知识。实验结果表明,本文方法在每类支持集样本数为5时便可达到94.58%的诊断精度,相对于卷积神经网络提升了63.71%。同时,得益于情景训练方式本文方法有效避免了非平衡样本的问题。     

无线视频监控系统人脸跟踪功能的实现

为实现视频监控的人脸跟踪功能,结合计算机视觉与舵机云台控制技术,设计了一种基于嵌入式处理器的无线视频监控系统.利用 MicroPython 计算机视觉库对采集图像进行滤波处理,以增强图像效果.采用改进卷积神经网络模型进行机器学习和人脸识别,将处理后的监控图像上传至服务器,用户可通过查看浏览器进行实时监控.测试结果表明,当有人脸出现在视频监控范围内时,系统可驱动舵机云台进行有效的人脸识别与追踪.     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

三维模型特征识别中的神经网络方法

将神经网络方法运用到三维模型的特征识别问题是一种新的尝试，对于用神经网络解决拓扑性的、不易被形式化的这类问题具有积极意义。本文综述了近10年来各种基于神经网络的三维模型特征识别技术，介绍并分析了三维模型拓扑数据的矢量化方法、不同神经网络模型的识别算法，以及基于层分解技术的特征自组织识别等，可帮助相关领域的研究人员较为完整地了解该领域的研究成果和发展方向。