构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

基于改进3D卷积神经网络的行为识别

鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%～7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。     

基于 Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于 Transformer 的三维人体姿态估 计及其动作达成度评估方法。 首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出 并构建了一个基于 Transformer 的三维人体姿态估计模型(TPEM),Transformer 的引入能够更好的提取人体姿态的长时序特征; 其次,利用 TPEM 模型对三维人体姿态估计结果,设计了基于加权 3D 关节角的动态时间规整算法,在时序上对不同人物同一动 作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据 集上进行实验验证,TPEM 在 Human3. 6 M 数据集上实现了平均关节点误差为 37. 3 mm, 而基于加权 3D 关节角的动态时间规 整算法在 Fit3D 数据集上的平均误差帧数为 5. 08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性 和有效性。     

利用几何特征和时序注意递归网络的动作识别

为提高基于人体骨架(Skeleton-based)的动作识别准确度,提出一种利用骨架几何特征与时序注意递归网络的动作识别方法。首先,利用旋转矩阵的向量化形式描述身体部件对之间的相对几何关系,并与关节坐标、关节距离两种特征融合后作为骨架的特征表示;然后,提出一种时序注意方法,通过与之前帧加权平均对比来判定当前帧包含的有价值的信息量,采用一个多层感知机实现权值的生成;最后,将骨架的特征表示乘以对应权值后输入一个LSTM网络进行动作识别。在MSR-Action3D和UWA3D Multiview Activity II数据集上该方法分别取得了96.93%和80.50%的识别结果。实验结果表明该方法能对人体动作进行有效地识别且对视角变化具有较高的适应性。     

基于深度测量的行人体态特征提取与再识别方法

行人再识别是视觉监控系统的核心问题之一,然而传统基于彩色图像的特征提取方法难以用于极暗光照条件下的行人再识别。本文提出一种基于深度测量的行人体态特征提取方法,由于深度测量独立于光照条件,因此所提方法可以在极暗光照条件下对行人目标进行有效识别。由深度数据经过分割和滤波生成人体点云,将观测点云与初始人体模型进行配准,基于配准后的点云对人体模型的体态参数和姿态参数进行联合估计,计算体态特征向量的欧式距离实现行人再识别。在公开数据集和实验室自采数据集上进行验证,计算Rank-n、累计匹配曲线、平均精度均值等性能指标,其中在Single shot评估模式下BIWI数据集的Rank-1可达到70.71%、Rank-5可达到92.32%,结果表明本文所提算法可有效提高再识别精度。     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。 首先 充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的 差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷 积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张 量识别人体行为。 使用 NTU RGB-D 数据集进行实验仿真,识别准确率达到 84. 57% ,并且设计相应的系统进行实际应用验证, 结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。     

基于双向LSTM的复杂环境下实时人体姿势识别

提出了一种基于双向长短时记忆网络(long short-term memory, LSTM)的实时人体姿势识别方法。将OpenPose作为人体姿态估计模块获取人体的二维关节点数据,根据数据缺失情况判断人体是否处于遮挡状态。对于非遮挡情况,构建基于双向LSTM的分类器,将初始的二维关节点信息送入分类器进行人体姿势识别;对于遮挡状态,利用深度摄像机内参进行三维映射,构建躯干向量和关节角度,使用主成分分析对上述高维特征进行处理后送入分类器进行人体姿势识别。在KTH数据集以及实验室收集的包含5种人体姿势的数据集上进行验证,结果表明,该算法在非遮挡情况下准确率较传统模型以及深度学习模型分别取得了2.63%和1.08%的提升。在遮挡情况下准确率较传统模型取得了5.6%的提升。实现了在复杂环境下的人体姿势识别。     

基于多元回归的人体动态视觉定位方法

提出了一种低精度视觉设备布置环境下的单目视觉人体动态定位方法,通过构建的人体定位多元回归预测模型,建立人体从2D图像空间到3D位置空间的映射关系,无需对视觉相机进行内外参数标定。首先,采集人体的2D图像序列和3D坐标位置序列,构建时间同步的视觉人体定位样本集;其次,通过人体骨架检测算法提取样本集中2D图像的人体骨架信息,进而选取并构建适用于人体定位的关键特征;然后,训练基于多元回归的人体定位模型,采用基于L_1惩罚项的嵌入型特征选择方法和K-fold交叉验证方法,在模型训练过程中实现特征选择和超参数估计;最后,对获取的人体定位模型进行定位误差评估,实验结果表明模型的均方根定位误差为2.95 cm,验证了所提方法的可行性及有效性。     

低分辨率红外感知系统的人体行为数据增强

针对目前公开的人体行为红外数据集较少的问题，本文设计了基于生成对抗网络和基于3D人体红外模型的两种数据增强方法，以快速扩充现有的红外人体行为数据集。搭建了改进的生成网络模型AC-WGAN并添加了网络优化策略，以生成高质量的红外热图；利用Unity 3D引擎搭建表征红外特征及运动信息的人体模型，模拟红外阵列传感器成像原理，实现了给定人体模型及传感器方位信息便能自动生成大量且多样化数据的功能。基于数据增强后的数据集训练和测试卷积神经网络，实验结果表明，网络对不同行为的感知准确度达到80%以上，且显著提高了网络对陌生数据的识别能力，所设计的数据增强方法对于扩充人体行为红外数据集有效。     

基于深度置信网络的大数据制造过程实时智能监控

针对基于浅层学习模型的过程监控方法难以对大数据制造过程运行状态进行实时智能监控的问题,提出了基于深度置信网络的大数据制造过程实时智能监控方法。利用灰度图建立大数据制造过程质量图谱,以精准表达其过程的运行状态;构建用于识别大数据制造过程质量图谱的深度置信网络;应用离线训练好的深度置信网络模型对当前监控窗口内的过程质量图谱进行识别,实现大数据制造过程实时智能监控。最后,应用该方法对某注塑件大数据制造过程进行实时质量智能监控,结果表明：所提方法的识别性能明显优于基于主成分分析与BP神经网络、支持向量机的识别模型,能有效应用于大数据制造过程实时质量智能监控。     

基于新分区策略的ST-GCN人体动作识别

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术，基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能，针对ST-GCN网络模型中的分区策略只关注局部动作的问题，设计了一种新的分区策略，通过关联根节点与更远节点，加强身体各部分信息联系和局部运动之间的联系，将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域，同时为各区域赋予不同的权重，提升了模型对整体动作的感知能力。最后，分别在公开数据集和真实场景下进行实验测试，结果表明，在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率，相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标，相比原模型提升了2.3%和3.3%;在真实场景下，所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高，对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低，尚有进一步提高的空间。     

面向车间人员宏观行为数字孪生模型快速构建的小目标智能检测方法

作为制造过程中的重要影响因素,人员的活动具有很高的自主性和不确定性,因此人员行为的数字孪生模型构建已成为阻碍数字孪生车间技术发展的瓶颈之一。同时,出于火工品生产安全考虑,航天装备等许多产品的制造对车间中不同区域人员的宏观分布有严格的控制需求。鉴于此,针对人员宏观行为数字孪生模型构建问题提出一种三阶段级联卷积神经网络(3-Stage CCNN)的深度学习算法,对车间现场视频中的车间人员进行识别,以支撑人员在图像中的位置信息提取,并为后续构建人员的宏观行为数字孪生模型的实现提供基础。实验证明,该方法在国际公开数据集Caltech Pedestrian和复杂机电产品某院实际数据集上都达到了较好的执行效果和效率,具有较好的实用价值。     

基于工件注意力的车间作业行为在线识别方法

车间作业人员的行为在线监测对于提高车间数字化管理的能力至关重要.传统的识别方法仅通过人的行为信息作判断,忽略了工件对行为识别的辅助作用.鉴于车间中常出现的错乱工序和违规操作大多能通过工件的使用来体现,提出一种基于工件注意力的车间行为在线识别模型.该模型以门控循环单元(GRU)为基础模型对从监控视频中提取的人体关节序列进...     

基于迁移学习和微调的起重机类型识别策略

起重机具有诸多类型,不同类型的起重机具有不同的分析或保养方法,因此对起重机类型进行识别意义重大。针对深度卷积神经网络中存在的数据需求量大、训练时间长、计算成本高等问题,提出一种基于迁移学习和微调的起重机类型识别策略。通过搭建不包含分类层的预训练InceptionV3模型并连接自定义的分类层,利用迁移学习和微调技术,训练出适用于起重机类型识别任务的卷积神经网络。实验结果表明,相较于从头搭建并训练深度卷积神经网络,利用迁移学习和微调方法对预训练模型进行训练可得到较高的识别准确率,并且训练速度更快,训练时间显著缩短。验证集和测试集的识别准确率分别为98.24%和97.67%。     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

基于模型约束的人体姿态视觉识别算法研究

针对移乘服务机器人对人体姿态识别高精度性的要求,以及现有的人体姿态识别方法在关节遮挡情况下识别精度低的问题,提出了一种基于模型约束的人体姿态识别算法,以解决移乘操作前机器人系统对人体关节空间坐标的精确提取。首先采用OpenPose算法识别彩色图像中未遮挡关节的像素坐标,通过对RGB-D相机的彩色图像与深度图像进行对齐,将关节像素坐标转换为3D坐标。然后依据人体模型相关参数以及未被遮挡关节坐标计算与之相连接的被遮挡关节的空间坐标,用于提高遮挡关节的识别精度。实验结果表明,所提出的算法在关节未遮挡时识别精度为92%,在关节遮挡时达到了90%。单帧计算平均用时约为190 ms,满足移动服务机器人操作的实时性要求。