基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。     

基于新分区策略的ST-GCN人体动作识别

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术，基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能，针对ST-GCN网络模型中的分区策略只关注局部动作的问题，设计了一种新的分区策略，通过关联根节点与更远节点，加强身体各部分信息联系和局部运动之间的联系，将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域，同时为各区域赋予不同的权重，提升了模型对整体动作的感知能力。最后，分别在公开数据集和真实场景下进行实验测试，结果表明，在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率，相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标，相比原模型提升了2.3%和3.3%;在真实场景下，所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高，对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低，尚有进一步提高的空间。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

基于关键帧的轻量化行为识别方法研究

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。     

基于人体骨架信息的行人再识别研究综述

行人再识别的主要任务是利用计算机视觉从不同的摄像机中检索出相同身份的人,对特定的行人进行匹配和检索,此研究可以广泛应用于智能视频监控、智能安保等领域。相比于其他易受改变的人体外观特征,提取人的骨架信息作为鉴别特征更具有鲁棒性。为了了解该领域的发展现状,辅助该领域的研究者们进行更深入的探索,本文重点研究了基于人体骨架信息的行人再识别方法,根据算法包含的特征信息,将其分为独立式和混合式,混合式除人体骨架信息外还分别包括RGB-D图像特征和步态特征,之后对不同方法进行了比较,其次在主要数据集上对不同方法进行了评估,最后对此研究的问题与挑战进行了总结并对未来发展趋势进行了展望。     

多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

基于改进高分辨率神经网络的多目标行人跟踪

针对行人多目标跟踪过程中目标被遮挡时产生的检测、跟踪失败问题,提出了一种改进型高分辨率神经网络作为检测网络。首先,为了增强网络对于行人目标的初始特征提取能力,在高分辨率神经网络的基础上,对网络的主干部分引入二代瓶颈残差块结构,提升感受野和特征表达力;其次,设计了添加二层高效通道注意力模块的残差检测块架构,并通过该架构替换了原有网络在多尺度信息交换阶段中的残差检测块,以提高了整个网络系统的测试性能;最后,通过选择适当的参数对网络进行了全面地训练,并通过多个测试集对算法测试。测试结果显示,本文算法相较于FairMOT在2DMOT15,MOT17,MOT20数据集上的跟踪准确度分别提升0.1%,1.6%,0.8%。本文算法可以良好地应用在目标较多且遮挡面积较大的特殊情景,同时对于较长时间视频序列的追踪稳定性也大大提高。     

基于改进3D卷积神经网络的行为识别

鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%～7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

三元组在非监督行人再识别中的应用

随着人们对于公共安全的要求越来越重视,视频监控设备的安装已经变得非常普遍,行人再识别作为针对监控视频中行人进行分析的技术也受到更多人的关注。基于现有的深度学习网络提出了一种以最小化三元组损失为训练目标的非监督行人再识别算法。该设计主要通过预训练模型对数据进行特征提取,然后通过k-means聚类,最后对聚类后的数据进行三元组配对进行网络训练优化。通过在相关数据集上的测试结果可以看出,该设计在处理非标签数据行人再识别方面具有一定的有效性。     

基于时空图小波神经网络的手部动作识别方法

根据车间人员操作监控的需要,文中研究了一种基于深度学习的新方法——时空图小波神经网络（ST-GWNN）。该算法对图小波卷积进行参数化,以降低每层图卷积层的参数复杂度,并采用一阶切比雪夫多项式逼近图小波卷积;分离多项式阶数 K 与邻接节点阶数之间的关系,固定多项式阶数,通过调整超参数 s 来改变邻域范围,从而识别更多复杂的手部动作。实验结果表明,文中提出的ST-GWNN在动作识别中的识别率优于目前常用的时空图卷积神经网络,并且能够充分利用动作的时空关联性。     

利用姿势估计实现人体异常行为识别

异常行为识别是近年来计算机视觉领域的研究热点。为了实现对多人体异常行为精确识别的目标,提出了一种基于人体姿势估计的异常行为识别算法。首先采用基于滤波通道特征的行人检测算法对各个目标人体进行定位;然后对每个人体构建基于图结构框架的外观模型;最终采用霍夫方向计算器算法(HOC)提取人体部件特征,从而进行行为分类。实验结果表明,该文算法可以在单帧图像上对多个人体的行为进行识别,并提供了多类别的异常行为分类,实验效果明显,准确率较高。     

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。 首先 充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的 差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷 积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张 量识别人体行为。 使用 NTU RGB-D 数据集进行实验仿真,识别准确率达到 84. 57% ,并且设计相应的系统进行实际应用验证, 结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。     

基于孪生网络和多距离融合的行人再识别

为了提高行人重识别准确率,并针对当前数据集较小容易产生的过拟合问题,提出一种基于孪生网络和多距离融合的算法,并将其运用到行人再识别任务中。首先,利用孪生网络提取输入局部块的特征,并使用改进的inception模块,使提取到的特征具有辨别性和鲁棒性;然后,基于提取到的图像特征,利用多距离融合算法在特征空间度量其特征匹配优化距离,利用Chamfer距离变换获取跨摄像头行人的鲁棒空间距离并进行多距离融合;最后,利用融合距离进行行人重排序,并在当前流行的VIPeR和CUHK03公开数据集上进行实验。实验结果表明,所提出的算法有效地提高了行人再识别的准确率。     

基于改进深度卷积网络的铁路入侵行人分类算法

异物侵入铁路限界严重影响行车安全,识别铁路限界内的人员侵入对保证铁路运营安全具有重要意义。由于既有铁路图像异物侵入检测系统只能检测报警图像,无法区分是人员侵入的正确报警还是光线干扰导致的误报警,为了降低上述误报警,本文建立了铁路异物侵限报警样本的训练集和测试集,提出了将改进的深度卷积网络提取的高层Alex特征和HOG特征相结合并用于深度卷积网络模型训练的分类算法。首先引入了改进的AlexNet深度卷积神经网络模型,提取了自动学习的Alex高层特征,然后将其与HOG特征相结合形成Alex-HOG组合特征,最后利用组合特征对分类网络进行训练。铁路异物侵限报警测试样本库的实验表明,该方法对1 498张测试样本图像的识别准确率高达98.46%,时间为3.78s,实时性和准确率均有较大提高,对降低系统误报率具有重大意义。     

基于可变形卷积的单帧图像眼球定位追踪

针对目前眼球定位追踪算法存在的眼球定位精准度不高问题,以及为了改进眼球追踪算法的精准度并保证一定的图片处理速度,将可变形卷积网络应用于YOLO网络,对特征分布提取层面进行改进。利用可变形卷积的形变建模能力对卷积核中的各个采样点的位置增加一定的偏移变量,从而从原始单帧图像中提取更具有表征特征的信息,并与先进眼球定位追踪检测网络进行了实验对比。研究表明,可变形卷积YOLO网络的精准度可以达到0.685,平均处理图片刷新率达42帧/s,优于原YOLO网络以及其他眼球定位追踪检测网络。     

基于骨架关键点的车内异常行为识别方法

针对现有异常行为识别方法在车内场景应用少,并且受车内空间狭小、异常行为复杂多变等影响导致识别有效性差等问题。在Alpha pose模型提取驾乘人员骨架关键点基础上,构建驾乘人员人体坐姿模型,采用关键点位置信息描述异常状态,最后利用概率学习模型将位置信息转换为概率对行为进行识别分类。经实验测试,该方法对车内前排人员异常行为的识别准确率能够达到90%以上,且具有一定的实用价值。     

一种基于计算机视觉的无人机实时三维重建方法

针对机器人(或无人机)实时的三维重建中面临的噪声干扰和计算量大的问题,提出一种实时的鲁棒性的同时定位和建图的方法:用RGB-D相机精确估计相机位置的同时重建三维环境。关键思想是测量残差函数——用于估计当前帧的移动量,同时用金字塔模型一步步去逼近真实值。提出一种新的衡量标准用于建立关键帧。然后通过与相邻关键帧的三角化投影给全局地图增加地图点。此外,应用图优化来实现全局优化以获取更高的精度。