基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络（DHI-STGCN）用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于惯性测量系统的人体运动捕捉技术

通过对人体运动捕捉技术的研究,引入对偶四元数姿态变换方法,利用惯性姿态测量系统捕捉手臂关节的运动角速度、运动加速度、运动轨迹等信息。结合惯性传感器捕捉的人体肢体段的运动学参数,建立虚拟人体棒状骨架模型,实时驱动虚拟人手臂运动。实验结果表明,对偶四元数变换的方法结合了四元数旋转和对偶数平移的特点,避免了在大角度下欧拉角产生的奇异现象;对比图像捕捉系统,惯性运动捕捉系统能够方便获得运动姿态数据,快速建立虚拟人体结构模型。     

CNN A-BLSTM network的双人交互行为识别

关节点数据结合卷积神经网络用于双人交互行为识别存在图像化过程中对交互信息表达不充分且不能有效建模时序关系问题,而结合循环神经网络中存在侧重于对时间信息的表示却忽略了双人交互空间结构信息构建的问题.为此提出一种新的卷积神经网络结合加入注意机制的双向长短时期记忆网络(CNN A-BLSTM)模型.首先对每个人的关节点采用基...     

基于姿势估计和特征融合的行人重识别算法

行人重识别在交通管理、寻找走失人口等范畴用途较广。现有算法难以处理人体姿势改变、遮挡和特征不对齐的问题,提出一种姿势引导和特征融合的行人重识别算法。所提出的算法包括3个分支,包括全局分支、基于姿势估计引导的全局分支、局部对齐分支。全局分支提取行人的全局特征,可以捕捉行人的粗粒度信息以及整体的上下文关系。基于姿势估计引导的全局分支利用姿势估计网络引导模型关注行人的全局可见区域,降低遮挡物对行人识别的干扰。局部对齐分支利用姿势估计算法构成对齐的局部特征,同时区分可见的局部区域,以降低遮挡以及姿势变化的影响。通过多分支结构,将局部特征和全局特征融合,以加强特征的多元化,增强模型的鲁棒性。最终,利用交叉熵和软边界三元损失进行模型训练。Market-1501和DukeMTMC-ReID数据集上的测试结果效验了所提算法的可行性,其间,DukeMTMC-ReID数据集的Rank-1、mAP各达成了91.2%、81.8%,具有较佳的实用性。     

计算机视觉布料瑕疵检测方法综述

长久以来,布料的瑕疵检测工作一直由质检员完成,瑕疵判别过程受主观因素影响大,存在检测效率低、成本高等问题。随着计算机视觉技术的发展,基于视觉技术的布料瑕疵检测系统逐渐成为取代人工质检的重要解决方案。针对基于视觉技术的布料瑕疵检测,从行业发展情况、通用检测标准、系统整体结构、检测算法的关键技术等方面进行了综述,介绍了目前市面上已经存在的基于视觉技术的布料瑕疵检测产品,分析了目前常用的瑕疵检测标准与检测系统的基本结构,梳理并对比了近年来图像处理与深度学习技术在布料瑕疵检测领域的研究现状。最后,总结了各方面尚待解决的关键问题,并探讨了未来可能的发展方向。     

基于改进YOLOv3算法的布匹疵点检测

基于视觉的布匹疵点检测具有检测效率高和成本低的优势.目前基于深度学习的目标检测算法得到了广泛应用,但是布匹疵点检测具有检测小型疵点准确率低、计算量大和检测速度慢的缺陷,因此提出一种改进YOLOv3的布匹疵点检测算法.该算法使用轻量级卷积神经网络GhostNet作为YOLOv3算法的特征提取网络,加快网络的计算速度,同时...     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

基于稀疏编码的动态纹理识别

目的 线性动态系统有效地捕捉了动态纹理在时间和空间的转移信息。然而,线性动态系统属于非欧氏空间模型,无法直接应用传统的稀疏编码进行分类识别,为此提出一种基于稀疏编码线性动态系统的求解方法并应用于动态纹理识别。方法 基于约束凸优化公式,将稀疏编码和控制论中相似性变换结合,优化学习模型参数,解决应用稀疏编码进行分类识别的问题,实现有效的动态纹理识别。结果 在公开的动态纹理图像数据库UCLA上进行实验并与其他方法进行比较,实验结果表明,本文方法具有更好的性能,识别率可达97%,且对遮挡具有更好的鲁棒性。结论 本文方法对动态纹理及遮挡情况具有更好的识别率。     

特大型圆锥滚子轴承支柱保持架氩弧焊接技术

分析特大型圆锥滚子轴承支柱焊接保持架目前普通电弧焊接存在的问题,改进采用氩弧焊接方法,并对保持架倒角进行改进。通过工艺对比验证了支柱氩弧焊接的优越性,支柱氩弧焊接无焊渣飞溅,焊帽质量更好,满足了强度要求,并对焊接的检测进行了说明。