基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10^-3。     

基于时序深度置信网络的在线人体动作识别

在线人体动作识别是人体动作识别的最终目标,但由于如何分割动作序列是一个待解决的难点问题,因此目前大多数人体动作识别方法仅关注在分割好的动作序列中进行动作识别,未关注在线人体动作识别问题.本文针对这一问题,提出了一种可以完成在线人体动作识别的时序深度置信网络（Temporal deep belief network, TDBN）模型.该模型充分利用动作序列前后帧提供的上下文信息,解决了目前深度置信网络模型仅能识别静态图像的问题,不仅大大提高了动作识别的准确率,而且由于该模型不需要人为对动作序列进行分割,可以从动作进行中的任意时刻开始识别,实现了真正意义上的在线动作识别,为实际应用打下了较好的理论基础.     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作。针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM)。首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出利用长短期记忆(LSTM)网络进行人体行为动作的识别。由于卷积神经网络在特征提取方面具有较好的性能,且长短期记忆模型擅长处理时间序列问题,因此将这两种模型进行融合理论上具有较好的效果。在WISDM数据集上进行实验,结果表明:该方法对六种人体行为动作的平均识别率达到了96.95%。     

基于变形距离分析的多分辨率动画模型生成

在计算机图形学中,关于网格简化的方法已有很多,但绝大多数都是针对静态网格进行的,对于动画变形网格的简化工作还很少.提出了一种基于变形距离的动态表面多分辨率模型生成方法.基于重复边收缩操作来对模型进行简化,使用变形距离来度量三角形面片在整个变形序列的变形程度,将此权值考虑到累加的边折叠代价中,可以有效地保持一些形变较大区域的细节特征.在此基础上,提出了一种在动画模型序列上的网格优化算法,在调整三角形形状的同时,提高了动态模型输出的时间一致性,减小了相邻帧之间的视觉跳变.实验结果证明该方法具有较高的效率,易于实现,并且可以输出任意分辨率的高质量简化模型序列.     

基于Transformer的人体动作识别

为实现人体动作的精准识别,判断人体行为,提出基于Transformer的人体动作识别方法。以注意力机制神经网络为基础,引入Transformer框架,构建人体动作识别网络模型;该模型利用注意力机制提取视频中关键信息特征,同时依据Transformer模块提取动作帧的时间特征,将提取的两种特征融合后输入分类器中,经由模型的分类器完成动作分类识别。测试结果表明,该方法具有较好的应用效果,能够精准识别视频图像中的人体动作情况,判断人体行为。     

三维人体骨骼动画自动合成方法研究

传统的人体骨骼动画制作方法是参考真实人体骨骼运动过程中各关节点的坐标位置变化轨迹,确定关键帧与插值帧模型,再进行必要的编辑处理,这需要大量的专业领域知识以及复杂的交互规则,人力物力成本高。为解决上述问题,提出了一种在给定任意两个人体骨骼动作数据作为首尾帧的条件下,自动合成完整三维人体骨骼动画序列的方法。方法由基于卷积自编码网络的骨骼动画特征提取模型和双线性插值与卷积相结合的插值帧自动合成模型两部分组成。随机从Mocap数据库中抽取两帧人体动作数据作为模型的输入,可以自动生成三维人体骨骼动画。文中方法与传统插值帧生成方法相比,具有较好的动作趋势转折信息的预测和还原能力,提升了动画系统的交互效率以及智能水平。     

人体跌倒识别算法研究

为快速有效地获取老人跌倒信息,提出了一种人体跌倒识别算法,以深度序列为基础,通过Kinect提供的骨架关节数据构建人体动作表示模型,将人体动作看作关节运动曲线和速度曲线的集合,引入离散Fréchet距离作为关节运动曲线和速度曲线的相似性测度,使用最近邻(KNN)分类器对动作样本进行分类.在公开数据集SDUFall上进行了实验,结果表明,方法优于已有方法.     

基于词袋模型的人体动作识别方法

传统词袋模型构建的词典不稳定，且忽略词向量先后顺序，在用其进行人体动作识别时，识别效果不稳定，尤其对倒序动作识别效果不佳。针对这些问题，提出一种基于时空联合频率直方图实现动作分类的方法。提取肢体关键角度信息，把关键角度的帧间差值作为时间特征描述子；构建稳定的时间词袋与空间词袋，利用其联合频率直方图表示动作序列，增强动作时间特性；利用支持向量机(SVM)实现动作分类。在一个具有挑战性的数据集-UTKinect数据集上进行实验，结果表明，相比于传统词袋模型与一些已有方法，该方法能够有效提高动作识别的准确率。     

基于概率PCA模型的三维人体运动分类

提出基于概率主成分分析的三维人体运动自动识别与分类算法.它根据不同类别的人体运动应各有自己代表性的特征集,采用概率PCA方法建立各类动作的高斯分布模型;然后构建基于最小错误率贝叶斯决策理论的多分类器,实现对未知的动作序列(或具有代表性的帧)进行多分类决策.该方法具有概率模型的优点,适合高维数据处理;同时,这种方法能够提取运动数据的内在特征,较好地消除了运动数据在时间轴上的差异带来的问题,从而准确地对运动数据进行分类,实验结果证明了本文方法的有效性.     

一种结合形状序列和DTW的动作识别方法

提出了一种单幅图像上轮廓信息的获取方法,在一段时间内发生的动作可以通过采样获得多幅图像来表示该动作特征.这些图像可以看成是轮廓形状变化序列,通过比较不同动作的轮廓形状序列,使得动作能够较容易地识别出来.实验证明,轮廓信息能够较好地反映对象的形状,采用形状序列和DTW相结合的方法能够提高动作识剐的准确性.     

基于动作串的人体行为识别

提出了一种以运动人体侧影为特征的基于模板匹配的人体行为识别方法.首先,利用背景差分法和阴影消除技术提取运动人体侧影.利用缓变换对人体侧影进行特征提取,将时变的2D区域形状转换为对应的1D距离向量.然后,利用谱系聚类方法提取动作序列的关键姿态,将关键姿态编码为称为动作串的模板.最后,利用动态时间规整算法度量测试序列与标准模板之间的相似性.实验结果表明,本方法对人的6种日常行为进行识别的正确识别率达到85％以上,具有简单实用的特点.     

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题.针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图.将具有多关系特性的人体骨架序列数据重新编码...     

一种生成渐进动画网格模型的改进算法

在计算机图形学中,动画网格模型被广泛地用来表示时变数据,而模型的渐进网格表示方法经常可以用来加快处理、传输和存储速度.文中提出一种生成渐进动画网格模型的高效方法.该方法使用一种改进的基于曲率的二次误差测量准则来计算边折叠代价,可以有效地保持曲面上更多的局部特征.同时,定义了原始动画序列的变形程度权值,并将其加入到累加的边折叠代价中,这样动画模型中的动作变形特征就得到了有效的保持.最后,对动画序列提出了一种优化算法,可以有效地减少动画输出的视觉跳变,提高相邻帧的时间一致性.实验结果证明,本方法高效、易于实现,并且可以在任意细节层次上生成高质量的渐进动画网格模型.     

基于高光线模型消除三角形网格局部不规则区域

高光线是检测自由曲面质量的有效工具.它提供一种直观且便利的手段,在交互设计中提高自由曲面质量.文中提出了在任意三角形网格曲面上生成高光线模型的一种方法.基于该高光线模型,文中给出了一种消除三角形网格上的局部不规则区域的方法.该方法通过求解一个目标函数,并迭代地移动网格顶点位置,来获得修改后的新网格.利用该方法能够同时优化三角形网格表面形状以及网格上的高光线形状.该方法直观易用,适合于三角形网格的局部形状优化.     

智能视频监控中的人体检测与识别

针对传统的单点视频检测,提出了一种智能的视频人体检测与识别方法.该方法首先通过彩色空间的降维,在线更新背景模型,消除时间变化引起的阳光、天气等因素对背景图像的影响.然后对视频图像当前帧和背景帧差分检测和当前帧Canny边缘检测,得到视频人体初始差分边缘模板.最后对人体进行分割、测量,融合形状比例特征和人体区域比对法识别人体,进而更新差分边缘模板.实验证明了视频人体检测与识别方法准确率高,处理时间短,存储量小.     

采用张量投票理论的三角网格特征边提取算法

识别与提取模型几何特征在几何模型的编辑处理中起着重要作用,然而大多数已有算法在处理质量较差的三角网格模型时往往会失效,为此提出一种基于张量投票理论的特征边提取算法.首先根据张量投票矩阵特征值分布与顶点几何特征之间的对应关系对顶点进行分类;采用断点连接方法来保证顶点分类过程中能够正确地区分平滑特征上的边点及角点;根据顶点的类别结果进行区域增长,并提取区域增长后的边界,从而得到网格特征边.实验结果表明,文中算法对大多数模型可靠有效,能够处理网格分布不均匀,以及含有狭长三角形或含有孔、缝的模型,处理有噪声的模型也能达到较好的效果.     

基于改进时空图卷积神经网络的钻杆计数方法

针对现有钻杆计数方法存在劳动重复、计数误差较大、未考虑动作的时序信息等问题,提出了一种基于改进时空图卷积神经网络（MST-GCN）模型的钻杆计数方法。首先,通过矿用监控摄像头获取井下打钻视频数据,采用Alphapose算法在图像序列中提取人体的关键点信息,得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据,进而构建表征人体动作的骨架序列;然后,在时空图卷积神经网络（ST-GCN）模型的基础上设计了MST-GCN模型,采用远空间分区策略关注骨架上距离较远的关键点运动信息,通过注意力机制网络SENet融合原空间特征与远空间特征,从而有效识别骨架序列上的动作类别;最后,在打钻视频上利用支持向量机辨识打钻姿势来决定是否保存骨架序列,若骨架序列长度保存到150帧则使用MST-GCN模型识别动作类别,并根据实际打钻时间设置相邻动作的识别间隔,从而记录动作数量,实现钻杆计数。实验结果表明：在自建的数据集上,MST-GCN模型的识别准确率为91.1%,比ST-GCN、Alphapose-LSTM和NST-GCN动作识别模型的准确率分别提升了6.2%,19.0%和4.8%,模型的损失值收敛在0.2以...     

基于关键帧节点自适应分区与关联的行为识别算法

基于视频的人体行为识别任务中由于大部分画面并不包含重要的判别信息,这对识别应用的准确性造成严重干扰。关键姿态帧既能表达视频又能降低计算量,且骨骼数据相比于图像包含更多维度的信息。因此,提出一种基于关键帧骨骼节点自适应分区与关联的行为识别算法。首先构建自适应池化深度网络以评估帧的重要性获取关键姿态帧序列;其次通过节点自学习模型建立非自然连接状态下的节点间关联;最后将改进的时空信息应用于STGCN并使用softmax分类识别。在开源的大规模数据集NTU-RGB+D和Kinetics上与几种典型技术进行比对,验证了所提方法在减少冗余数据量的同时能保留关键动作信息,且动作识别准确率平均提高了0.63%～11.81%。     

体积平方度量下的特征保持网格简化方法

提出了一种基于体积平方度量的三角形折叠网格简化新方法.新方法通过极小化误差目标函数简化三角形网格.简化误差定义为三角形简化后产生的网格模型平方体积变化,并以三角形几何形状因子和法向因子作为约束.简化误差的表示形式为一个二次目标函数,因此,每次简化后三角形网格的新顶点是一个线性问题的解.与目前简化效率最好的QEM方法相比,新方法不增加算法复杂度.如果被简化的三角形是强特征三角形,则用其高斯曲率最大的顶点作为新顶点,以保持原始模型的细节特征;对于非强特征三角形,新顶点用极小化折叠误差确定.对于边界三角形,新顶点的位置由不同于内部三角形的方法进行计算,保持了网格的边界特征.最后用实例说明新方法的有效性.