基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

人体姿态估计是计算机视觉研究领域的热点研究问题之一,但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点,传统人体姿态估计方法难以准确估计舞蹈者的动作变化,导致舞蹈动作姿态估计准确率较低.针对此问题,本文提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法,该方法针对舞蹈动作骨骼关节点尺度变化剧烈的问题,构建基于序列多尺度特征融合表示的关节点估计模型.并且,针对舞蹈姿态形变较大,遮挡严重的问题,设计基于关节点几何关系的层级姿态估计模型,提高舞蹈动作姿态估计的效果.实验结果表明,本文方法在标准人体姿态估计数据集及自建舞蹈数据集上取得较好的姿态估计结果.     

基于时空多特征融合网络的三维人体姿态估计北大核心CSCD

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。     

球类运动中人体姿态估计研究进展

针对单个RGB图像,人体姿态估计通过对人体关键点定位来估计人体的位置和关节点位置。球类比赛是一种快速的运动,用主观观察对运动员的技术合法性进行判决无法避免错误。因此,文中利用基于人体姿态估计的运动员姿态分析技术进行辅助训练和辅助判罚,有效避免了传统系统中由于人的主观判断对运动员姿态的错误定位。目前,针对人体姿态估计的研究被分为基于传统算法和基于深度学习算法两种主要方式。在基于深度学习算法的基础上又分为单人人体姿态检测和多人人体姿态检测。基于深度学习算法的人体姿态估计通过构建神经网络,运用机器学习的方法提取图片特征读取图片信息,并在用于人体姿态估计的主流数据集上进行性能对比和分析。将人体姿态估计应用到球类运动中,为运动员的日常训练提供了一定的科学参考,同时也最大程度上保证了运动员比赛中的公平与公正。     

基于深度学习的2D人体姿态估计浅析

近年来,随着深度学习技术的发展,基于深度学习的2D人体姿态估计展现出了极其优异的效果。文章主要对2014年以来基于深度学习的2D人体姿态估计相关内容进行了分析和评述,包括对主流方法的介绍和对数据集评价指标的总结对比,最后还讨论了2D人体姿态估计的未来研究方向。     

深度学习的二维人体姿态估计综述

本文针对基于深度学习的二维人体姿态估计方法进行了全面综述.首先对这些深度学习技术进行了分类、分析和比较,并介绍了二维人体姿态估计中常用的数据集和指标,最后还讨论了有待解决的问题和未来研究的挑战.     

多视角下结合形状和运动信息的三维人体姿态估计

该文以多视角同步视频为输入,提出综合利用形状和运动信息的3维人体姿态估计方法。该方法将人体分为头、躯干和四肢等3部分,每部分利用运动信息来预测当前的状态,并以形状信息作为检测器来确定姿态。这种在姿态估计中使用互补信息的方式极大地解决了漂移和收敛到局部极小的问题,也使系统能自动初始化和失败后重初始化。同时,多视角数据的使用也解决了自遮挡问题和运动歧义性。在包含多种运动类型的序列上的测试结果说明了该方法的有效性,对比实验结果也优于Condensation算法和退火粒子滤波。     

图像和视频中基于部件检测器的人体姿态估计

人体姿态估计是计算机视觉领域中的一个关键问题,可以应用于人体活动分析,人机交互以及视频监视等方面。该文针对单目图像和视频中的人体姿态估计问题,基于部件及图推理的方法,对观测模型和推理方法提出改进。该文设计实现了一种旋转不变的边缘力场特征,采用基于边缘力场特征的Boosting分类器作为观测模型,并利用一种基于粒子采样和置信度传播的优化算法进行姿态估计。算法的性能和速度在几个数据集上得到了验证。     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

引航员登离船人体姿态算法研究与实现

在引航员登离船过程中，单一采取加速度阈值判断方法不能完整表征引航员登离船过程上升下降的信息，导致对登离船信息造成误判.为此，提出一种基于人体姿态的双重信号滤波的引航员登离船监测算法.采集姿态传感器节点引航员姿态数据，进行卡尔曼滤波滤除部分测量噪声，估计出人体姿态状态；构造软件数字低通滤波器滤除重力加速度的影响；构建FIR滤波器滤除所需线性加速度中的噪声，并检测引航员登离船过程中的姿态信息；最终与攀爬防护装置进行联动配合实现.实验结果表明：该检测方法实现了引航员登离船姿态判断，降低了姿态判断的误操作率，能够较好地区分其他误动作.     

基于姿态估计的驾驶员手部动作检测研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。      

融合人体姿态估计与非局部注意力机制的遮挡行人重识别

本文提出一种基于姿态估计模型与非局部注意力机制的遮挡行人重识别方法,利用姿态估计器获得图像中的非遮挡局部人体,并引入非局部注意力机制解决特征的长距离依赖问题,使得网络的关注度集中在非遮挡部分,实现遮挡场景下的精确行人重识别任务。通过实验验证了本文所提出方法在遮挡数据集上取得了先进的表现。     

基于机器视觉的老年人摔倒检测系统

红外图像中的人体摔倒检测不受环境光照射的影响,在智能安防领域有着重要的研究意义和应用价值。现有的摔倒检测方法没有充分考虑人体关键点的位置变化规律,容易对类摔倒动作造成误检。针对这一问题,本文提出一种基于改进Alphapose的红外图像摔倒检测算法。该算法使用Yolo v5s目标检测网络,在提取人体目标框输入姿态估计网络的同时,对人体姿态进行直接分类,再结合人体骨架关键点的位置信息和姿态特征进行判断。通过实验证明,该算法在准确度和实时性方面都有良好的表现。     

基于人工智能芯片与OpenPose模型的人体姿态估计方法

本文提供了一种基于人工智能芯片与OpenPose模型的人体姿态估计方法,将OpenPose模型转换为芯片所需模型,拷贝至芯片,并在其NNA加速核模块上成功运行,得到模型推理结果并上传至上位机进行后处理,得到人体姿态检测结果。本文对于姿态估计能够正确实现,准确性高,且能实现对模型的加速。     

基于深度学习的三维人体姿态估计技术

基于视觉的人机交互技术通过捕捉识别身体语言为人们提供更加灵活便捷的交互方式,是人工智能与自然人机交互领域极具价值的研究内容.基于深度学习的三维人体姿态估计技术作为底层基础技术,对基于视觉的人机交互技术的快速发展与广泛应用起到了重要的推动作用.本文首先概述三维人体姿态估计技术的基本概念与主要挑战,并对不同方法进行分类,随...     

引入注意力机制的高分辨率人体姿态估计

为提升人体姿态估计的准确率，提出了将SKNet(Selective Kernel Networks)视觉注意力机制与高分辨率网络HRNet(High-Resolution Network)相结合的方法。在高分辨率网络的第一阶段，使用SKNet中的选择性卷积核替代瓶颈残差模块中的3×3卷积核，使神经元根据输入信息的不同尺度自适应调整感受野的大小。在MPII数据集上的实验表明，相较于HRNet-W32和HRNet-W48,引入注意力机制的高分辨率人体姿态估计网络在不增加参数量和计算量的情况下，在通道数C=32和通道数C=48时的平均准确率分别提高了0.7%和0.5%,同时在人的手腕、髋部、膝盖和脚踝处的准确率有较大提升。     

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同...     

基于姿态估计与特征相似度的行人重识别算法

针对行人重识别场景复杂引起的局部特征不对齐，以及在背景杂乱情况下难以提取出具有不变性行人特征的问题，提出一种基于人体姿态估计算法和相似度矩阵引导的多尺度融合网络。网络引入姿态估计算法构造对齐的行人特征，通过多分支结构将低层局部特征和高层全局特征进行融合提升网络的表征能力；此外特征相似度矩阵将全局特征分割出相似度引导的背景、前景分支，再利用区域级的三元损失函数，提取出对复杂背景鲁棒的行人特征。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17四个主流数据集上的实验结果表明，本文提出的方法均能达到甚至超过当前主流算法的水平。在最具挑战的MSMT17数据集中，与目前精度领先的算法相比，首次命中精度提高了1.4个百分点，平均精度均值提高了3.4个百分点。     

基于视觉的非合作空间目标三维姿态估计方法

基于视觉的非合作空间目标3维姿态估计,关键在于建立观测图像与目标模型的特征关联。当前方法往往通过采用复杂的多维特征、产生候选关联结果的方式确保特征关联的准确性,难以兼顾算法效率。为解决以上问题,该文提出一种结合深度学习技术的姿态估计方法,首先通过深度神经网络得到姿态初值,然后基于姿态初值建立图像和目标模型之间的特征关联,进而求解目标姿态。所提方法中,深度神经网络提供了稳定的姿态初值,缩小了特征关联的候选空间;在姿态初值的支撑下采取了更为高效的特征提取与匹配方法。仿真实验表明,该文方法相比于现有方法更好地兼顾了算法准确率和效率。     

基于改进沙漏网络的人体姿态估计方法

近年来人体姿态估计已成为计算机视觉领域的热门研究方向,堆叠沙漏网络是人体姿态估计领域中最具代表性的研究成果之一,但该网络对于图像细节特征的提取能力较差。为增强网络对细节特征的处理能力,本文提出了基于改进沙漏网络的人体姿态估计模型。该模型使用ResNet50提取高质量的图像底层特征,用步长为2的3×3卷积核代替maxpooling进行下采样,最大程度保留原有图像信息;考虑到不同分辨率下的特征丰富度具有一定差异性,使用不同的残差模块对不同分辨率的feature map进行处理,增强网络对特征的学习能力;最后使用反卷积最大化还原原始图像的局部特征。实验结果显示,本文模型在COCO测试集上的平均精度达到74.1%,比堆叠沙漏网络高出4.7%,检测精度有较大提升。     

基于SCKF和姿态估计的SINS/GPS在线对准方法

该文提出了基于平方根容积卡尔曼滤波和初始姿态估计的捷联惯导/全球定位系统组合在线对准法。构建平方根容积卡尔曼滤波器来对初始姿态估计的非线性量测模型进行滤波,估计代表初始姿态转换矩阵的罗德里格参数,并以此求出当前时刻的姿态转换矩阵,从而求出当前时刻准确的姿态。该文分别对制导武器系统和车载系统进行了半实物仿真。仿真结果表明,此方法可在25 s左右完成在线对准。其中短距离制导武器仿真结果航向角及俯仰角误差在0.1°内,横滚角误差在0.3°内;低成本车载导航系统仿真结果航向角误差在0.2°内,俯仰角及横滚角误差在1°内,可满足制导武器及低成本民用车辆的对准需求。