基于局部深度一致性的自监督手部姿态估计

基于深度图的3D手部姿态估计通常需要大量人工标注数据以达到高精确度和鲁棒性,然而关节点标注过程冗杂且存在一定误差.现有研究工作使用自监督方法解决对标注数据的依赖,通过在虚拟数据集上预训练网络,并在无标注的真实数据集上进行模型拟合,实现3D姿态估计.自监督方法的关键在于设计模型拟合的能量函数以减小模型在真实数据集上的精度下降程度.为了减小模型拟合难度,本文提出局部深度一致性损失,依据初始姿态估计结果,提取输入与输出深度图的局部表征,将深度图显式地解耦为以关节点为中心的不同区域.通过有针对性地对不同关节点进行局部优化,减少虚拟与真实深度图之间的固有领域误差对网络学习的影响,增加训练的稳定性.本文方法在NYU数据集上相比基础方法平均关节点误差提升了21.9%.     

基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

人体姿态估计是计算机视觉研究领域的热点研究问题之一,但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点,传统人体姿态估计方法难以准确估计舞蹈者的动作变化,导致舞蹈动作姿态估计准确率较低.针对此问题,本文提出一种基于序列多尺度特征...     

基于深度学习的2D人体姿态估计浅析

近年来,随着深度学习技术的发展,基于深度学习的2D人体姿态估计展现出了极其优异的效果。文章主要对2014年以来基于深度学习的2D人体姿态估计相关内容进行了分析和评述,包括对主流方法的介绍和对数据集评价指标的总结对比,最后还讨论了2D人体姿态估计的未来研究方向。     

基于深度学习的三维人体姿态估计技术

基于视觉的人机交互技术通过捕捉识别身体语言为人们提供更加灵活便捷的交互方式,是人工智能与自然人机交互领域极具价值的研究内容.基于深度学习的三维人体姿态估计技术作为底层基础技术,对基于视觉的人机交互技术的快速发展与广泛应用起到了重要的推动作用.本文首先概述三维人体姿态估计技术的基本概念与主要挑战,并对不同方法进行分类,随...     

基于深度学习的人体姿态估计方法综述

全面综述了基于深度学习的人体姿态估计方法的研究进展.在比较分析各类单人姿态估计方法的基础上,从自上而下和自下而上两个方法角度总结了多人姿态估计算法.在自上而下方法中,着重介绍了局部区域重叠、关节点混淆、人体非典型部位关节点难以检测等问题的解决方案;在自下而上的方法中,重点关注聚类方法对关节点检测的贡献.对目前公共数据集...     

基于MobileViT改进的红外人体姿态估计算法

人体姿态估计主要依赖于视觉图像信息捕获关节点从而获得肢体和躯干的全局姿态信息。目前,基于可见光的深度学习方法具备较高的检测精确度,但隐私泄露的风险限制了其实际应用。同成本的红外探测器虽更能突出人体目标,但因成像分辨力较低,图像质量差,导致检测精确度下降。受视觉Transformer的启发,本文引入MobileViT-FPN提取人体关键点,利用MobileViT捕捉局部关节点特征和全局关节点特征关系,然后使用固定模式噪声(FPN)在多尺度上聚合这些表征信息,结合改进的OpenPose对关键点进行聚类,输出估计结果。在关键点级联阶段,注意力机制使模型自适应关注感兴趣区域,增强对遮挡部位的恢复。实验表明,该方法可以实时检测变化尺度和部分遮挡的红外人体目标,准确描绘人体姿态。     

球类运动中人体姿态估计研究进展

针对单个RGB图像,人体姿态估计通过对人体关键点定位来估计人体的位置和关节点位置。球类比赛是一种快速的运动,用主观观察对运动员的技术合法性进行判决无法避免错误。因此,文中利用基于人体姿态估计的运动员姿态分析技术进行辅助训练和辅助判罚,有效避免了传统系统中由于人的主观判断对运动员姿态的错误定位。目前,针对人体姿态估计的研究被分为基于传统算法和基于深度学习算法两种主要方式。在基于深度学习算法的基础上又分为单人人体姿态检测和多人人体姿态检测。基于深度学习算法的人体姿态估计通过构建神经网络,运用机器学习的方法提取图片特征读取图片信息,并在用于人体姿态估计的主流数据集上进行性能对比和分析。将人体姿态估计应用到球类运动中,为运动员的日常训练提供了一定的科学参考,同时也最大程度上保证了运动员比赛中的公平与公正。     

基于空间骨架时序图的舞蹈特定动作识别方法

随着机器视觉技术的发展,人体动作识别逐渐成为热门的研究方向,但其在舞蹈动作识别领域的应用研究则处于起步阶段。文中将基于深度学习的人体动作识别技术引入此领域,以实现辅助训练的智能化。文中首先分析最先进的人体动作识别算法,在计算机视觉方面的优势与在特定领域的局限性。在此基础上,提出一种基于空间骨架时序图的舞蹈动作识别算法。该算法先使用PAFs对舞蹈视频中的舞蹈演员提取骨架节点,再生成骨架序列。最后,结合LSTM对其进行动作识别。测试与分析结果表明,该算法可针对Balletto舞蹈视频数据库进行识别,且可有效识别舞蹈动作,实现对舞蹈演员的动作纠正。     

引入注意力机制的高分辨率人体姿态估计

为提升人体姿态估计的准确率,提出了将SKNet(Selective Kernel Networks)视觉注意力机制与高分辨率网络HRNet(High-Resolution Network)相结合的方法。在高分辨率网络的第一阶段,使用SKNet中的选择性卷积核替代瓶颈残差模块中的3×3卷积核,使神经元根据输入信息的不同尺度自适应调整感受野的大小。在MPII数据集上的实验表明,相较于HRNet-W32和HRNet-W48,引入注意力机制的高分辨率人体姿态估计网络在不增加参数量和计算量的情况下,在通道数C=32和通道数C=48时的平均准确率分别提高了0.7%和0.5%,同时在人的手腕、髋部、膝盖和脚踝处的准确率有较大提升。     

Real-Time Hand Motion Parameter Estimation with Feature Point Detection Using Kinect

This paper presents a real-time Kinect- based hand pose estimation method. Different from model-based and appearance-based approaches, our approach retrieves continuous hand motion parameters in real time. First, the hand region is segmented from the depth image. Then, some specific feature points on the hand are located by the random forest classifier, and the relative displacements of these feature points are transformed to a rotation invariant feature vector. Finally, the system retrieves the hand joint parameters by applying the regression functions on the feature vectors. Experimental results are compared with the ground truth dataset obtained by a data glove to show the effectiveness of our approach. The effects of different distances and different rotation angles for the estimation accuracy are also evaluated.     

基于全局位姿评估的条纹反向视觉测量

提出基于全局位姿评估的条纹反向视觉测量。利用带测头的摄像机拍摄二维正弦条纹,根据傅里叶分析提取的平面特征点全局评估摄像机位姿,进而测量测头的球心坐标。摄像机的位姿评估是条纹反向视觉测量的关键技术,在测头标定和坐标测量中均需要进行位姿评估。位姿评估的误差函数包括重投影误差和物空间误差两类,两者在基于平面的位姿评估中均存在两个局部极小值,采用全局位姿评估算法可以避免误差函数陷入局部极小以高精度获取摄像机位姿,完成测头标定和坐标测量。实验结果表明,该方法可以高精度测量物体的三维坐标。     

基于虚拟控制点的像机姿态测量算法

像机姿态测量,包括确定像机的旋转矩阵与平移向量,在机器视觉领域中有着非常广泛的应用。针对控制点异面分布的情况,提出了一种基于虚拟控制点的像机姿态测量算法。算法的主要思想是利用少量虚拟控制点实现像机姿态的短时间迅速求解,然后通过目前非常成熟的正交迭代算法,对求解结果进行精细调节,从而在整体上提高测量算法的精确度与稳定性。实验结果表明,算法在性能上优于目前比较流行的几种像机姿态迭代求解算法,而且具有较强的抗噪声干扰和抗控制点误匹配的能力,可以应用在实际的测量环境当中,是一种有效的像机姿态测量算法。     

基于运动参数非搜索高速机动目标检测

该文提出一种新的高速机动目标检测与参数估计算法。首先,通过二阶Keystone变换(KT)消除距离频率与慢时间的二次耦合,并计算对称瞬时自相关函数(SIAF)。其次,对SIAF不同维依次进行尺度逆傅里叶变换(SIFT)、尺度傅里叶变换(SFT)和快速傅里叶变换(FFT)实现能量积累,在新的参数空间进行峰值检测得到径向速度模糊数和径向加速度估计值。最后,根据估计的参数构造补偿函数对距离徙动和多普勒扩散进行补偿,并通过KT算法实现目标检测和距离、模糊径向速度的估计,结合补偿的径向速度模糊数计算出不模糊径向速度。 由于不需要进行参数搜索,并且SIFT和SFT均能通过FFT快速实现,因此算法计算量得到大幅度减小。仿真实验验证了该算法的有效性。     

多视角下结合形状和运动信息的三维人体姿态估计

该文以多视角同步视频为输入,提出综合利用形状和运动信息的3维人体姿态估计方法。该方法将人体分为头、躯干和四肢等3部分,每部分利用运动信息来预测当前的状态,并以形状信息作为检测器来确定姿态。这种在姿态估计中使用互补信息的方式极大地解决了漂移和收敛到局部极小的问题,也使系统能自动初始化和失败后重初始化。同时,多视角数据的使用也解决了自遮挡问题和运动歧义性。在包含多种运动类型的序列上的测试结果说明了该方法的有效性,对比实验结果也优于Condensation算法和退火粒子滤波。     

姿态估计和跟踪结合的运动视频关键帧提取

提出姿态估计和特定部位跟踪相结合的动作视频关键帧提取算法.首先利用非确定人体部位的时间连续性保持提高基于柔性部件铰接人体模型的单帧图像人体姿态估计准确率,通过实施数据降维得到局部拓扑结构表达能力强的判别性运动特征向量,采用极值判定原理确定候选关键帧集合.然后利用ISODATA动态聚类算法,通过初始聚类中心优化、基于语义的关键帧集合增强等策略确定关键帧.实验表明文中算法具有较高的关键帧提取准确率和召回率,支持基于语义的关键帧提取.提取的视频关键帧可以用于运动视频压缩和批注审阅.     

基于改进沙漏网络的人体姿态估计模型

堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息.因此,提出了一种基于改进沙漏网络的人体姿态估计模型.首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息.然后,为了提取遮挡部位的纹理和形状等局...     

基于方向小波变换的SAR图像目标方位角估计

在合成孔径雷达(SAR)自动目标识别中,目标成像的方位信息是一个非常重要的特征。文中针对SAR图像特点,提出了一种基于方向小波变换的SAR图像目标方位角估计方法,给出了方向小波角度-能量谱公式,利用能量最大准则实现方位角估计。采用MSTAR SAR实测数据进行的实验表明本文方法是有效的,方向小波变换更能反映出目标图像的方位特征。     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

基于运动矢量中心偏置的运动估计搜索策略

在对运动图像进行运动估计的时候,搜索策略的选择对运动估计的准确性、运动估计的速度影响重大。介绍一种基于运动矢量中心偏置的运动估计搜索策略,该搜索策略是根据运动矢量具有中心偏置分布的特点,以块误差函数最小作为调整搜索区域大小和位置的判断依据,从而实现准确的运动估计。详细叙述了算法的实现步骤,并通过实验比较,得出该算法在运算速度、信噪比方面的效果都较好。