基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

基于时空特征融合的交通警察手势识别

近年来,随着人体姿态估计技术的发展,基于骨架关键点的手势识别技术应运而生。提出了一个GCPMAGRU模型进行交通警察手势识别。为了更准确地定位人体关键点,对卷积姿态机（CPM）进行改进。在特征提取模块中加入残差思想、通道拆分和通道重组,设计后的特征提取模块更好提取图片特征;在CPM第一阶段加入并行多分支Inception4d结构,使CPM网络具有多尺度特征融合思想,有效改进对人体关键点定位的问题;提出基于注意力机制的GRU,通过为每帧分配不同权重来达到对每帧不同程度的关注,从而更好获取时间信息;结合时空特征信息进行交通警察手势识别。交通警察手势识别的准确度达到了93.7%,相比网络改进之前提高了2.95个百分点。     

基于姿态的情感计算综述

情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.     

结合通道注意力的特征融合多人姿态估计算法

为了提高二维复杂场景下多人姿态估计准确度和速度,提出了一种Mobile-YOLOv3模型与多尺度特征融合全卷积网络相结合的自顶向下多人姿态估计方法.利用深度可分离卷积改进YOLOv3网络以作为高效的人体目标检测器.针对网络特征下采样过程中上层高分辨率信息不断遗失问题,在经典U型网络结构中嵌入多尺度特征融合模块,从而使网络中的低尺度特征也包含高分辨率信息,并在特征融合模块中引入通道注意力机制,进一步突出多尺度融合特征图的关键通道信息.试验结果表明:相比于堆叠沙漏网络(Stacked Hourglass Network,SHN)和级联金字塔网络(Cascaded Pyramid Network,CPN),文中所提出的人体姿态估计算法在COCO数据集上的姿态估计平均准确率分别提高了4.7和3.7.     

融合HOG和颜色特征的人体姿态估计新算法

为解决现有人体姿态估计算法在处理光照条件很差或颜色对比度很低的待处理图像时估计准确度较低的问题,利用梯度方向直方图（HOG）和颜色特征建立了一种的基于可能性C（PCM）聚类算法部位外观模型,提出了一种新的融合HOG特征和颜色特征的人体姿态估计算法。算法根据待处理图像自动选择部位外观模型,若图像的光照条件和颜色对比度都较好则选择现有的基于HOG和颜色特征融合的部位外观模型,否则选择基于PCM聚类算法的部位外观模型。仿真实验表明所建立的部位外观模型能更准确地描述光照条件很差或颜色对比度很低的图像中下真实人体部位的外观,提出的人体姿态估计算法对各种类型的待处理图像均能得到准确度更高的估计结果。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态估计精度,较好地满足虚拟试穿等实际应用需求。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

基于多分类器投票机的人体姿态识别算法

为了获得准确的人体姿态识别结果,满足智能视频监控的需求,提出一种融合Hu不变矩特征和傅里叶描述子特征的人体姿态识别算法,并将ReliefF算法引入特征选择过程中,区分特征的重要性,然后使用大数投票法构建多分类器投票机制进行姿态识别,该机制很好地发挥了各个分类器的优势,提高了识别的准确率。实验结果表明,提出的算法对各种姿态取得了很好的分类效果。     

基于关节空时特征融合的人体行为识别

针对现有人体行为识别技术存在的准确率不高和易受环境干扰等缺点,提出一种基于空时特征融合的人体行为识别方法。通过OpenPose提取人体骨骼关节的位置信息用于构造空时融合特征,该特征综合各类行为的空域和时域信息,使得特征表示更具区分度。利用核化主成分分析算法进行特征维度缩减,利用XGBoost算法进行特征分类,获得识别结果。该方法在Multiview Action 3D数据集上进行测试,得到了94.52%的识别率,较现有的其它许多人体行为识别方法表现更好。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于改进堆叠沙漏网络的动物姿态估计

堆叠沙漏网络在动物姿态估计任务中得到成功应用,但其编码-解码过程容易丢失网络的浅层信息,影响了检测精度。针对该问题,提出基于改进堆叠沙漏网络的动物姿态估计模型。设计一种基于SE注意力机制的多尺度最大池化模块,完成多尺度信息的提取,解决池化后信息大量丢失的问题,提高网络获取全局信息的能力,同时提出多级特征融合方法,充分提取和融合特征信息。在此基础上,嵌入CBAM注意力机制,学习特征融合权重,提升网络对多通道信息的提取能力,抑制无效特征,使网络提取出更丰富、细腻的特征。在TigDog数据集和合成动物数据集上进行训练和测试,结果表明,该模型估计性能优于Syn、BDL、CyCADA和CC-SSL模型,其对于马和老虎的PCK@0.05指标较次优的CC-SSL模型分别提高4.6%和3.5%。消融实验结果也验证了整个网络体系结构的先进性和有效性。     

ARGP-Pose:基于关键点间关系分析与分组预测的3D人体姿态估计

尽管3D人体姿态估计已经相对成功,但现存方法在复杂场景下的性能依然差强人意。为了提高在无约束场景下3D人体姿态估计的准确性以及鲁棒性,提出了ARGP-Pose,一种基于探索关键点间关系的单目视频3D人体姿态估计框架。该框架包含一种关键点信息预处理方式以及3D姿态估计网络结构。关键点预处理能够强化结构特征,抽取出关键点之间联系信息,并作为网络输入。3D姿态估计网络能够融合各个关键点的局部信息以及整体姿态的全局信息。此外,利用自注意力模块来提取有效时序信息,以进一步提高预测准确度。而对于复杂姿态,采用了分组预测的方式将复杂动作的预测分解为各个点的预测,从而使网络对复杂姿态的估计能力有了明显的提高。在Human3.6M和HumanEva-I这两个著名数据集上的实验结果证明了所提出的方法的优越性。     

基于模糊技术的指纹识别预处理

提出一套基于方向滤波与模糊数学方法的指纹图像预处理算法。给出了一种基于16域的自适应滤波器,很好的增强了指纹图像的清晰度;针对以往求取方向图的不足,给出了一种基于16方向的改进算法;该方法取得了良好的效果,保留了指纹纹线的关键信息,为下一步的特征提取工作打下了良好的基础.     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法。该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN（feature pyramid networks）获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向坐标映射为抓取方向的分类任务,使用ROI Align进行感兴趣区域提取,评估抓取候选框,获取目标的最优抓取位姿。为验证算法有效性,基于康奈尔抓取数据集开展了抓取位姿估计实验,仿真抓取位姿估计准确度达到96.9%。基于Inter RealSense D415深度相机和UR5机械臂搭建了实物平台,在真实场景下对位姿随机摆放的多样性目标物体进行多次抓取实验,结果显示抓取目标检测成功率为95.8%,机器人抓取成功率为90.2%。     

用于前车追踪的多特征融合粒子滤波算法改进

基于特征融合的粒子滤波算法可以将多个不同的特征进行融合,增强跟踪系统鲁棒性,但是现有的算法存在着特征显著性差,算法实时性不强以及融合策略不具备通用性的缺点。针对上述问题提出了一种适用于前车追踪系统的改进融合算法,采用增强边缘信息的SULBP新特征,并通过自适应降维方法提升特征提取的实时性;利用粒子集的分布状态设计自适应融合算法解决了融合策略的通用性问题。实验结果表明,所提出的多特征融合粒子滤波算法在跟踪性能和算法实时性上均有显著地提升。     

基于高分辨率网络的人体姿态估计方法

人体姿态估计在人机交互和行为识别应用中起着至关重要的作用,但人体姿态估计方法在特征 图尺度变化中难以预测正确的人体姿态。为了提高姿态估计的准确性,将并行网络多尺度融合方法和生成高质 量特征图的方法结合进行人体姿态估计(RefinedHRNet)。在人体检测基础之上,采用并行网络多尺度融合方法 在阶段内采用空洞卷积模块来扩大感受野,以保持上下文信息;在阶段之间采用反卷积模块和上采样模块生成 高质量的特征图;然后并行子网络最高分辨率的特征图(输入图像尺寸的 1/4)用于姿态估计;最后采用目标关键 点相似度 OKS 来评价关键点识别的准确性。在 COCO2017 测试集上进行实验,该方法比 HRNet 网络模型姿态 估计的准确度提高了 0.4%。