基于时空多特征融合网络的三维人体姿态估计北大核心CSCD

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。     

双向特征融合与特征选择的遥感影像目标检测

遥感影像中复杂的背景占据图像的大部分区域,严重影响了目标检测效果.本文提出一种可以对特征图进行多特征选择的目标检测网络.设计了双向多尺度特征融合网络,融合深浅层信息,提高复杂背景下小目标的检测效果,在保留常规特征金字塔自上而下路径的同时,增加一条自下而上的路径,减少浅层特征传递到顶层经历的网络层数,从而控制浅层特征损失...     

基于特征融合与通道注意力的目标检测研究

目标检测作为计算机视觉领域的重要研究分支，受到了广泛关注。目前，特征融合已成为提高目标检测准确率的重要方法，基于特征金字塔网络（FPN）的特征融合方法结合了多维度感受野来弥补信息丢失的思想，改进了FPN，并取得了良好的效果。在众多以FPN为基础结构的特征金字塔模型中，BiFPN既包含了级联信息传递，也包含了跨层特征融合，DyFPN包含了多感受野Inception模块，也包含了动态门机制。受BiFPN和DyFPN的启发，文中提出了一种新的基于FPN且包含注意力机制的特征金字塔网络结构——CAI-BiFPN。CAI-BiFPN沿用了Inception-FPN的思想，在BiFPN的基础上加入了Inception模块，并引入了通道注意力和SE模块。该结构应用了BiFPN的分支注意力与SE模块的通道注意力，将Inception模块放置于BiFPN第4层和第6层，SE模块则放置在BiFPN的第5层。通过一系列简单的改进，相较于BiFPN，CAI-BiFPN的AP_s和AP_l提升了0.7个百分点，AP从31.0%提升到31.3%，提升了0.3个百分点。     

基于GSM网络的老年人身体姿态检测系统设计

论文设计了一套基于GSM(Global system for mobile communication,GSM)网络的老年人身体姿态检测系统,该系统以Cortex-M3系列STM32芯片为控制器模块、MMA7361加速度传感器为姿态检测模块、ATK-NEO-6M GPS为位置定位模块、GTM900C为信息发送模块,并运用卡尔曼滤波和支持向量机算法检测老年人跌倒行为。实验结果表明,该系统能准确判断人体正常活动与跌倒事件,能自动定位并发送短消息。     

基于Wigner-Ville分布的空间目标多姿态角特征融合识别算法

通过参考空间目标实测数据库,提出了一种基于 Wigner-Ville(WV)分布的空间目标多姿态角特征融合识别算法.其利用信息融合技术及矩阵奇异值的特性,对不同姿态角的参考特征矢量进行加权处理,获得表征目标的融合特征矢量.通过大量实测数据验证,本方法对空间目标能够正确判决分类,并具有一定的实时性.     

引入注意力机制的高分辨率人体姿态估计

为提升人体姿态估计的准确率，提出了将SKNet(Selective Kernel Networks)视觉注意力机制与高分辨率网络HRNet(High-Resolution Network)相结合的方法。在高分辨率网络的第一阶段，使用SKNet中的选择性卷积核替代瓶颈残差模块中的3×3卷积核，使神经元根据输入信息的不同尺度自适应调整感受野的大小。在MPII数据集上的实验表明，相较于HRNet-W32和HRNet-W48,引入注意力机制的高分辨率人体姿态估计网络在不增加参数量和计算量的情况下，在通道数C=32和通道数C=48时的平均准确率分别提高了0.7%和0.5%,同时在人的手腕、髋部、膝盖和脚踝处的准确率有较大提升。     

基于计算机视觉的人体姿态识别研究

人工智能交互领域的不断发展,使计算机视觉技术的研究更加深入且多样化。人体姿态识别是计算机视觉中的一个重要的基础问题。文章基于计算机视觉开展人体姿态识别研究,通过VGGNet模型实现神经网络预测,采用Openpose算法获取18个人体关键点位置和置信度,根据PAF和二分图算法实现关节拼接。实验基于MS COCO 2017数据集建立优化模型,在测试集上达到了96.31%的准确率。最后,文章实现了能够识别出人体骨骼姿态的系统。     

基于多特征融合的人体运动姿态智能识别算法研究

针对人体运动姿态复杂,而基于单特征的运动姿态识别算法难以对人体姿态进行准确识别且效率较低等问题,文中提出了一种基于多特征融合的相关智能识别算法。该算法利用图像去噪等方法对采集到的原始图像数据进行预处理,以突出图像中的关键信息。同时通过OpenCV提取数据中的Hu不变矩等特征,并利用神经网络算法将提取到的特征加以融合。采用SVM建立分类模型,进而实现对人体运动姿态的智能识别。两项实验结果说明,所提算法能在保证处理效率的前提下实现对人体姿态的精准识别,准确率可达93%以上。     

融合衣物特征的人体姿态迁移方法

人体姿态迁移任务即将输入图片中的人物姿势转变为目标姿势,同时保证图片中衣物等外貌特征不变。本文提出了一种新型的生成式对抗网络用来生成人体姿态迁移后的图片,对抗网络的生成器使用注意力机制和风格迁移方法交替对人的外貌信息和姿势信息进行更新。此外,本文较以往的研究还增加了人物衣物的平铺图片作为网络输入,以此来补充人体姿态迁移过程中可能丢失的外貌信息,网络能够使生成图片中人物所穿衣物更加接近真实样式。通过大量实验证明,本文提出的网络在量化分数上获得了更高得分,图片的肉眼观感也更真实自然。     

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同...     

基于改进沙漏网络的人体姿态估计模型

堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息.因此,提出了一种基于改进沙漏网络的人体姿态估计模型.首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息.然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块.最后,采用反卷积最大化恢复原始的局部特征.实验结果表明,本模型在COCO数据集上的平均精度达到了74.6％,总参数量为1.5×107,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其总参数量仅为8-SNH的1/3.     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

基于MEMS传感器的姿态检测系统

基于MEMS传感器设计了一种姿态检测系统,通过MEMS传感器获取角速度、加速度等信息,利用硬件对采集的数据进行滤波处理,实现目标物体运动过程中姿态角的测量。采用互补滤波对数据进行融合,有效消除了噪声干扰,提高了系统的检测精度。无线模块的应用实现了下位机与上位机的同步,实时显示目标物体的运动姿态。实验表明,该系统具有较高的测量精度及良好的实时显示效果。     

基于深度学习的2D人体姿态估计浅析

近年来,随着深度学习技术的发展,基于深度学习的2D人体姿态估计展现出了极其优异的效果。文章主要对2014年以来基于深度学习的2D人体姿态估计相关内容进行了分析和评述,包括对主流方法的介绍和对数据集评价指标的总结对比,最后还讨论了2D人体姿态估计的未来研究方向。     

基于改进沙漏网络的人体姿态估计方法

近年来人体姿态估计已成为计算机视觉领域的热门研究方向,堆叠沙漏网络是人体姿态估计领域中最具代表性的研究成果之一,但该网络对于图像细节特征的提取能力较差。为增强网络对细节特征的处理能力,本文提出了基于改进沙漏网络的人体姿态估计模型。该模型使用ResNet50提取高质量的图像底层特征,用步长为2的3×3卷积核代替maxpooling进行下采样,最大程度保留原有图像信息;考虑到不同分辨率下的特征丰富度具有一定差异性,使用不同的残差模块对不同分辨率的feature map进行处理,增强网络对特征的学习能力;最后使用反卷积最大化还原原始图像的局部特征。实验结果显示,本文模型在COCO测试集上的平均精度达到74.1%,比堆叠沙漏网络高出4.7%,检测精度有较大提升。     

基于姿态估计的驾驶员手部动作检测研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。      

基于MEMS的帕金森病人体姿态分类监测系统

帕金森病有较高的患病率和致残率,已成为危害老年人健康的主要疾病之一,针对这种情况,开发了一套人体姿态监测与分类的系统,以便在危险发生时能够及时发现,避免情况进一步恶化。设计了一个便携式人体加速度信息采集装置,通过无线数据传输技术,将采集到的人体加速度信息传送到上位机PC中,根据相应算法,在上位机PC中编写相应的程序,提取不同姿态下的人体特征,然后根据这些姿态特征,实现人体姿态的实时监测,并且将人体姿态分类成平躺、坐、站、行走、起立等。实验结果表明该系统有良好的识别能力。     

基于自适应空间特征融合的轻量化目标检测算法

针对目前深度学习中单阶段目标检测网络结构复杂、训练困难与在移动与嵌入式设备难以部署的问题,提出了一种基于自适应空间特征融合的轻量化目标检测算法.所提算法以YOLOv4为网络基础框架,采用轻量级MobileNet作为特征提取网络,降低网络深度与训练难度,提高检测速度;采用一种自适应空间特征融合(ASFF)方式改进PANe...     

基于四极化通道融合的海面漂浮微弱目标特征检测

海杂波背景下的微弱漂浮目标检测是雷达目标检测的热点和难点问题。由于海杂波背景下的微弱漂浮目标的回波能量低和多普勒频率通常位于主杂波区,传统的自适应类相参积累检测方法无法有效检测该类目标。基于特征类的目标检测方法是解决海面漂浮目标检测问题的有效途径。本文首先分别提取四个极化通道的三种时域和频域特征（相对平均振幅、相对多普勒峰高和向量熵）,然后在极化通道维度上进行融合,获得四极化通道融合特征。最后,在三维特征空间中使用快速凸包学习算法来确定海杂波的判决区域,从而完成检测。实测海杂波数据实验验证了新方法的有效性,并表明其具有优良的检测性能。