低光照场景下基于序列增强的移动机器人人体检测与姿态识别

灾难救援、地下空间开发利用等场景均存在低光照、甚至完全黑暗的问题,导致机器人目标搜索与识别困难。为此,本文面向低光照场景提出基于红外深度相机图像序列的人体检测和姿态识别方法。首先,利用基于YOLO v4的AlphaPose算法检测人体框和关键点。然后,提出基于特征点匹配的漏检人体框恢复算法,降低人体漏检率,同时使用D-S（Dempster-Shafer）证据理论融合人体框和关键点的检测结果,从而降低人体误检率。最后,设计一种基于图像序列信息的人体姿态分层识别方法,在不同的识别层提取不同的人体躯干特征,利用连续多帧躯干向量特征组成的特征序列对人体姿态进行精准的识别并进行实验验证。实验结果表明本文算法能够在低光照条件下实现准确的人体检测与姿态识别,姿态识别准确率高达95.36%。     

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法.利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息.并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建.给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度.     

融合HOG和颜色特征的人体姿态估计新算法

为解决现有人体姿态估计算法在处理光照条件很差或颜色对比度很低的待处理图像时估计准确度较低的问题,利用梯度方向直方图（HOG）和颜色特征建立了一种的基于可能性C（PCM）聚类算法部位外观模型,提出了一种新的融合HOG特征和颜色特征的人体姿态估计算法。算法根据待处理图像自动选择部位外观模型,若图像的光照条件和颜色对比度都较好则选择现有的基于HOG和颜色特征融合的部位外观模型,否则选择基于PCM聚类算法的部位外观模型。仿真实验表明所建立的部位外观模型能更准确地描述光照条件很差或颜色对比度很低的图像中下真实人体部位的外观,提出的人体姿态估计算法对各种类型的待处理图像均能得到准确度更高的估计结果。     

基于深度信息的人体姿态识别研究综述

随着RGB-D传感器的出现,深度图像信息可以弥补基于彩色图像的人体姿态识别在复杂环境和光照变化下鲁棒性较差的问题,因此利用深度信息识别人体姿态变得更加便捷。为了解人体姿态识别的发展现状,在广泛调研现有文献和最新成果的基础上,从深度图像预处理、特征提取、姿态识别算法三方面对基于深度信息的人体姿态识别进行阐述,介绍人体姿态识别相关的技术发展及应用领域,并对其中存在的难点与问题进行讨论,为以后的相关研究提供思路。     

基于多传感器数据融合的人体运动模式识别研究

针对单一传感器在人体运动姿态监测中误差较大的问题,提出了一种基于加速度传感器和陀螺仪数据融合的人体运动模式识别方法;该方法使用陀螺仪输出的人体运动信息对加速度传感器采集到的姿态角信息进行修正,采用卡尔曼滤波算法实现多传感器信息的融合,有效提高了姿态角度测量的准确度;根据人体日常的活动状态构建了基于人体姿态角度特征的隐马尔可夫模型实现人体运动模式的识别;实验表明,该方法比采用单一传感器方法识别的准确率高,可以有效区分不同的日常活动行为。     

基于频率筛分的无监督人体姿态特征提取与识别研究

基于视频序列的人体行为分析需要检测和判别人体姿态,已有人体姿态检测与判别方法往往达不到实用性要求.从两个方面探讨应用BEMD(bidimensional empirical mode decomposition)算法提升特征分离度与判别性,以进行人体姿态检测和判别:BEMD分解源图像得到的多层固有模态图BIMF具有判别特征,可形成具有强边缘的对比度高的区域,其中包括人体轮廓区域;从低分辨率尺度BIMF图像到高分辨率尺度BIMF图像递归计算,建立基于BEMD的多尺度树(BEMD muhiscale-trees tructured)模型,快速提取目标区域并获取人体形状轮廓特征.实验证明,利用该方法进行人体姿态轮廓特征提取,并建立人体姿态的简化模型,可快速检测并判别人体姿态,以达到实时识别.     

结合边缘轮廓和姿态特征的人体精确解析模型

针对着装场景中由于人体姿态、边缘轮廓、服装配饰的复杂性以及着装部位关节点被遮挡等因素导致人体解析精度较低的问题,提出一种结合边缘轮廓和姿态特征的人体精确解析模型.首先采用残差网络ResNet-101作为主干网络表征输入人体图像进行初步人体解析,得到粗解析特征;然后构建边缘轮廓模块,结合上采样后的全局和局部特征得到人体边缘轮廓;再基于着装姿态定义着装姿态损失函数,通过姿态估计模块提取人体姿态特征;最后联合粗解析特征、边缘轮廓和姿态特征,并定义结构损失和人体解析损失的组合函数输出精确的解析结果.在多个数据集上的实验结果表明,该模型的mIoU评测指标提高了1.96％,在人体的着装姿态和部位遮挡等方面获得了更准确的语义分割结果,能有效地提高着装人体解析的精度.     

联合姿态先验的人体精确解析双分支网络模型

人体解析旨在将人体图像分割成多个具有细粒度语义的部件区域,进行形成对人体图像的语义理解.然而由于人体姿态的复杂性,现有的人体解析算法容易对人体四肢部件形成误判,且对于小目标区域的分割不够精确.针对上述问题,本文联合人体姿态估计信息,提出了一种人体精确解析的双分支网络模型.该模型首先使用基干网络表征人体图像,将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,并将提取的特征分别输入至全卷积网络解析分支与检测解析分支.全卷积网络解析分支获得全局分割结果,检测解析分支更关注小尺度目标的检测与分割,融合两个分支的预测信息可获得更为精确的分割结果.实验结果验证了本文算法的有效性,在当前主流的人体解析数据集LIP和ATR上,本文方法的mIoU评测指标分别为52.19%和68.29%,有效提升了解析精度,在人体四肢部件以及小目标部件区域获得了更为准确的分割结果.     

基于人脸检测和关键点识别的快速人体组件划分

人体组件划分用来检测视频帧或静态图像中的人体,并将其划分为头部和四肢等独立区域,是人体精确三维重建和动作识别等后续研究的重要基础。提出一种新的人体组件划分算法,算法主要针对无肢体重叠的人体图像,首先利用人脸检测技术快速定位人体大致范围,再通过边缘检测获取准确的人体轮廓,最后设计并使用高效的十字链表存储和检索方法,完成基于轮廓关键点查找的人体组件划分。实验表明该方法具有较好的实时性和准确率。     

基于约束树形图结构外观模型的人体姿态估计

人体姿态估计是计算机视觉领域中的一个关键问题,可用于行人检测、人体活动分析、人机交互以及视频监控等方面。针对基于树形图形结构模型的人体姿态估计算法中人体部件外观模型容易受到背景干扰的问题,提出了基于先验分割和外观转换的外观模型的人体姿态估计算法以改进人体的外观模型。根据PS模型,使用人体检测器和前景加亮进行预处理,确定人体的大致位置和大小,同时移除背景上的杂斑,基于先验分割和外观转换机制来估计人体部件的外观模型。实验表明在不同的图像数据库中,该算法在使用人体检测器和前景加亮算法减少部件搜索空间的同时,提高了人体姿态估计的准确性。