基于Kinect的人体实时三维重建及其应用

目前,人体三维重建技术在建模前一般需要采集从多个视角观察人体的数据,并限定人体的姿势,不能很好地用于需要人体模型的交互式应用中.针对这个问题,提出一种基于单个Kinect的渐进式人体重建方法.首先结合特征点检测算法和校错处理,对深度视频帧中人体上的特征点进行定位;其次对身体尺寸进行测算或估算,并在对视频流的处理中渐进式地补充与完善;最后根据以上信息对人体进行分块参数化建模和合成,得到人体模型.实验结果表明,在尺寸不完整的情况下,该方法即可重建包含肢体结构语义的完整人体,易于实现局部模型或姿势的修改,并在虚拟试衣应用中体现出良好的实时性和交互性.     

基于双注意力时间卷积网络的人体行为识别

为解决TCN使用可穿戴传感器数据进行人体行为识别准确率不高的问题,提出适用于可穿戴传感器数据的双注意力时间卷积网络的人体行为识别模型。为TCN引入两类不同的注意力模块,提取与当前行为高度相关的深层特征。利用LN层代替TCN中残差模块的WN层,优化模型的残差结构。创新性地应用三元组损失函数区分高相似传感器数据的异类行为。实验结果表明,在公共人体行为数据集PAMAP2上采用该模型的识别准确率高达98.25%,相较原始TCN模型提升了5.28%。     

基于外观模型的人体下肢关节点定位方法

近年来,人体下肢关节点定位成为了人体运动跟踪与分析中一个重要研究课题。提出了一种下肢关节点自动定位方法,从无关节标记的人体运动图像序列中定位下肢关节点。该方法首先采用背景剪除技术从图像序列中分割人体目标对象,并建立人体下肢骨架模型。然后,利用关节角度预测方法估计膝踝关节点的位置,在基于下肢外观模型的匹配计算基础上获得下肢关节点的真实位置。实验结果表明,该方法简单有效,下肢关节点定位结果令人满意。     

基于深度学习的人体行为检测方法研究综述

行为检测是视频理解与计算机视觉领域炙手可热的研究内容,备受国内外学者的关注,在智能监控、人机交互等多领域被广泛应用。随着科技的进步,深度学习在图像分类领域取得了重大突破,将基于深度学习的识别方法应用于人体行为检测研究已成为行为检测中的热点。基于此,首先对几种常用于行为检测的数据集,及近几年深度学习在行为检测领域的研究现状进行了介绍;接着分析了行为检测方法的基本流程,以及几种常用的基于深度学习的检测方法;最后,从方法性能优劣、应用前景等方面对人体行为检测方法的尚存问题与未来发展趋势进行了分析和展望。     

人体行为识别的改进Radon变换方法

提出一种新的人体行为识别特征提取方法。针对Radon变换对缩放敏感的问题,采用改进的Radon变换提取运动人体区域最小外接矩形的Radon变换特征,并采用隐马尔可夫模型进行行为识别。该方法提取特征时不再需要进行规范化处理,提高了特征的鲁棒性。实验结果表明,该方法对噪声不敏感、计算简单、识别效率高。     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

RGBD人体行为识别中的自适应特征选择方法

目前在RGBD视频的行为识别中,为了提高识别准确率,许多方法采用多特征融合的方式。通过实验分析发现,行为在特定特征上的分类效果好,但是多特征融合并不能体现个别特征的分类优势,同时融合后的特征维度很高,时空开销大。为了解决这个问题,提出了RGBD人体行为识别中的自适应特征选择方法,通过随机森林和信息熵分析人体关节点判别力,以高判别力的人体关节点的数量作为特征选择的标准。通过该数量阈值的筛选,选择关节点特征或者关节点相对位置作为行为识别特征。实验结果表明,该方法相比于特征融合的算法,行为识别的准确率有了较大提高,超过了大部分算法的识别结果。     

基于屋顶二值红外传感器网络的人体定位和行为识别系统设计

为了解决个人隐私的保护、受光照条件和障碍物等因素的影响,设计了一种基于屋顶二值红外传感器网络的人体行为识别系统;系统采用STM32芯片和ZigBee协调器建立ZigBee网络;当实验者在安装在屋顶的20个互连的AMN31111红外传感器下面做出一系列行为时,传感器对其进行二值数据采集,ZigBee协调器将数据通过串口发送到PC机上实时动态显示,通过Keil 5系统软件对采集的二值数据以txt文本格式存储;提出了像素值法对人体进行定位和BP神经网络算法在模拟的居家环境中对7种不同人物行为进行识别;实验结果表明:该系统实现了人体多种行为的识别,其识别率为84.7%,4名实验者得到平均识别精度相比固定在居家电器传感器设备要高4.7%左右,并且该系统采集精度高、性能稳定、可靠性高、成本低、功耗低,解决了一些目前人体行为识别监测系统存在的问题。     

基于毫米波雷达稀疏点云的人体行为识别方法

目前利用毫米波雷达进行人体行为识别的方法在复杂场景下无法很好的区分相似动作,与此同时模型的鲁棒性和抗干扰能力也相对较差;针对以上两个问题,提出了一种通用的基于毫米波雷达稀疏点云的人体行为识别方法,该方法首先利用K-means++聚类算法对点云进行采样,然后使用基于注意力特征融合的点云活动分类网络进行人体行为特征的提取和识别,该网络可以兼顾点云的空间特征以及时序特征,对稀疏点云的运动有灵敏的感知能力;为了验证所提出方法的有效性和鲁棒性,分别在MMActivity数据集和MMGesture数据集上进行了实验,其在两个数据集上取得97.50%和94.10%的准确率,均优于其它方法;此外,进一步验证了K-means++点云采样方法的有效性,相较于随机采样,准确率提升了0.4个百分点,实验结果表明所提出方法能够有效的提升人体行为识别的准确率,且模型具有较好的泛化能力。     

一种基于关节点信息的人体行为识别新方法

为了提高机器人服务的主动性与智能性,使用Kinect体感设备获取人体的关节点数据解决人体行为识别问题.首先,利用Kinect采集人体关节点坐标,构造用于表示人体结构的3维空间向量,然后计算结构向量之间的角度和向量模的比值,进行人体姿态描述,同时以一段时间内连续的姿态序列作为行为表示特征量,最后选用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度以实现行为识别.实验结果表明,选用的行为表示特征量具有旋转与平移不变性.另外,对人在日常生活中的6种行为进行了识别实验,结果表明本文的行为识别算法可以取得较好的识别效果.     

狭长空间基于人体穿透损耗模型的组合定位方法

狭长空间定位问题普遍存在于室内定位应用场景中,虽然传统基于RSSI（Received Signal Strength Indicator）测距的定位方法简便易行,但是狭长空间RSS的波动性以及人体对无线信号的遮挡会严重降低人员定位精度。本文在分析了人体穿透损耗对狭长空间定位影响的基础上,提出将RSSI测距与扩展卡尔曼滤波定位算法组合实现定位,即在中等尺度（5λ~50λ）内采用基于人体穿透损耗模型的RSSI测距方法定位,在大尺度（>50λ）内采用基于人体遮挡修正模型的扩展卡尔曼滤波算法定位。实验表明该方法在狭长空间的定位精度明显优于RSSI测距定位方法。     

基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

复杂场景下的人体行为识别研究新进展

人体行为识别是计算机视觉的研究难点和热点,主流的研究框架包括行为特征提取、人体行为表示和识别算法3个方面,目前简单场景下的人体简单动作的识别已基本得到解决,而复杂场景下的行为识别仍面临很多困难。对近几年人体行为识别的发展做了比较详细的研究,从人体行为识别的研究范畴、特征提取以及行为模型等方面综述了目前复杂场景下人体行为识别的研究方法。与已有的相关综述文献不同的是,文中结合了近三年国内外人体行为识别领域中新的研究热点和成果,如姿态特征的提取和表示、基于稀疏编码和卷积神经网络的人体行为表示方法等。最后阐述了该领域目前存在的困难以及可能的发展趋向。     

一种人体移动对胶囊内窥镜磁定位干扰的补偿方法

磁定位技术可以实现对无线胶囊内窥镜精确定位与跟踪。胶囊内窥镜内嵌入永磁体,在人体周围布置磁传感器阵列采集人体外的磁场强度,通过后续电路处理和特定算法来计算胶囊内窥镜在人体肠胃道内的位置和方向等信息,从而实现对无线胶囊内窥镜的定位。但是磁传感器阵列分布在人体表面,在使用胶囊内窥镜对人体肠胃道检查过程中,人体和磁传感器阵列之间会发生相对移动,这种相对移动会对胶囊内窥镜的定位结果产生干扰。本文提出了一种补偿方法,来减小人体移动对定位结果的影响。在人体表面设置两个相互垂直磁铁作为参考目标,通过特定算法对人体相对于磁传感器阵列发生位移和旋转造成的干扰进行补偿,并通过实验验证了该方法的可行性和有效性。     

优化YOLO网络的人体异常行为检测方法

鉴于公共场合监测视频信息中周围环境背景信息干扰大以及人体异常行为目标的尺度不同,目前人体异常行为检测的准确性难以进一步提高。针对上述问题,设计了通过改进YOLOv5网络的异常行为检测方法。该方法在原YOLOv5主干网络添加屏蔽卷积注意力模型,该模块从一个屏蔽卷积层开始,感受野的中心区域被遮掩,通过预测屏蔽信息并利用与屏蔽信息相关的误差作为异常得分。在检测网络中嵌入Swin-CA模块。通过对相邻层特征的学习,使得模型能够更好地掌握全局信息,从而减小了背景信息对检测结果的影响,通过提取不同背景中人体异常行为尺度特征,降低了整个模型计算的复杂度,提高了模型对人体异常行为目标定位的精度。在UCSD-ped1、KTH和Shanghai Tech数据集上的实验结果表明,提出方法的检测精度分别达到了98.2%、96.4%和95.8%。     

面向行为主题的软件特征定位方法

软件特征定位是成功实施软件演化意图的前提条件。针对当前特征定位方法准确率低,定位空间庞大和自动化程度不高等问题,提出了一种面向行为主题的混合特征定位方法。该方法将软件系统的行为知识和主题知识进行有机整合,实现了行为知识对主题知识的约简,并最终通过分析主题知识与软件功能属性间的相似性实现特征定位。实验结果表明,与传统的基于文本的特征定位方法相比,该方法具有较好的查全率、查准率和综合性能,从而验证了该方法的有效性。     

基于Kinect传感器的人体行为分析算法

人体行为分析一直是计算机视觉领域中具有挑战性的研究方向,近年来深度传感器的引入为解决人体行为分析问题提供了新的研究方法.采用微软Kinect传感器获取深度图像,首先对深度图进行局部梯度特征提取,再结合条件随机场(CRF)模型,提出一种新的人体行为分析方法.实现了对简单人体行为的有效识别,通过在2个流行人体行为数据库上实验,证明了该方法具有较好的识别结果和该方法的优越性能.     

人体声发射定位技术的研究

从人体声发射技术与医学检测的特点出发,将人体骨科疾病的诊断和人体声发射结合起来,提出了具体的研究问题和解决手段。通过BL—420生物机能实验系统采集人体骨骼中的声发射信号,对该声发射信号利用互相关法计算时差,从而实现声源定位。     

结合坐标转换和时空信息注入的点云人体行为识别

目的 行为识别中广泛使用的深度图序列存在着行为数据时空结构信息体现不足、易受深色物体等因素影响的缺点,点云数据可以提供丰富的空间信息与几何特征,弥补了深度图像的不足,但多数点云数据集规模较小且没有时序信息。为了提高时空结构信息的利用率,本文提出了结合坐标转换和时空信息注入的点云人体行为识别网络。方法 通过将深度图序列转换为三维点云序列,弥补了点云数据集规模较小的缺点,并加入帧的时序概念。本文网络由两个模块组成,即特征提取模块和时空信息注入模块。特征提取模块提取点云深层次的外观轮廓特征。时空信息注入模块为轮廓特征注入时序信息,并通过一组随机张量投影继续注入空间结构信息。最后,将不同层次的多个特征进行聚合,输入到分类器中进行分类。结果 在3个公共数据集上对本文方法进行了验证,提出的网络结构展现出了良好的性能。其中,在NTU RGB+d60数据集上的精度分别比PSTNet（point spatio-temporal network）和SequentialPointNet提升了1.3%和0.2%,在NTU RGB+d120数据集上的精度比PSTNet提升了1.9%。为了确保网络模型的鲁棒性,在MSR Action3D小数据集上进行实验对比,识别精度比SequentialPointNet提升了1.07%。结论 提出的网络在获取静态的点云外观轮廓特征的同时,融入了动态的时空信息,弥补了特征提取时下采样导致的时空损失。