着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态估计精度,较好地满足虚拟试穿等实际应用需求。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于人体关节点的低头异常行人检测

近年来,随着智能手机的快速发展,低头族行人在过马路时依然保持浏览手机的姿态,由此造成的交通事故时有发生。如何有效检测低头族成为了当下亟待解决的问题。现有的检测方法需要大量的真实低头异常的数据集,且最终结果存在识别精度不高、速度不尽人意的问题。基于此,提出了一种快速有效的低头异常行人检测方法,与现有方法的区别在于该方法是基于关节点而不是图像。首先设计了一种构造数据集的方法,在识别人体关节点的基础上,调整左右腕关节坐标来模拟行人手持电子设备的姿态,解决了数据集缺少且需要大量标注的问题;其次,提出复杂环境中高效检测行人异常行为的算法,对上述关节点坐标进行分类识别,充分利用手臂与头部信息来实现行人异常行为检测。实验证明,所提算法能够实现实时检测,且检测精度达到了94.08%,从而可以为视频监控、驾驶员、辅助驾驶以及自动驾驶系统提供必要的参考信息。     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

基于DTW约束的动作行为识别

针对固定视角下的人体动作行为准确识别的研究,通过姿态关节点标定,结合不同关节点对动作内和动作间起到不等的权重区分度的问题,提出一种加权量化矩阵的姿态特征表示方法,将关节点相对坐标经过权重修正作为姿态特征,减少因关节点标定误差或图像帧的缺失导致的识别精度下降和误判率增加等问题,同时,对DTW算法加入动态时间规整加以约束来降低算法的复杂度,最后在家庭智能空间内获取动作姿态图像序列,通过实验验证关节点标定及行为识别算法的有效性.     

基于关键点亲和场与支持向量机的人体姿态识别

针对传统动作姿态识别仍需物理数据采集设备或深度体感设备进行手工提取特征的问题,提出一种基于关键点亲和场与支持向量机的人体姿态识别方法。以关键点亲和场为核心进行关节点检测,获取各种姿态下的18个关节点坐标信息,使用标准化后的坐标数据对支持向量机模型加以训练,选择不同的高斯核函数进行对比。实现在没有人体深度信息和无穿戴设备的情况下,只使用普通RGB图片便可对人体姿态进行分类识别的效果。实验表明它在KTH数据集、Weizmann数据集中的识别效果良好;在自采集数据集中与带有传感器的方法相比,缩减操作步骤的同时准确率提高了7百分点。另外,还在保持关节点检测不变的情况下,使用随机森林、KNN算法进行姿态分类对比,实验结果证明该方法优于后两者。     

利用改进生成对抗网络进行人体姿态识别

针对人体模型中某些重要关节点准确定位的问题,提出了一种新型深度卷积生成对抗网络以进行静态图像中人体姿态的估计的方法。该方法采用了深度卷积的堆叠沙漏网络来准确提取图像上关键关节点的位置,该网络的生成和辨别部分被设计用于编码第一层次结构（亲本）与第二层次结构（子本）中的空间关系,并且展示了人体部位的空间层次。生成器和判别器在网络中被设计为两部分,并按照顺序连接在一起用来编码外观可能的关系,同时为人体部位存在的可能性以及身体的每个部分与其亲本部分之间的关系进行编码。在静态图像中,可以较准确地识别人体模型关键节点以及大致人体姿态。该方法在不同的数据集上进行了实验,在大部分情况下,提出的方法获得的结果优于其他几种对比方法。     

基于部位检测的人体姿态识别

为实现较高准确率的基于低分辨率深度图像的人体姿态识别,以Shotton算法为基础,提出了合并部位的方法.利用随机森林检测人体的31个部位,将人体的较小部位合并或者把较小部位划分到相邻的主要部位中去,用均值偏移算法获取各部位关节点的位置.鉴于目前还没有公开的人体姿态深度图像库,改进后的方法利用计算机图形学技术构建了数据集.实验结果表明,改进后的方法提高了低分辨率图像中人体关节点的平均预测准确率,与Shotton算法中要求具有高性能的训练平台相比,该方法在普通PC上就能够很好地运行.     

运动场景下的多目标人体姿态估计

为提高群体活动场景下细粒度人体姿态估计的准确率,优化网路中人体识别及姿态估计算法,在现有研究的基础上,提出一种结合多尺度预测以及改进并行注意力模块的多目标人体姿态估计算法。在充分利用不同尺度特征信息的基础上,实现高质量的人体姿态估计;针对运动场景下多目标人体姿态数据集较少,提出一种数据集CUPB Sport Dataset。实验结果表明,该算法在公开基准数据集和自制数据集上分别达到了81.4 mAP和79.7 mAP,验证了该算法在运动场景下针对多目标的高效性。     

基于车体对称及颜色聚类的车牌自动定位方法*

对车牌区域的准确定位是实现自动车牌识别的一个关键问题。提出了一种综合考虑车体对称特性以及采用颜色聚类的高效车牌定位算法。该算法首先对待分析图像所属的场景进行识别,自动将图像分类为白天场景类或夜晚场景类;然后针对不同场景图像使用不同的车牌定位方案进行处理。对夜间场景中的车牌采用二次定位法,而对白天场景中的车牌采用结合车体对称轴定位并考虑车牌区域文本特征的方法。实验结果显示,该方法对图像场景分类以及车牌定位的总体准确率都达到了95.7%。     

3D human pose estimation in motion based on multi-stage regression

3D human pose estimation in motion is a hot research direction in the field of computer vision. However, the performance of the algorithm is affected by the complexity of 3D spatial information, self-occlusion of human body, mapping uncertainty and other problems. In this paper, we propose a 3D human joint localization method based on multi-stage regression depth network and 2D to 3D point mapping algorithm. First of all, we use a single RGB image as the input, through the introduction of heatmap and multi-stage regression to constantly optimize the coordinates of human joint points. Then we input the 2D joint points into the mapping network for calculation, and get the coordinates of 3D human body joint points, and then to complete the 3D human body pose estimation task. The MPJPE of the algorithm in Human3.6 M dataset is 40.7. The evaluation of dataset shows that our method has obvious advantages.     

基于关节点特征的跌倒检测算法

针对跌倒检测算法中存在网络计算量大和类跌倒行为难以区分的问题,提出一种基于关节点特征的跌倒检测算法。首先,在目前先进的CenterNet算法基础上提出了深度可分离卷积CenterNet （DSC-CenterNet）关节点检测算法,从而在减少骨干网络计算量的同时准确检测人体关节点并获取关节点坐标;然后,基于关节点位置和人体先验知识来提取可充分表达跌倒行为的空间特征和时间特征作为关节点特征;最后,把关节点特征向量输入全连接层,并经Sigmoid分类器输出跌倒或非跌倒两种类别,从而实现人体目标的跌倒检测。实验结果表明,所提算法在UR Fall Detection数据集上对不同状态变化下跌倒检测的平均准确率达到98.00%,区分类跌倒行为的准确率达到98.22%,跌倒检测速度为18.6 frame/s。与原CenterNet结合关节点特征跌倒检测的算法相比,DSC-CenterNet结合关节点特征算法的跌倒检测速度提升了22.37%,提高后的速度可有效满足视频监控下人体跌倒检测任务的实时性。该算法能有效提高跌倒检测速度并对人体跌倒状态进行准确检测,且进一步验证了基于关节点特征的跌倒检测算法在视频跌倒行为分析中的可行性与高效性。     

双目视觉引导机器人码垛定位技术的研究

针对机器人采用示教方式码垛时所遇到的误抓取等问题,提出了一种基于双目视觉引导机器人码垛的定位方法。完成了双目标定、手眼标定以及极线校正工作,利用灰度变换与图像滤波相融合的算法对图像进行预处理,提高图像的质量。将图像的灰度级分布与立体匹配算法相结合,提高立体匹配的精度,获得更好的视差图像,对视差图像进行处理得到了码垛产品区域的中心点,然后结合平行双目系统和手眼标定的结果引导机器人对产品进行定位、码垛。实验表明：该方法可实现对产品区域中心点的精确定位,获得其坐标值,引导机器人码垛。     

基于人体关节点数据的攻击性行为识别

针对人体攻击性行为识别问题，提出一种基于人体关节点数据的攻击性行为识别方法。首先，利用OpenPose获得单帧图像中的人体关节点数据，并通过最近邻帧特征加权法和分段多项式回归完成由人体自遮挡和环境因素所导致缺失值的补全；然后，对每个人体定义动态"安全距离"阈值，如果两人真实距离小于阈值，则构建行为特征矢量，其中包括帧间人体重心位移、人体关节旋转角角速度和发生交互时的最小攻击距离等；最后，提出改进的LightGBM算法w-LightGBM，并对攻击性行为进行识别。采用公共数据集UT-interaction对所提出的攻击性行为分类识别方法进行测试实验，准确率达到95.45%。实验结果表明，所提方法能够有效识别各种角度的攻击性行为。     

基于Gaussian-Hermite矩的指纹奇异点定位

在指纹分类和识别算法中,提取的奇异点(core点和delta点)数目和奇异点的准确位置是非常重要的.介绍了一种基于Gaussian-Hermite矩分布属性的自适应指纹奇异点定位方法,为了准确地确定奇异点,用到了指纹图像在多种尺度下的不同阶Gaussian-Hermite矩分布,并用一种基于主分量分析(principal component analysis,简称PCA)的方法分析指纹图像的Gaussian-Hermite矩分布.实验结果表明,该算法能够准确地确定奇异点位置.     

基于图形变换的人体经络可视化

提出了一种可以检测并直观表示人体经络分布的实时定位和显示方法。首先,利用多通道经络阻抗检测仪和磁定位跟踪仪确定人体体表经络点的位置,获取经络点的三维信息;其次,对场景摄像机进行标定,并将其结果和经络点的三维信息通过图形变换技术变换到统一的世界坐标系下,获取摄像机的投影矩阵H;最后,根据该投影矩阵H,将经络点三维信息投影到二维图像上,形成二维经络线,并将其融合于场景摄像机拍摄的人体体表实时图像上,实现人体经络的可视化。测试结果表明,该方法能够准确有效地定位和显示人体经络。     

利用地面景象信息辅助的无人机自主定位技术

针对无人机自主定位过程中GPS定位系统失效的问题,提出了一种利用地面景象信息辅助的无人机自主定位技术,首先利用无人机所拍摄的实时航拍图像,与预先储存在无人机计算机中地面景象的数字化地形图进行匹配,从匹配结果中提取一个同名像点,结合地面景象数字化地形图所提供的数据信息获取此同名像点的地理位置坐标,根据同名像点位置与无人机位置间的几何关系,结合机载光电测量系统的坐标转换过程,实现无人机的自主定位过程。利用已知的地面同名像点的地理位置信息,反推出无人机的地理位置信息具有一定的创新性。由于整个定位过程存在实际误差,因此利用无人机飞行时记录的数据,采用蒙特卡罗法对定位误差进行仿真试验。试验结果表明该技术能够在误差允许范围内,在GPS定位系统失效的情况下完成无人机的自主定位     

基于深度学习的铁路图像场景分类优化研究

铁路检测、监测领域产生海量的图像数据,基于图像场景进行分类对图像后续分析、管理具有重要价值.本文提出一种结合深度卷积神经神经网络DCNN （Deep Convolutional Neural Networks）与梯度类激活映射Grad-CAM （Grad Class Activation Mapping）的可视化场景分类模型,DCNN在铁路场景分类图像数据集进行迁移学习,实现特征提取,Grad-CAM根据梯度全局平均计算权重实现对类别的加权热力图及激活分数计算,提升分类模型可解释性.实验中对比了不同的DCNN网络结构对铁路图像场景分类任务性能影响,对场景分类模型实现可视化解释,基于可视化模型提出了通过降低数据集内部偏差提升模型分类能力的优化流程,验证了深度学习技术对于图像场景分类任务的有效性.