一种基于多示例学习的运动员检测方法

体育视频包含大量不同类型的人体,其中运动员的行为与比赛进程和视频内容直接相关,因此运动员检 测是体育视频分析的关键环节。现有人体目标检测算法在通用人体检测任务上取得了良好的性能,但是无法有效区分运动员和非运动员。专门训练一个运动员检测模型需要标注大量的运动员位置,成本较高。本文提出了一种基于多示例学习的人体目标检测方法。在通用人体检测的基础上,引入多示例学习模块,基于图像级标注,通过弱监督方式自动学习获取特征映射矩阵,将人体特征映射到运动员特征空间,最后通过度量人体特征与运动员特征之间的相似度,实现运动员与非运动员的区分。对比实验结果表明,本文方法充分利用通用人体检测框架,以 极小的标注数据量达到了专门训练运动员检测模型的精度。      

基于机器视觉的石化场景人员危险行为识别

针对石油化工场景下传统的人体行为识别算法只关注人员自身行为,无法识别打手机、抽烟等属于人-物交互危险行为的问题,在基于骨骼点的人体行为识别任务中引入目标检测机制,提出基于深度学习的人-物交互行为识别算法.首先,采用OpenPose算法进行姿态估计,进而利用行为识别方法获取初始行为类别;其次,针对传统方法丢失背景和语义信息的问题,使用YOLOv3算法检测感兴趣物体,获得类别和位置信息;然后,通过判断人与物体的空间位置关系来表征人-物交互关系;最后,提出决策融合策略,对人的初始行为类别、物体信息、人-物交互关系进行决策融合,得到最终的行为识别结果.以打手机和抽烟行为为例对所提算法进行验证分析,结果表明,所提算法可以对石化场景下人员的危险行为进行准确识别.     

基于深度学习的2D人体姿态估计浅析

近年来,随着深度学习技术的发展,基于深度学习的2D人体姿态估计展现出了极其优异的效果。文章主要对2014年以来基于深度学习的2D人体姿态估计相关内容进行了分析和评述,包括对主流方法的介绍和对数据集评价指标的总结对比,最后还讨论了2D人体姿态估计的未来研究方向。     

深度学习的二维人体姿态估计综述

本文针对基于深度学习的二维人体姿态估计方法进行了全面综述.首先对这些深度学习技术进行了分类、分析和比较,并介绍了二维人体姿态估计中常用的数据集和指标,最后还讨论了有待解决的问题和未来研究的挑战.     

超宽带定位的AGV定位跟踪算法研究

为了对室内运行的AGV定位跟踪,本文提出一种基于超宽带定位的AGV定位跟踪算法。首先针对3基站TDOA定位方法存在基站附近及其遮挡区域定位错误概率高的问题,本文算法利用目标运动信息辅助降低定位错误概率;其次针对室内环境制约造成机动AGV的跟踪困难问题,本文算法首先对室内环境信息进行描述,采用目标预测位置到障碍物区域的张角作为辅助信息对多模型跟踪算法中模型集进行更新,最后进行状态估计。本文算法将运动先验信息引入到定位方法中,具有定位准确概率高的优点;将环境先验信息引入到跟踪算法,具有错误估计概率低的优点。通过仿真实验证明,本文算法具有较低的跟踪错误概率和较高的定位正确概率,能够有效实现3基站条件下室内运动AGV的定位和跟踪。      

基于深度可分离卷积和Transformer的关键点检测方法

随着神经网络技术的不断发展,人体姿态识别在现实生活中扮演着越来越重要的角色,广泛应用于视频监控和智能健身等方面。为满足在移动端易集成的需求,提出一种基于Transformer的姿态识别算法。通过MobileNet中的深度可分离卷积提取特征,同时添加残差结构获取低维度信息,和Transformer的编码结构结合实现人体关键点检测。实验结果表明,训练得到的网络模型的准确率与传统的基于深度学习的姿态识别方法准确率相差不超过1%,但模型参数大幅下降,更加轻量化且便于移动端的部署。     

多尺度时空上下文目标跟踪

相关滤波器在视觉目标跟踪中得到了广泛应用,针对复杂场景下目标跟踪容易出现跟踪漂移的问题,以及现有多尺度跟踪算法计算量大的问题,本文提出一种实时的多尺度目标跟踪方法。首先由时空上下文模型输出目标位置置信图完成目标定位,再在尺度空间上训练相关滤波器完成目标尺度估计,最后基于目标位置和尺度提出了一种新的时空上下文模型更新机制,避免了模型更新错误。实验表明:该方法在尺度变化、局部遮挡、目标姿态变化等情况下均能完成鲁棒跟踪,跟踪正确率较原始时空上下文跟踪算法提高了38.4%。     

基于改进热图损失函数的目标6D姿态估计算法

针对传统热图回归使用的均方误差（MSE）损失函数训练热图回归网络的精度不高且训练缓慢的问题,本文提出了用于热图回归的损失函数Heatmap Wing Loss(HWing Loss)。该损失函数对于不同的像素值有不同的损失函数值,前景像素的损失函数梯度更大,可以使网络更加关注前景像素,使热图回归更加准确快速。同时根据热图分布特性,使用基于高斯分布的关键点推理方法减小热图推断关键点时的量化误差。以此两点为基础,构造新的基于关键点定位的单目标姿态估计的算法。实验结果表明,相比于使用MSE Loss的算法,使用HWing Loss的姿态估计算法有更高的ADD(-S)准确率,在LINEMOD数据集上达到了88.8%,性能优于近期其他的基于深度学习的姿态估计算法。本文算法在RTX3080 GPU上最快能以25 fps的速度运行,兼具速度与性能优势。     

基于无线传感器网络的无线医疗监护系统的设计与实现

本文设计了基于无线传感器网络的无线医疗监护系统,利用基于TinyOS操作系统的CC2430作为无线射频模块,加速度传感器、脉搏传感器和体温传感器分别检测人体姿态、脉搏和体温。提出的基于RSSI值的定位算法可正确定位被监护者所处位置,跌倒算法可以准确判别人体跌倒状态,设计的上位机界面可以实时显示被监护人人体状态。结果表明,该系统可准确地获取被监护人脉搏、体温、人体姿态和位置等信息,实现了可靠的无线监护目标。     

无人机辅助的基于前馈神经网络的节点定位算法

针对无线传感网络(WSNs)的节点定位问题,提出无人机辅助的基于前馈神经网络的节点定位(UAV-NN)算法。UAV-NN算法利用无人机(UAV)作为锚节点,并由UAV周期地发射beacon信号,利用极端学习机(LEM)训练单隐藏前向反馈的神经网络(SLFN),未知节点接收来自UAV发射的beacon信号,并记录其接收信号强度指示(RSSI),已训练的SLFN再依据RSSI值估计节点位置。仿真结果表明,相比于传统的基于RSSI定位算法,提出的UAV-NN算法无需部署地面锚节点;相比其他传统的机器学习算法,UAV-NN算法通过引用ELM,减少了定位误差。     

RFID-based 3D human pose tracking: A subject generalization approach

Three-dimensional (3D) human pose tracking has recently attracted more and more attention in the computer vision field. Real-time pose tracking is highly useful in various domains such as video surveillance, somatosensory games, and human-computer interaction. However, vision-based pose tracking techniques usually raise privacy concerns, making human pose tracking without vision data usage an important problem. Thus, we propose using Radio Frequency Identification (RFID) as a pose tracking technique via a low-cost wearable sensing device. Although our prior work illustrated how deep learning could transfer RFID data into real-time human poses, generalization for different subjects remains challenging. This paper proposes a subject-adaptive technique to address this generalization problem. In the proposed system, termed Cycle-Pose, we leverage a cross-skeleton learning structure to improve the adaptability of the deep learning model to different human skeletons. Moreover, our novel cycle kinematic network is proposed for unpaired RFID and labeled pose data from different subjects. The Cycle-Pose system is implemented and evaluated by comparing its prototype with a traditional RFID pose tracking system. The experimental results demonstrate that Cycle-Pose can achieve lower estimation error and better subject generalization than the traditional system.     

基于U-NET网络的消防红外图像的人体检测算法

针对消防红外图像分辨率差、对比度低、信噪比低、视觉效果模糊、人体姿态复杂,多障碍物遮蔽、人体姿态不完整等特点。本文提出了一种基于U-Net网络的消防红外图像的人体检测算法,通过该算法解决了消防场景中人体姿态复杂,多障碍物遮蔽,人体形态不完整的困难。同时对比于传统目标检测算法以及YOLO v3算法,本文提出的算法在消防红外图像的人体检测上无论是检测的精度还是运算的实时性上都有大幅的提升。     

Hierarchical Learning-Guided human motion quality assessment in big data environment

Image information may be distorted during acquisition, processing, compression, and transmission. It is necessary to propose an intelligent image quality assessment model toward big data environment to quantify the degree of distortion of the image. This paper proposes a quality assessment model for human motion images. In complex scenes, the human body's action posture can be taken as an important feature point. Usually, in different scenes, the parts that affect the quality of the human body's posture are different. In other words, the weights of feature points that affect quality are different in different scenarios. However, due to the categorization of human movements, we can learn the quality assessment methods of different types of movements through sample training. Inspired by feature learning in the field of machine learning, we propose a hierarchical quality learning approach. We cast quality assessment as quality feature learning and layer by layer. The hierarchical quality learning method is based on deep reinforcement learning. The key part is that the method focuses on the region that containing more information on the features of the quality and enlarges the region layer by layer. Finally, we can determine the part of the body that affects the quality assessment. We compare this method with the subjective quality assessment results of the human observers and find that the proposed method achieves effective performance in big data environment to evaluate human motion quality.     

基于2D姿势估计的高动态舞蹈动作识别方法

针对舞蹈视频图像中动作复杂多变、连贯性强、遮挡问题严重等问题,文中结合先进的舞蹈动作识别技术发展方向及其应用场景,同时考虑到彩色图像处理中计算机处理负载过重的问题,设计了一种基于2D姿势估计的高动态舞蹈动作识别方法。该方法主要分为模板建立与姿势估计两个部分,主要涉及的处理操作有图像预处理、模板特征提取和模板匹配这三种。验证测试结果表明,训练集图像经过灰度化与阈值化后,即可获得图像中前景舞者的图形,再利用Kinect人体模型提取动作特征信息。由于考虑到拍摄角度等原因导致的特征差异,将描述同一动作的多张训练图的特征信息保存在同一信息矩阵中,可进一步提高动作识别的准确性。     

改进型卷积神经网络焊点缺陷识别算法研究

为了同时对多种焊点缺陷类型进行快速识别,解决现有焊接异常图像识别算法误检率与漏检率偏高的问题,设计了基于改进型卷积神经网络的深度学习算法。利用自组织映射分类技术,提高了卷积神经网络的数据选择自适应性,结合自适应矩估计分析, 约束了焊接异常图像中特征集合的收敛条件。实验中将5种常见焊接异常图像以等比例随机分布的形式放入训练集、验证集和测试集中,再分别用传统识别算法(canny算法和k均值算法)和该算法进行测试。结果表明,对于桥连缺陷,3种方法均无误检、无漏检;对于小球缺陷,3种方法均符合要求,而canny算法的检出能力最优;对于偏球缺陷, 3种算法的误检率分别是12.4%, 7.3%和与1.4%,漏检率分别是13.3%, 6.5%和1.1%;对于虚焊和少锡缺陷,该算法相比传统算法精度高约1个数量级。该算法在对多种焊点缺陷类型识别中具有明显优势。     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

基于Gabor调制的深度多层子空间人脸识别算法

人脸识别的关键在于特征提取,过去主要从完美的低维特征子空间来刻画高维图像,但是近年来深度学习模型为特征提取提供新方向。本文提出在Gabor特征描述子调制下的深度子空间模型,在深度子空间这一新型深度学习框架基础上,使用Gabor滤波器组处理图像,并构建深度特征提取多层网络,得到Gabor调制下的深层抽象特征。首先将传统的8个方向5个尺度的40个Gabor滤波器在尺度上进行压缩得到8个基本Gabor滤波器组;然后将经过Gabor滤波的描述特征分别送入深度化改造的子空间模型,得到图像的深层特征表示;其次将这些特征进行哈希编码,直方图分块,作为描述特征。本文在FERET、ORL、CMU_PIE等数据库上讨论加入Gabor滤波器调制后的深度多层子空间特征提取模型在人脸识别问题上性能的提升,实验结果表明,该算法可以取得较好的识别率,并对光照、表情、姿态等有很好的鲁棒性,能够弥补浅层网络易受训练图像影响的缺点。      

采用深度学习的遥感图像花生种植区域分类技术研究

近年来，深度学习在图像处理和数据分析等方面取得了巨大的进展。针对传统遥感估计农作物种植面积统计方法时效性差、依赖人工操作经验、耗费人力资源等问题，以Sentinel-2卫星遥感影像为数据基础，提出了一种基于深度学习的农作物种植区域分类方法。实验以从背景中提取出花生种植区域为目标，首先对Sentinel-2遥感影像数据进行预处理，然后用人工目视解译的方法标注遥感影像中种植花生的区域，将标注后的图像输入到图像分割网络中进行训练，最后将测试图像输入到训练好的分割网络，获得测试结果:检测准确率为89.20%，检测召回率为79.22%。      

基于时空多特征融合网络的三维人体姿态估计北大核心CSCD

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。     

基于YOLO算法的红外图像目标检测的改进方法

传统红外图像行人检测方法利用人工进行比例模板设计和行人轮廓特征提取,由于预设模板比例相对固定,当行人因衣着增减、随身携带物品及姿态改变等原因使其轮廓比例发生较大变化时,往往会导致算法失灵而出现漏检现象。而基于深度学习的目标检测则通过对大量样本的本质特征进行抽象、提取、加工和整合,进而实现对更多样特征的学习。因此利用深度学习目标检测算法进行红外图像行人检测应用的研究可以弥补传统检测方法的不足。YOLOv3是目前性能较为均衡的识别算法,本文在分析YOLOv3系列算法的原理和特点的基础上提出了一个新的改进算法模型——Darknet-19-yolo-3,在几乎不损失检测精度的条件下提升检测速度,一定程度上实现检测准确率和速度的相对平衡。