基于注意力机制子网络的时空跌倒检测算法

近年来行人跌倒检测变得越来越重要,因为准确及时的跌倒检测可以帮助跌倒者获得紧急救援。针对复杂场景中由于光照变化、遮挡和尺度变化等导致检测性能下降的问题,提出一种实时、鲁棒的跌倒检测算法。首先采用YOLO v3目标检测模块完成行人检测;然后在跟踪模块中对每个跟踪的边界框提取深层特征后,运用数据增强和重检测技术提高光照变化下的检测精度,并引入注意力机制子网络应对被遮挡目标的检测;最后跌倒判断模块对行人姿态进行判断,完成实时跌倒检测和报警。在Cityperson数据集、Montreal fall数据集和自建数据集上的实验结果表明,行人检测算法的检测精度达到87.05%,跌倒算法的检测精度达到98.55%,时延在120 ms以内,且在光照变化和遮挡影响下依然能获得良好的性能。     

基于卷积神经网络和多判别特征的跌倒检测算法EI北大核心CSCD

针对传统跌倒检测算法中特征提取不充分、跌倒判别条件泛化性差、实时性差等问题,提出一种基于卷积神经网络和多判别特征的跌倒检测算法.为了完成更丰富的特征信息提取并保证实时性,首先,使用MobileNetV3轻量级网络完成对输入图片中人物特征信息的准确、快速提取;其次,使用3个小型卷积核的叠加和残差网络,保证网络在具有相同感受野的情况下降低网络模型的参数量,以保证图像中人体关键点检测的实时性;再次,为了提高跌倒状态判别的准确性,将人体躯干、四肢与地面间夹角,以及人体标定框高宽比变化作为跌倒判别特征;最后,设计了一个基于云服务器的物联网系统,以缓解用户终端计算能力不足导致实时性差的问题.在URFD数据集和自建数据集上进行大量实验的结果表明,该算法的检测准确率分别为99.0%和98.5%,该算法相对于传统跌倒检测算法具有更高的准确性和更好的普适性.     

一种复杂背景下多尺度多视角的人体检测方法

针对复杂背景下的人体检测技术所面临的噪声干扰、背景复杂、相互遮挡等问题,设计一种多尺度多视角人体检测算法。针对传统的梯度方向直方图目标特征提取方法特征维数大、有遮挡时检测率低等缺陷,分别使用扩展多尺度方向特征和经WTA hash编码的多尺度梯度方向直方图特征提取,并使用弱分类器和贪婪算法进行特征选择以获得图像的粗特征和精特征。然后使用线性平移合成多视角样本,使用多层级联的Adaboost算法和支持向量机作为分类器进行人体目标检测,结合复杂背景处理、特征重装等方法提高检测精度。使用INRIA公共测试集的实验结果表明,该算法可精确检测出复杂背景下相互遮挡情况下多视角、多姿态的人体目标,与传统的人体检测算法相比,具有更高的检测效率和检测精度。     

基于AlphaPose优化模型的老人跌倒行为检测算法

针对在低功耗、低成本硬件平台快速准确检测老人跌倒高危行为的问题,提出了一种基于AlphaPose优化模型的老人异常行为检测算法.首先,对行人目标检测模型和姿态估计模型进行优化,以加快人体目标检测和姿态关节点推理;然后,通过优化的AlphaPose模型快速计算得到人体姿态关节点图像坐标数据;最后,计算人体跌倒瞬间头部关节...     

跨阶段结构下的人体姿态估计

目的 基于图像的人体姿态估计是计算机视觉领域中一个非常重要的研究课题,并广泛应用于人机交互、监控以及图像检索等方面。但是,由于人体视觉外观的多样性、遮挡和混杂背景等因素的影响,导致人体姿态估计问题一直是计算机视觉领域的难点和热点。本文主要关注于初始特征对关节点定位的作用,提出一种跨阶段卷积姿态机（CSCPM）。方法 首先,采用VGG （visual geometry group）网络获得初步的图像初始特征,该初始特征既是图像关节点定位的基础,同时,也由于受到自遮挡和混杂背景的干扰难以学习。其次,在初始特征的基础上,构建多层模型学习不同尺度下的结构特征,同时为了解决深度学习中的梯度消失问题,在后续的各层特征中都串联该初始特征。最后,设计了多尺度关节点定位的联合损失,用于学习深度网络参数。结果 本文实验在两大人体姿态数据集MPII （MPII human pose dataset）和LSP （leeds sport pose）上分别与近3年的人体姿态估计方法进行了定性与定量比较,在MPII数据集中,模型的总检测率为89.1%,相比于性能第2的模型高出了0.7%;在LSP数据集中,模型的总检测率为91.0%,相比于性能第2的模型高出了0.5%。结论 实验结果表明,初始特征学习能够有效判断关节点的自遮挡和混杂背景干扰情况,引入跨阶段结构的CSCPM姿态估计模型能够胜出现有人体姿态估计模型。     

复杂背景下人体检测算法

静态图像的人体识别技术在实际视频监控场景中, 面临背景复杂、图像分辨率低、光照影响和噪声干扰等问题, 这些多变性以及可能发生的遮挡给单一图像中的人体识别技术提出了挑战. 设计和实现一种复杂背景下的人体检测算法, 基于HOG人体检测算法, 使用积分直方图计算HOG特征, 并用级联SVM分类器对样本进行训练. 实验结果表明, 该算法在复杂视频监控场景中进行人体检测比其它人体检测算法具有更高的准确率和更快的检测速度.     

基于图像语义分割和CNN模型的老人跌倒检测

随着老龄化社会的到来,独居老人的安全问题越来越引人关注.其中,跌倒是老人在家中最常见也是危害最大的风险之一.当前已经有许多关于老人跌倒检测的算法,它们大多应用在摄像头固定的场景下,并主要采用前景提取方法来获取人体轮廓.采用固定摄像头意味着需要为家中每一处独立的空间都安装监控设备才能保证对于老人的全面监控,这显然不实用.基于此,本文采用图像语义分割算法和CNN分类模型,提出了一种可用于移动摄像头上的老人跌倒检测算法.首先采用当前流行的全卷积神经网络（fully convolutional network）语义分割算法^[1]分割出图像中的人体,对于满足面积比例条件的情况,直接通过宽高比特征判断人体是否处于跌倒状态;否则,提出一种融合的CNN人体姿态判别模型,将人体区域分成Stand、Fall、Half-Lying三种情况分别进行检测,最后根据三者的分类结果判定图像中是否包含跌倒人体.实验结果显示,文中的算法在具有较高的识别准确率（91.32%）的同时,具有较低的误报率（1.66%）.     

基于频率筛分的无监督人体姿态特征提取与识别研究

基于视频序列的人体行为分析需要检测和判别人体姿态,已有人体姿态检测与判别方法往往达不到实用性要求.从两个方面探讨应用BEMD(bidimensional empirical mode decomposition)算法提升特征分离度与判别性,以进行人体姿态检测和判别:BEMD分解源图像得到的多层固有模态图BIMF具有判别特征,可形成具有强边缘的对比度高的区域,其中包括人体轮廓区域;从低分辨率尺度BIMF图像到高分辨率尺度BIMF图像递归计算,建立基于BEMD的多尺度树(BEMD muhiscale-trees tructured)模型,快速提取目标区域并获取人体形状轮廓特征.实验证明,利用该方法进行人体姿态轮廓特征提取,并建立人体姿态的简化模型,可快速检测并判别人体姿态,以达到实时识别.     

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.     

基于人体姿态的P SO-SVM特征向量跌倒检测方法

在可穿戴设备检测人体跌倒情况时,单一采用加速度阈值判别方法不能完整表征人体跌倒行为变化的信息,导致对跌倒信息误判.为此,提出了一种基于人体姿态的PSO-SVM特征向量跌倒检测算法.首先通过MEMS加速度传感器节点采集人体姿态数据,并利用共轭梯度法对采集的数据进行优化处理,降低非线性误差;然后,利用支持向量机SVM(Support Vector Machine)分类器检测跌倒行为,并通过粒子群PSO(Particle Swarm Optimization)算法对SVM参数进行优化,获得最佳分类模型,根据SVM分类模型对采集的姿态数据进行分析,判断是否跌倒;最后根据人体姿态角,构建融合人体姿态角的PSO-SVM特征向量,检测跌倒过程的具体信息.实验结果表明:该检测方法取得95.5%的识别率,能够较好地区分其他非跌倒性动作,检测精度较其他方法较高,均方根误差较小,有较好的鲁棒性.     

面向边缘端的施工人员实时检测方法

施工人员检测在施工管理工作中有重要的应用价值。施工现场图像背景复杂且视角多样,给施工人员检测任务带来难度,同时施工现场大多基础配套设施不完善,并且网络条件较差,不适合在大型GPU工作站上进行模型部署。针对以上问题,以YOLOv3检测网络为基础,加入特征金字塔池化模块,增加多尺度特征融合并改进候选框,提升检测精度,同时采用通道剪枝算法对检测网络进行轻量化处理以适应边缘端设备算力,提出一种面向边缘端的施工人员实时检测方法。该方法在自制的施工人员数据集上平均准确率可达到88.23%,较YOLOv3检测方法提升4.89个百分点,且将模型大小压缩至原来的1/13,检测速度提升一倍,在嵌入式设备Jetson Xavier NX上检测速度可达到69.08帧/s,满足在施工现场进行实时边缘端检测的要求。     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

人体姿态识别算法在视觉人机交互中的应用

针对当下视觉人机交互应用中所面临的识别过程复杂,交互效率低等一系列问题,提出了一种基于人体构造的姿态识别算法。利用该算法和软硬协同的设计思想,在FPGA平台上实现了一套运用视觉感知进行交互的机器人控制系统。图像采集模块获取双摄像头的画面,图像预处理模块完成降噪和冗余帧的去除,关节识别模块实现对人体皮肤和关节处颜色标记的检测;得到的关节位置信息送入软核,运用空间向量模型识别出肢体动作。最终将识别结果编码后通过蓝牙传输给远端机器人。实际测试表明,该算法能快速准确地识别出绝大部分基本的肢体动作,机器人能实时跟随人体简单运动。     

基于多时相巡检图像的变电设备抗干扰缺陷检测

近年来,变电站中广泛采用机器视觉算法分析多时相巡检图像的差异变化,用于检测各类变电设备缺陷,以确保运行安全.然而,由于拍摄时刻不同,多时相图像间存在天气、光照、季节等各类干扰变化,对变电设备的缺陷检测提出了挑战.对此,提出一种基于多时相巡检图像的变电设备抗干扰缺陷检测方法.首先,利用风格迁移模型CycleGAN学习不同风格域之间的映射关系,并基于检测图生成足量存在天气、光照、季节干扰变化的干扰图;其次,基于参考图$+$检测图$+$干扰图三元组对三重孪生网络TripleNet进行协同训练,在特征层面提出空间一致性损失以抵抗各类干扰变化,用于提取三者鲁棒的多尺度差异特征;最后,搭建特征聚合网络PANet融合多尺度差异特征,输出多尺度的缺陷检测结果.在实际变电设备多时相巡检图像数据集上进行实验验证,结果表明,所提出方法相较于非孪生网络和一般孪生网络可提升2.09%和0.67%的mAP,且在原始样本与干扰样本上的检测精度更均衡,而且所提出方法可以在提升变电设备缺陷检测模型精度的同时增强模型的抗干扰能力.     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

动态场景下基于自适应语义分割的RGB-D SLAM算法

目前较为成熟的视觉SLAM算法在应用于动态场景时,往往会因动态对象干扰而导致系统所估计的位姿误差急剧增大甚至算法失效。为解决上述问题,本文提出一种适用于室内动态场景的视觉SLAM算法,根据当前帧中特征点的运动等级信息自适应判断当前帧是否需要进行语义分割,进而实现语义信息的跨帧检测;根据语义分割网络提供的先验信息以及该对象在先前场景中的运动状态,为每个特征点分配运动等级,将其归类为静态点、可移静态点或动态点。选取合适的特征点进行位姿的初估计,再根据加权静态约束的结果对位姿进行二次优化。最后为验证本文算法的有效性,在TUM RGB-D动态场景数据集上进行实验,并与ORB-SLAM2算法及其他处理动态场景的SLAM算法进行对比,结果表明本文算法在大部分数据集上表现良好,相较改进前的ORB-SLAM算法,本文算法在室内动态场景中的定位精度可提升90.57%。     

基于深度SSD改进模型的传动设备状态在线监测研究

针对现有传动设备在线监测算法存在的检测精度地、效率差等问题,提出一种基于改进SSD网络模型的在线检测算法。先对故障集进行预处理,通过滤波调制、共振解调等环节滤除原始故障集的噪声干扰;以VGG-16为基础设计了SSD网络结构,同时增加了辅助卷积层和预测层;对SSD网络模型进行改进,引入了注意力机制模块和特征增强模块,改善模型各层的数据共享性能同时提高了模型的数据训练效率;基于通道拼合方式对故障数据进行多尺度特征融合,并优化SSD模型的各层金字塔结构,以更好的匹配先验框及选择最佳的损失函数。实验结果显示,提出算法的传动设备故障检测率达到98.8%,同时算法的检测效率也优于现有算法。     

面向室内场景的主被动融合视觉定位系统

目的 视觉定位旨在利用易于获取的RGB图像对运动物体进行目标定位及姿态估计。室内场景中普遍存在的物体遮挡、弱纹理区域等干扰极易造成目标关键点的错误估计,严重影响了视觉定位的精度。针对这一问题,本文提出一种主被动融合的室内定位系统,结合固定视角和移动视角的方案优势,实现室内场景中运动目标的精准定位。方法 提出一种基于平面先验的物体位姿估计方法,在关键点检测的单目定位框架基础上,使用平面约束进行3自由度姿态优化,提升固定视角下室内平面中运动目标的定位稳定性。基于无损卡尔曼滤波算法设计了一套数据融合定位系统,将从固定视角得到的被动式定位结果与从移动视角得到的主动式定位结果进行融合,提升了运动目标的位姿估计结果的可靠性。结果 本文提出的主被动融合室内视觉定位系统在iGibson仿真数据集上的平均定位精度为2～3 cm,定位误差在10 cm内的准确率为99%;在真实场景中平均定位精度为3～4 cm,定位误差在10 cm内的准确率在90%以上,实现了cm级的定位精度。结论 提出的室内视觉定位系统融合了被动式和主动式定位方法的优势,能够以较低设备成本实现室内场景中高精度的目标定位结果,并在遮挡、目标...     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...