基于AlphaPose优化模型的老人跌倒行为检测算法

针对在低功耗、低成本硬件平台快速准确检测老人跌倒高危行为的问题,提出了一种基于AlphaPose优化模型的老人异常行为检测算法.首先,对行人目标检测模型和姿态估计模型进行优化,以加快人体目标检测和姿态关节点推理;然后,通过优化的AlphaPose模型快速计算得到人体姿态关节点图像坐标数据;最后,计算人体跌倒瞬间头部关节...     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于MobileNetV3与ST-SRU的危险驾驶姿态识别

针对危险驾驶行为引起的交通安全事故频发的现状,提出一种基于MobileNetV3和ST-SRU的危险驾驶姿态识别系统.首先,修改MobileNetV3的网络结构使其适用于人体姿态估计任务,输出关节点的热力图和偏移量图,用来估计J个关节点的二维坐标位置;其次,定义ST-SRU骨架动作识别算法,利用动作的骨架序列数据对动作进行分类.实验结果表明:MobileNetV3姿态估计算法在自建的AI Challenger上肢姿态数据集上测得PCP值(percentage correct parts)达到95.6%,测试1 000次用时仅为5.03 s;利用自建的危险驾驶行为数据集将训练好的姿态估计和动作识别模型移植到嵌入式平台,实现了实时的危险驾驶姿态识别系统.     

基于变精度覆盖粗糙集的入侵检测方法

精准且快速地识别异常用户行为是入侵检测系统（IDS）的重要任务。针对入侵检测数据维度高、样本量大的问题,提出了基于变精度覆盖粗糙集的相关族属性约简方法,并将其运用至入侵检测数据中。首先,基于覆盖决策表生成条件属性的变精度相关族;然后,在所有条件属性变精度相关族的基础上利用启发式算法求得决策表的属性约简;最后,在上述的基础上结合分类器对入侵检测数据进行检测。实验结果表明,所提方法具有计算属性约简时间短的优点,在大样本数据集上,基于模糊粗糙集依赖度的属性约简算法NFRS运行所需时长为该算法的96倍。在入侵检测数据集NSL-KDD上,该方法可快速识别关键属性,剔除无效信息,其整体准确率可达到90.53%,且对Normal的识别准确率可达到97%。     

基于变精度覆盖粗糙集的入侵检测方法

精准且快速地识别异常用户行为是入侵检测系统（IDS）的重要任务。针对入侵检测数据维度高、样本量大的问题，提出了基于变精度覆盖粗糙集的相关族属性约简方法，并将其运用至入侵检测数据中。首先，基于覆盖决策表生成条件属性的变精度相关族；然后，在所有条件属性变精度相关族的基础上利用启发式算法求得决策表的属性约简；最后，在上述的基础上结合分类器对入侵检测数据进行检测。实验结果表明，所提方法具有计算属性约简时间短的优点，在大样本数据集上，基于模糊粗糙集依赖度的属性约简算法NFRS运行所需时长为该算法的96倍。在入侵检测数据集NSL-KDD上，该方法可快速识别关键属性，剔除无效信息，其整体准确率可达到90.53%，且对Normal的识别准确率可达到97%。     

基于关键点亲和场与支持向量机的人体姿态识别

针对传统动作姿态识别仍需物理数据采集设备或深度体感设备进行手工提取特征的问题,提出一种基于关键点亲和场与支持向量机的人体姿态识别方法。以关键点亲和场为核心进行关节点检测,获取各种姿态下的18个关节点坐标信息,使用标准化后的坐标数据对支持向量机模型加以训练,选择不同的高斯核函数进行对比。实现在没有人体深度信息和无穿戴设备的情况下,只使用普通RGB图片便可对人体姿态进行分类识别的效果。实验表明它在KTH数据集、Weizmann数据集中的识别效果良好;在自采集数据集中与带有传感器的方法相比,缩减操作步骤的同时准确率提高了7百分点。另外,还在保持关节点检测不变的情况下,使用随机森林、KNN算法进行姿态分类对比,实验结果证明该方法优于后两者。     

基于DTW约束的动作行为识别

针对固定视角下的人体动作行为准确识别的研究,通过姿态关节点标定,结合不同关节点对动作内和动作间起到不等的权重区分度的问题,提出一种加权量化矩阵的姿态特征表示方法,将关节点相对坐标经过权重修正作为姿态特征,减少因关节点标定误差或图像帧的缺失导致的识别精度下降和误判率增加等问题,同时,对DTW算法加入动态时间规整加以约束来降低算法的复杂度,最后在家庭智能空间内获取动作姿态图像序列,通过实验验证关节点标定及行为识别算法的有效性.     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

基于人体关节点的多人吸烟动作识别算法

吸烟检测已成为公共场所禁烟的重要措施,基于视频图像的吸烟动作识别已广泛用于吸烟检测中。使用深度学习的方法进行图像处理,需要大量数据集训练模型。现有的吸烟动作识别方法的准确率和实时性不够理想,且多只针对一个人进行动作识别。为解决这些问题,提出了一种通过检测周期性动作来识别多人吸烟动作的方法。在进行了大量的实验后发现吸烟行为是有节奏和周期性的,对此具体分析了吸烟行为的周期性并制定了吸烟行为规范;利用人体关节点信息,关注关节点的运动轨迹,检测运动轨迹是否符合周期性规律从而实现吸烟动作识别;同时跟踪多人关节点的信息,以实现多个人实时吸烟行为的识别。实验结果表明,该方法可以达到91%的准确率,在各种情况下都可以保持较高准确率和鲁棒性。     

视觉协同的违规驾驶行为分析方法

本文针对危险驾驶识别中主流行为检测算法可靠性差的问题,提出了一种快速、可靠的视觉协同分析方法。对手机、水杯、香烟等敏感物体进行目标检测,提出的LW(low weight)-Yolov4(You only look once v4)通过去除CSPDarknet53(cross stage partial Darknet53)卷积层中不重要的要素通道提升了检测速度,并L₁正则化产生稀疏权值矩阵,添加到BN(batch normalization)层的梯度中,实现优化网络模型的目的;提出姿态检测算法对驾驶员指关节关键点进行检测,经过仿射逆变换得到原始帧中的坐标;通过视觉协同分析对比敏感物品的检测框位置与驾驶员手部坐标是否重合,判定驾驶员是否出现违规驾驶行为及类别。实验结果表明,该方法在识别精度与检测速度方面均优于主流的算法,能够满足实时性和可靠性的检测要求。     

融合目标检测和人体关键点检测的铁路司机行为识别

随着我国经济的快速发展,铁路运输在交通运输的地位愈为重要,在传统人工监管无力应对铁路司机安全监督的情况下,使用机器实现自动实时司机行为识别早已成为了一项极有意义的工作。为实现随车部署、实时进行铁路司机行为识别的目的,基于目标框检测算法实现目标检测和关键点检测的融合,搭建了一种可以同时检测司机人体关键点和手机的神经网络。经过网络运行输出人体姿态后,通过分析人体各关节角度和人体关键点与手机目标的位置关系等后处理对六类司机行为进行了分类识别,并通过TensorRT框架对模型进行了模型推理速度的加速和体积上的压缩。实验表明,该模型在嵌入式设备TX2上推理速度为25ms,可以达到较好检测效果下实时运行的目标。实现了实时进行铁路司机行为识别的目的。     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

门禁系统中的异常行为检测*

针对门禁系统中尾随、蛮力开门两种异常通过的行为,结合门禁系统的身份验证功能,采用图像处理技术对违规行为进行检测,以进一步提升门禁系统的安全性能。首先设计并使用了一种基于轨迹分析的人数统计方法,通过目标检测与跟踪算法得到目标在监控场景中的运动轨迹,根据轨迹判定目标进出门禁的情况;然后根据监控场景的特点,设计了一种基于计数线的目标计数规则,结合目标运动轨迹实现人数统计;最后结合门禁系统的身份验证功能,设定异常通过行为的检测规则,检测定义的异常行为。实验结果表明,该方法能够有效的检测通过门禁系统时发生的异常行为,尤其对于行人比较稀疏和没有明显遮挡的情况,具有很好的检测效果,该方法平均检测准确率能够达到90%。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

一种改进的SSD网络车载图像检测方法

对行人和车辆的检测识别是无人驾驶领域的重要组成部分,为满足该领域对相关模型检测精确度的需求,以传统单发多框检测器(single shot multibox detector,SSD)为基础,提出了一种车载图像识别改进算法。鉴于传统SSD目标检测算法不能充分利用局部特征和全局语义特征、目标定位和识别存在矛盾等缺陷,提出了SSD检测模型相关特征层的融合方法,从而重新生成模型的目标检测金字塔(object detection pyramid,ODP)。改进算法将输入图像中待检测目标的低层次细节特征与高层次语义特征结合起来,降低了待检测目标定位与识别间的矛盾,达到了提升模型检测精确度的目的。利用行车记录仪获得的车载图像数据集进行训练,实验结果表明,改进的SSD算法在相关图像数据集的测试集上可以达到79.2%的精确度,与传统的SSD算法相比精确度提高了2.3%。     

An object detection algorithm combining semantic and geometric information of the 3D point cloud

Accurately detect vehicles or pedestrians from 3D point clouds (3D object detection) is a fast developing research topic in autonomous driving and other domains. The fundamental component for feature extraction in 3D object detection is Set Abstraction (SA), which can downsample points while aggregating points to extract features. However, the current SA ignores the geometric and semantic properties of point clouds and may miss to detect remote small objects. In this paper, FocusSA is proposed, which consists two modules for enhancing useful feature extraction in the SA layer to improve 3D object detection accuracy. At first, Focused FPS (FocFPS) is proposed to evaluate the foreground and boundary scores of the points and reweighs the Furthest Point Sampling (FPS) using the evaluated scores to retain more contextual points in downsampling. Then a Geometry-aware Feature Extraction (GeoFE) module is proposed to add geometric information to enrich the awareness of geometric structure in feature aggregation. To evaluate the performances of the proposed methods, we conduct extensive experiments on three difficulty levels of Car class in KITTI dataset. The experimental results show that on “moderate” instances, our results outperform the state-of-the-art method by 1.08%. Moreover, FocusSA is easy to be plugged in popular architectures.     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

基于移动群智感知的极端驾驶行为感知方法

为提高驾驶安全性，减少交通事故的发生，本文提出一种基于移动群智感知的极端驾驶行为识别方法。对收集到的用户智能手机相关传感器的数据进行预处理，进而利用动态步数检测和随机森林等方法来识别乘客的用户情境信息。针对不同的极端驾驶行为，选取不同位置乘客的智能手机来进行数据的收集，综合考虑乘客的手机放置位置因素所造成的相关影响，实现多特征融合的极端驾驶行为感知。针对不同位置的乘客所感知的结果不一致问题，提出采用贝叶斯投票模型来解决。通过真实数据实验，结果表明本文方法能够有效地识别出司机的极端驾驶行为。