基于深度学习的驾驶员分心行为识别

分心驾驶行为识别是提高驾驶安全的主要方法之一。针对分心驾驶行为识别精度低的问题,本文提出一种基于深度学习的驾驶员分心行为识别算法,由目标检测网络和行为精确识别网络级联构成。基于State Farm公开数据集,第一级利用目标检测算法SSD(Single Shot Multibox Detector)对数据集中的驾驶员原始图像进行局部信息提取,确定行为识别候选区域;第二级分别利用迁移学习VGG19、Res Net50和MobileNetV2模型对候选区域内的行为信息进行精确识别;最后,实验对比级联架构与单模型架构对分心驾驶行为的识别精度。结果表明,提出的级联网络模型相较于主流单模型检测方法,驾驶员行为识别的准确率总体上提升4～7%个百分点。该算法不仅减少噪声和其他背景区域对模型的影响,提高分心行为识别准确率,还可以有效识别更多的行为类别以避免动作的误分类。     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图(HOG)特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本(其中约10%为负样本)测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于深度学习的车辆驾驶行为识别系统设计

传统系统的计算能力较弱,在车辆驾驶行为识别实际应用中经常出现错误识别,准确率较低,为此提出基于深度学习的车辆驾驶行为识别系统。系统硬件方面设计了主控制器、惯性传感器和报警器3个硬件设备,软件方面设计了数据清洗和基于深度学习识别驾驶行为两个功能模块,利用数据清洗模块对原始数据进行无效值处理、标准化处理,将处理后的数据利用深度学习网络模型进行分析,输出识别结果。实验结果表明,该系统的准确率高于传统系统,能够准确识别出车辆驾驶行为。     

基于移动机器人的人类行为识别

随着移动机器人的不断发展和进入人们的生活,对移动机器人进行有效的人类行为识别的需求已成为必要。这项研究计划是回顾当前的技术发展,使移动机器人的活动识别成为可能。我们将使用不同类型的相机提取的图像,从而达到开发移动机器人识别人的行为和情绪状态。移动机器人将继续在非固定的室内和室外环境中移动。当任何进入机器人视线时,机器人系统都能够实时检测到他们的活动和情绪状态。我们的主要目标是使该机器人的系统基于摄像机和先进、可靠的学习算法。研究成熟后的机器人将会被应用到许多现实生活中,例如:公共安全、养老、自动驾驶汽车等。我们认为这项研究与普通移动机器人是密切相关的。     

双通道动静态特征的微表情识别

微表情识别是情感识别领域的一项关键任务,其目的是分析人们隐藏的真实情感.针对微表情识别中微表情视频帧冗余、微表情幅度变化微弱和微表情持续时间短的问题,导致无法有效在微表情视频中提取有效特征,从而降低微表情识别的精度与速度,提出一种动态特征与静态特征结合的微表情识别方法.首先将视频动态信息压缩为残差积减少帧冗余,提高模型预测速度,然后分别使用稀疏卷积和深度可分离卷积提取动态特征和静态特征,并利用多阶段自适应特征融合的方式充分结合动态特征与静态特征,最后通过标签平滑损失函数提高模型泛化能力.实验结果表示,动态特征与静态特征的结合有效地提高了微表情识别的精度.在MEGC2019的评估标准下,混合数据集的UF1值提高了0.035,UAR值提高了0.045.     

基于视觉注意力的人体行为识别

视频中人体行为识别是近年来计算机视觉中的一个重要研究领域，但是现有的方法对于视频表示方式存在不足，无法聚焦于图像内的显著区域.提出了一种基于视觉注意力的深度卷积神经网络，可以有效地为视频表示特征附加一个权重，对特征中的有益区域进行注意，实现更加准确的行为识别.在自建的Oilfield-7油田数据集和HMDB51数据集上进行了实验，以此来验证适用于油田现场人体行为所提出的网络模型的有效性.实验结果表明，所提的方法与已取得优异表现的双流架构相比具有一定的优越性.     

在线学习环境中基于眼动特征情感识别研究

在e-Learning环境中,学习普遍存在“情感缺失”问题,该问题会导致学习效果和学习体验下降。在学习过程中及时识别学习者的情感状态是解决“情感缺失”的首要问题,情感识别技术在人机交互教学得到了广泛的应用,但仍然存在不少问题和挑战。随着眼动追踪技术的发展,将眼动信号引入情感识别成为研究的热点。针对当前国内外在e-Learning环境中基于眼动特征的相关研究进行综述,对相关研究中采用的眼动特征、机器学习方法以及涉及的学习过程进行分类、归纳及分析,归纳了五类学习过程研究中常用的眼动特征和识别算法。通过对应用在疲劳检测、健康医疗以及人机交互等相关领域中的眼动特征进行分析,对可借鉴至MOOC学习环境下情感识别的眼动特征进行汇总,并为下一步如何采用眼动特征在MOOC环境下进行情感识别研究提出建议。     

基于深度学习的视频行为动作识别在无纸化考试中的应用

面向在无纸化考试中的视频行为识别应用需求，提出了基于深度学习的可疑行为识别方法。首先，分析考试视频，提取事件信息。其次，结合深度学习模型，将事件信息作为输入进行训练，以识别可疑行为。最后，基于考试视频数据集进行对比实验，评估所提出方法的准确率。实验结果表明，文章提出的卷积神经网络-长短期记忆网络（Convolutional Neural Networks-Long Short Term Memory,CNN-LSTM）组合模型适用于视频较长的应用场景，CNN-BiGRU适用于视频较短的场景。     

特征金字塔结构的时序行为识别网络

目的 时序行为识别是视频理解中最重要的任务之一,该任务需要对一段视频中的行为片段同时进行分类和回归,而视频中往往包含不同时间长度的行为片段,对持续时间较短的行为片段进行检测尤其困难。针对持续时间较短的行为片段检测问题,文中构建了3维特征金字塔层次结构以增强网络检测不同持续时长的行为片段的能力,提出了一种提案网络后接分类器的两阶段新型网络。方法 网络以 RGB 连续帧作为输入,经过特征金字塔结构产生不同分辨率和抽象程度的特征图,这些不同级别的特征图主要在网络的后两个阶段发挥作用：1）在提案阶段结合锚方法,使得不同时间长度的锚段具有与之对应的不同大小的感受野,锚段的初次预测将更加准确;2）在感兴趣区域池化阶段,不同的提案片段映射给对应级别特征图进行预测,平衡了分类和回归对特征图抽象度和分辨率的需求。结果 在THUMOS Challenge 2014数据集上对模型进行测试,在与没有使用光流特征的其他典型方法进行比较时,本文模型在不同交并比阈值上超过了对比方法3%以上,按类别比较时,对持续时间较短的行为片段检测准确率则普遍得到提升。消融性实验中,在交并比阈值为0.5时,带特征金字塔结构的网络则超过使用普通特征提取网络的模型1.8%。结论 本文提出的基于3维特征金字塔特征提取结构的双阶段时序行为模型能有效提升对持续时间较短的行为片段的检测准确率。     

基于眼球前庭动眼反射的机器人视觉误差主动补偿方法

针对机器人在颠簸环境下作业过程中产生姿态变化从而导致的视觉不稳定性问题,基于眼球前庭动眼反射的机理,提出一种主动补偿视觉误差的方法.在生理学和解剖学的基础上,根据眼球运动的神经回路,建立了一个具有自适应性的前庭动眼反射控制模型.为了验证模型的性能,在不同的环境中进行了仿真实验,仿真结果表明该模型可以主动补偿机器人姿态变化所引起的视觉误差,并且具有良好的自适应性.最后,通过实体机器人实验验证了该控制模型的有效性与准确性.     

基于多流卷积神经网络的行为识别

人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法.针对当今主流基于深度学习的人体行为识别方法采用RGB与光流融合的现状,提出一种融合人体姿态特征的多流卷积神经网络人体行为识别算法.首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,分别将RGB、光流、姿态数据对多流卷积神经网络进行训练,并进行分数融合;最后,在UCF101与HMDB51数据集进行了大量的消融,识别精度等方面的实验研究.实验结果表明,融合了姿态图像的多流卷积神经网络在UCF101与HMDB51数据集的实验精度分别提高了2.3％和3.1％.实验结果验证了提出算法的有效性.     

基于深度学习的视频行为识别技术综述

行为识别（action recognition,AR）是计算机视觉领域的研究热点,在安防监控、自动驾驶、生产安全等领域具有广泛的应用前景。首先,对行为识别的内涵与外延进行了剖析,提出了面临的技术挑战问题。其次,从时间特征提取、高效率优化和长期特征捕获三个角度分析比较了行为识别的工作原理。对近十年43种基准AR方法在UCF101、HMDB51、Something-Something和Kinetics400数据集上的性能表征进行比对,有助于针对不同应用场景选择适合的AR模型。最后指明了行为识别领域的未来发展方向,研究成果可为视频特征提取和视觉内容理解提供理论参考和技术支撑。     

基于眼动数据的视觉疲劳检测方法研究

视觉疲劳的产生不仅会导致工作效率低下、视力降低,甚至可能导致很多意外伤害.如何简便、快速地检测视觉疲劳是亟需解决的课题.提出一种利用特殊字搜索并结合阅读任务来对视觉疲劳进行快速检测的方法.测试者需在所提供的阅读材料中通过扫视行为寻找出文内的特殊字符,同时完成相应的阅读理解任务.实验在Tobii X230眼动仪监测下完成.系统记录任务完成过程中的瞳孔直径比、兴趣域个数等眼动数据信息,并采用BP神经网络对用户的视觉疲劳状态进行判定.基于10位测试者的实验结果表明,分类精度达到了95.2%,证实了该方法的有效性.     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。     

基于深度神经网络的行为识别算法

在计算机视觉领域中,行为识别是重点研究问题.而随着大规模行为数据的收集以及计算机水平的提升,深度神经网络得到了长足发展,计算机视觉性能超越了以往,但是当前方法也存在一些局限.本文就深度神经网络中的行为识别算法展开研究,首先阐述了行为识别现状,其次分布分析了RGB视频行为识别和人体骨架3D行为识别.     

基于视觉的人体行为识别算法研究综述*

人体行为识别应用广泛,是人工智能领域研究的热点问题,针对人体行为识别算法进行归纳总结,具有很重要的参考价值。以行为识别为核心,同时包含数据集、动作分割等内容。引言部分主要讲述人体行为识别的基础流程,数据集部分归纳了人体行为识别常用的数据集,动作分割方法总结了时域分割的发展现状和常用的方法,传统方法讲解了人体行为识别比较经典的方法,深度学习方法归纳了人体行为识别最新最热的深度学习方法。引入了动作分割,再结合行为识别,能够实现连续的人体行为识别,使得行为识别适用于实际场景,而不再是对经过人工剪辑好的单个视频进行识别,这在实际应用中意义重大。