车载疲劳驾驶行为检测系统的研究与设计

针对汽车驾驶员的疲劳驾驶行为检测过程繁琐、算法复杂、检测装置部署易影响驾驶员等现状,为更加方便、快捷、有效的对疲劳驾驶做出监测和报警,提出基于ZigBee的车载疲劳驾驶检测方案.选取方向盘角度变化作为检测疲劳驾驶的突破点,使用TLE5012角度传感器,完成角度数据的采集,采用CC2530实现系统的无线通信.从采集到的方向盘角度数据中提取能反映疲劳状态的零速百分比和角度标准差两个特征,使用线性判别算法对驾驶人员的疲劳状态进行分类.仿真实验表明,该方法能够较准确的对疲劳状态进行判别.     

汽车驾驶员环境模型研究

该文在分析了汽车主动安全系统信息流程的基础上，提出了汽车驾驶员环境模型。该模型包括信息感知、安全决策和驾驶行为审计三部分。利用车载传感器实时获取的环境与汽车行驶状态的参数，构造了汽车行驶过程的特征模型，为安全决策提供可靠的信息源。然后，利用模糊积分方法融合多种相关信息，确定汽车应采用的安全运行模式，实现主动安全防撞决策。最后，提出了基于局部分析的映射变换方法，实时有效地实现了驾驶行为数据的分析处理，实现了驾驶行为审计。实验表明，系统能及时、准确地给出报警信号与决策支持信息。     

基于脑电与眨眼频率的可穿戴疲劳驾驶检测系统

在小型化、低功耗的可穿戴设备上,针对运行基于脑电信号的驾驶疲劳检测系统的准确率不高的问题,在对被试者左前额脑电信号Attention和Meditation以及Blink的数据进行关系分析的基础上,分别筛选最佳窗口宽度和分类算法,设计适用于可穿戴设备的疲劳驾驶检测算法,并在安卓智能设备上进行系统实现。采用准确率、正样本识别正确率、负样本识别正确率、敏感性与特异性指标,分别测试4种分类算法,即k临近算法、决策树算法、朴素贝叶斯算法、多层人工神经网络算法的性能,并最终选择k NN分类算法进行系统实现。实验结果证明,该系统的准确率达到83.7%,敏感性与特异性分别达到73.8%和88.6%,系统具有无线、实时、准确高效的特点。     

基于移动群智感知的极端驾驶行为感知方法

为提高驾驶安全性，减少交通事故的发生，本文提出一种基于移动群智感知的极端驾驶行为识别方法。对收集到的用户智能手机相关传感器的数据进行预处理，进而利用动态步数检测和随机森林等方法来识别乘客的用户情境信息。针对不同的极端驾驶行为，选取不同位置乘客的智能手机来进行数据的收集，综合考虑乘客的手机放置位置因素所造成的相关影响，实现多特征融合的极端驾驶行为感知。针对不同位置的乘客所感知的结果不一致问题，提出采用贝叶斯投票模型来解决。通过真实数据实验，结果表明本文方法能够有效地识别出司机的极端驾驶行为。     

基于模糊推理的汽车辅助驾驶系统控制算法

在建立汽车辅助驾驶系统模型的基础上，指出满足驾驶员的驾驶特征是车辆控制的一个重要指标，此外针对驾驶员驾驶行为的不精确性，提出了以模糊推理为基础的上位控制方法，并对其进行了现场实验。实验结果表明，用模糊控制理论模拟驾驶行为的不精确性是可行的。通过模糊控制自车的速度，能够实现自车在多种工况下保持安全状态。     

基于MEMS和GPS的驾驶行为和车辆状态监测系统设计

为了适应智能车辆辅助驾驶系统对驾驶和车辆状态监测的要求,利用MEMS惯性传感器自主设计了微惯性测量单元,并结合GPS设计了一种驾驶行为和车辆状态监测系统,实现对驾驶员操纵动作的感知、汽车6自由度运动状态参数和汽车运行车速的实时监测。介绍了MEMS传感器的选型,设计,安装和布置。实车道路实验结果表明:系统对驾驶员踩踏刹车踏板、离合器踏板和变换档位的操纵动作的感知效果较好,侧向加速度和方向盘转角的理论识别曲线与实车实验曲线在趋势上比较吻合。该系统为开发驾驶人员操纵动作自动识别系统提供理论基础和技术支持,也可为提高汽车行驶性和安全性提供重要的理论依据和工程应用指导。     

用于驾驶员分心行为识别的姿态引导实例感知学习

目的 基于图像的驾驶员分心行为识别可认为是一种二级图像子分类问题，与传统的图像分类不同，驾驶员分心识别任务中的各类区别比较微小，如区分一幅图像是在弄头发还是打电话完全取决于驾驶员手上是否有手机这个物体，即图像中的较小区域就决定了该图像的类别。对于那些图像差异较小的类别，通常的图像分类方法无法高精度地区分。因此，为了能够学习到不同驾驶行为之间微小的表征区别，提出了一种姿态引导的实例感知学习网络用于驾驶员行为识别。方法 首先利用人体检测器检测到人体框，利用人体姿态估计获取具有辨识性的手部相关区域，将人体和手部区域的特征作为实例级别的特征，以此设计一种实例感知学习模块充分获取不同层级的上下文语义信息。其次利用手部相关特征构建双通道交互模块来对关键空间信息进行表征的同时，对视觉特征进行优化，组建成一个多分支的深度神经网络。最后将不同分支的结果进行融合。结果 实验结果表明，本文方法在AUC（American University in Cairo）数据集和自建三客一危数据集上的测试准确率分别达到96.17%和96.97%，相较于未使用实例感知模块和通道交互的模型，准确率显著改善，在复杂数据集下识别效果提升明显。结论 本文提出的姿态引导的实例感知学习网络，在一定程度上降低了环境的干扰，准确度高，能辅助驾驶员安全行车，减少交通事故的发生。     

基于信道状态信息的驾驶员动作检测

驾驶员在行驶过程中的行为动作是交通安全的关键因素之一。本文采用WiFi信号的信道状态信息CSI对驾驶员行车过程中的不同动作进行识别。无需要驾驶员穿戴任何设备以免影响正常驾驶操作,同时也不依赖于视频图像从而避免了侵犯驾驶员的隐私。首先搭建实验平台采集和分析了驾驶员不同的行车动作所对应的CSI数据流,然后通过滤波、降维等处理提取不同动作的特征。最后利用机器学习方法进行驾驶动作的分类识别,通过地下停车库模拟驾驶和校园环境下的实际行车实验,结果表明所提出的方案在这两个场景下对驾驶员行车动作的分类识别准确率都在90%以上。     

基于动态神经网络集成的驾驶员行为学习算法*

特定交通环境下的驾驶员行为的变化是一个非线性的复杂系统,传统的驾驶决策模型和车辆行驶模型难以体现驾驶员的感知、判断、决策、动作等一系列心理、生理活动的不确定性和不一致性,而人工神经网络特别适合于因果间不易建立明确联系的问题。提出了基于神经网络集成的驾驶员行为学习算法DNNIA,该算法的有效性通过标准数据集和仿真实验得到了验证,学习到的诸如驾驶员踩踏踏板的习惯行为的仿真结果与采集的样本数据总体趋势较为一致,且实现了系统泛化性能的提高。     

基于计算机视觉的驾驶员低头行为检测

在驾驶过程中使用手机会引起驾驶员的注意力分散,为了对这种行为进行监督和提醒(在公共交通中检测更有意义),提出了一种基于脸部特征提取的驾驶员低头行为的检测方法。该方法使用主动型状模型(Active Shape Model,ASM)算法得到脸部特征点,在此基础上通过脸部特征点的位置信息计算出头部姿势描述信息,最后通过SVM将上述信息分类进而得出头部姿势,其可用于判断驾驶员是否在驾驶过程中低头看手机行为,该方法能够有效检测出驾驶员在驾驶过程中低头使用手机的行为。实验结果表明,该方法的平均检出率在94%以上。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

Development of a statistical model to classify driving stress levels using galvanic skin responses

Many studies have demonstrated the strong relationships between physiological responses and driving stress, but they have done little to build a model that could be used to identify a driver's stress accurately in real time. The objective of this study is to develop a model that accurately classifies driving stress by monitoring physiological responses—specifically galvanic skin response (GSR). GSR data were collected from nine drivers with licenses obtained in the US in real road driving situations with two stress conditions—rest period (low stress) and highway or city driving (high stress). The validation drive was performed by one driver with licenses obtained in South Korea in real long‐term road driving situations with two stress conditions—rural area (low stress) and highway or highway under construction (high stress). Those two conditions were used to build a binary logistic regression model to classify low stress or high stress based on a driver's measured hand GSR. The overall classification accuracy of the developed model was found to be 85.3%, and the accuracy of cross validation, with a testing dataset, was found to be 83.2%. A simple logit model was developed to identify drivers' stress by incorporating their GSR data. The developed model can be embedded in a wearable device equipped with GSR sensors for drivers to detect their stress level in real time.     

Detecting driving stress in physiological signals based on multimodal feature analysis and kernel classifiers

Monitoring driving status has great potential in helping us decline the occurrence probability of traffic accidents and the aim of this research is to develop a novel system for driving stress detection based on multimodal feature analysis and kernel-based classifiers. Physiological signals such as electrocardiogram, galvanic skin response and respiration were record from fourteen drives executed in a prescribed route at real drive environments. Features were widely extracted from time, spectral and wavelet multi-domains. In order to search for the optimal feature sets, Sparse Bayesian Learning (SBL) and Principal Component Analysis (PCA) were combined and adopted. Kernel-based classifiers were employed to improve the accuracy of stress detection task. Analysis I used features from 10 s intervals of data which were recorded during well-defined rest, highway and city driving conditions to discriminate three levels of diving stress achieving an averaging accuracy over 99% at per-drive level and 89% in cross-drive validation. Analysis II made continuous stress evaluation throughout a complete driving test attaining a high coincidence with the true road situation especially at the switching interval of traffic conditions. Experimental results reveal that different levels of driving stress can be characterized by specific set of physiological measures. These physiological measures could be applied to in-vehicle intelligent systems in various approaches to help the drivers better manage their negative driving status. Our design scheme for driving stress detection could also facilitate the development of similar in-vehicle expert systems, such as driver's emotion management, driver's sleeping onset monitoring, and human-computer interaction (HCI).     

基于高斯眼白模型的疲劳驾驶检测

目的 为解决疲劳驾驶检测中人眼状态识别的难点,提出一种基于眼白分割的疲劳检测方法。方法 首先对获取图像进行人脸检测,利用眼白在Cb-Cr上良好的聚类性,基于YCbCr颜色空间建立高斯眼白分割模型;然后在人脸区域图像内做眼白分割,计算眼白面积;最后将眼白面积作为人眼开度指标,结合PERCLOS（percentage of eyelid closure over the pupil over time）判定人的疲劳状态。结果 选取10个短视频进行采帧分析,实验结果表明,高斯眼白分割模型能有效分离眼白,并识别人眼开合状态,准确率可达96.77%。结论 在良好光线条件下,本文方法能取得不错的分割效果;本文所提出的以眼白面积作为判定人眼开度的指标,能准确地判定人的疲劳状态。实验结果证明了该方法的有效性,值得今后做更深入的研究。     

Real-time driving danger-level prediction

This paper introduces a driving danger-level prediction system that uses multiple sensor inputs and statistical modeling to predict the driving risk. Three types of features were collected for the research, specifically the vehicle dynamic parameter, the driver's physiological data and the driver's behavior feature. To model the temporal patterns that lead to safe/dangerous driving state, several sequential supervised learning algorithms were evaluated in the paper, including hidden Markov model, conditional random field and reinforcement learning. Experimental results showed that using reinforcement learning based method with the vehicle dynamic parameters feature outperforms the rest algorithms, and adding the other two features could further improve the prediction accuracy. Based on the result, a live driving danger-level prediction prototype system was developed. Compared to many previous researches that focused on monitoring the driver's vigilance level to infer the possibility of potential driving risk, our live system is non-intrusive to the driver, and hence it is very desirable for driving danger prevention applications. Subjective on-line user study of our prototype system gave promising results.     

基于深度学习的疲劳驾驶检测算法

针对现有疲劳驾驶检测算法实用性差或准确率低的问题,本文提出了一种基于深度学习的疲劳驾驶检测算法.首先,使用HOG （Histogram of Oriented Gradient）特征算子检测人脸的存在;其次,利用特征点模型实现人脸的对齐,同时实现眼睛、嘴巴区域的分割;最后通过深度卷积神经网络提取驾驶员的眼部疲劳特征,并融合驾驶员嘴部的疲劳特征进行疲劳预警.大量的实验表明,该方法在疲劳驾驶检测的准确率、实时性等方面都取得明显的性能提升.     

A method for fatigue detection based on Driver's steering wheel grip

We propose a simple method to measure a driver's fatigue state by detecting the driver's grip force on the steering wheel while driving. We tested the grip force of 36 drivers on the steering wheel in conscious states (Alert) and fatigue states under actual road driving conditions. Using the Stanford sleepiness scale (SSS), we divided drivers into Alert Group A, fatigue Group A, and fatigue Group B. During 20-min real-road driving trials, we measured the steering wheel grip force, electroencephalogram index (R = (α + θ)/β), and blink frequency of each driver synchronously. We found that ΔF, the difference between the maximum/minimum grip force and the standard deviation of the grip force, σF, for each driver, strongly correlated with the driver's fatigue state. In the fatigue state, both ΔF and σF increased significantly. We examined these force indices using analysis of variance (ANOVA) and validated them against the R-value, blink frequency, and the driver's self-reported fatigue state. Using the grip force in fatigue detection, our method can achieve an overall recognition rate of 86.6% and an individual recognition rate of 88.3%. These results indicate that this method can effectively detect a driver's fatigue state during actual road driving. This new method has several advantages, such as a high signal-to-noise ratio, simple data collection, and no influence on daily driving. Thus, our proposed method may provide a theoretical foundation for the development of fatigue-detecting steering wheels     

基于深度学习的驾驶员换道行为预测

车道变换在交通安全中起着至关重要的作用,准确预测驾驶员的车道变换行为可以显著提高驾驶安全性.本文提出了一种基于全连接神经网络和循环神经网络的混合神经网络,用于精准预测车道变换行为.并且提出动态时间窗口,提取包括驾驶员生理数据和车辆运动学数据的车道变换特征.最后,通过真实交通场景下的数据验证了所提出模型的有效性.此外,将所提出的模型与五种其他预测模型进行了比较,结果表明,与其他模型相比,本文所提出的预测模型具有更高的精确率和前瞻时间.     

基于驾驶状态预测的人机力矩协同转向控制器设计

针对人机协同转向控制中对于驾驶员参与和驾驶员状态考虑较少这一问题,提出一种基于驾驶员状态预测的人机力矩协同(human-vehicle torque collaborative based on driver state prediction,HVTC-DSP)转向控制方法.该方法以力矩为人机交互接口,提高了驾驶员的参与程度;同时,在控制器设计过程中采用模型预测控制方法,将驾驶员状态考虑在内,对驾驶员状态进行预测.采用高精度车辆仿真软件veDYNA进行仿真验证,结果表明,与不考虑驾驶员状态的人机协同力矩(human-vehicle torque collaborative based on no driver state prediction,HVTC-NDSP)转向控制方法相比,所提方法可以使辅助力矩更好地跟随驾驶员动作,提高车辆转向性能,减小侧向位移偏差,同时对不同驾驶员也有较好的适应性.进而,以驾驶员下一步动作为参考,使驾驶员当前力矩尽可能接近下一步期望的力矩,在转向性能几乎不受影响的情况下,适当减轻驾驶员操作负担.