基于嵌入式的车辆偏离预警系统研究

以嵌入式系统为平台对车辆驶离车道的预警进行研究.在采用改进的Hough变换对道路图像标识线识别的基础上,利用透视投影原理,完成车辆位置信息的重建,确定车辆在车道中的横向距离和横向偏转角,建立基于横向距离和横向速度的车辆偏离预警算法.车辆行驶实验表明,该算法能够对偏离车道的车辆给以准确的报警,并且充分考虑车辆的速度以及偏转角度对车辆偏离车道过程的影响.     

基于ARM嵌入式平台的车道线检测算法

针对现有车道线检测算法在实际应用中难以平衡检测精度和速度的问题,提出一种全新的基于ARM嵌入式平台的车道线检测算法。首先,设计一个轻量化语义分割网络,在优化SegNet结构的同时在网络第一层加入跳跃连接,并且在每两个卷积层后加入通道注意力机制模块,在保证检测精度的同时提升检测速度。接着,构建卡尔曼滤波车道线跟踪模型,提高检测在视频流中的鲁棒性。然后,重构编码器,对模型轻量化处理,使用深度可分离卷积代替传统的卷积以减少计算成本,提升检测速度。最后,利用TensorRT加速推理,生成Trt模型,方便其部署在ARM嵌入式平台中实现实时车道线检测。在自行制作的Tusimeple扩充数据集上的实验结果表明,所提出的算法能够应对各种复杂交通场景,检测精度达到98.03%,优于其他算法,并且其检测速度达到了50 FSP,满足实时性检测要求。本算法在复杂交通场景下具有较高的鲁棒性和有较好的实时性,具有一定的理论价值和实际应用价值。     

基于注意力机制和特征聚合的车道线检测

车道线检测的可靠性和稳定性对智能驾驶系统来说至关重要.由于车道线容易受到光线、遮挡、老化等复杂情况的干扰,导致传统的语义分割网络无法准确的学习到车道线的细节特征.为解决该问题,本文首先在编码网络部分引入CA坐标注意力机制,进一步增强网络对车道线提取能力,然后,在特征聚合网络引入金字塔空洞卷积模块与RESA模块并联来增强模型的感受野,以丰富和提取全局的空间特征信息,最后经过解码网络将融合后的特征图上采样到原图大小,并预测每个车道的位置和概率分布.实验证明,文中提出的算法在CULane数据集上有较高准确率,多路面综合准确率达到76.2%,并通过实车测试表明,该算法检测帧率为30 fps,可以在复杂交通场景下进行实时检测,具有较高的泛化性和鲁棒性.     

基于车底阴影的车前障碍物检测

基于计算机视觉的道路车辆检测是智能车辆导航的核心问题,实时准确地检测前方运动车辆的位置信息是车辆安全驾驶的前提。文中采用车底阴影的前方运动车辆检测算法,在基于车道线检测的基础上,通过车底阴影检测,实时准确地检测前方车辆。该算法通过使用Otsu阈值分割提取出车道线,生成AOI区域,再进行两次自适应阈值分割提取车底与路面的交线,从而检测出前方运动车辆。经过在高速公路上对运动车辆检测实验证明,该算法基本满足车辆安全驾驶的需求,并能准确实时地检测出前方运动车辆,进而减少了交通事故的发生。     

基于TMS320DM648的多车道车流量检测系统

针对智能交通应用中车流量检测系统多数基于PC平台的问题,设计了基于TMS320DM648嵌入式平台的多车道车流量检测系统。首先采用改进的基于抽样的背景建模方法在虚拟线圈内进行背景建模,然后采用背景差分提取运动目标,最后在此虚拟线圈内对车辆进行检测。实验结果表明,该DSP嵌入式平台能够对智能交通中的车辆进行实时检测并具有较高的准确性。     

基于小波分析与类内最小方差法的车道线检测

在车道偏离预警、防止及车道保持等基于机器视觉的驾驶安全辅助系统中。在道路图片中,为了能提取出完整的直车道线,本文提出了一种基于小波分析与计算梯度方向角类内最小方差法相结合的算法。该算法首先利用小波分析计算出边缘像素点的梯度幅值和梯度方向角,得到道路图像的边缘;然后将二值化处理过的图像用8领域面积去噪法去除噪声区域,并进行连通域的标记;在提取直车道线时,利用类内最小方差法计算各个连通域边界上点的梯度方向角最小方差,最后设定阈值分离出直线车道线,达到车道线检测的目的。实验仿真结果表明,本算法能够很好的检测出直线车道线,相比于目前其他文献的方法有较高的检全率。将有助于智能驾驶辅助系统研究技术的发展。     

基于人脸关键点检测的车载疲劳驾驶系统研究

针对传统目标检测面部微表情的模型精度低的问题,转换思路利用人脸识别三元子算法提取人的面部关键点,进行面部关键点的标注,对面部关键点进行欧氏距离计算并与传统目标检测算法结合,从而对人脸面部微表情进行准确识别,并利用闭眼、低头、打哈欠3种预警方法进行互补,并通过车道线分割,进行车辆的行驶异常状态的判断,从而准确对驾驶员进行疲劳驾驶检测,并且可以检测驾驶途中抽烟打电话等不安全行为。采用的面部关键点模型68关键点人脸关键点标注模型,目标检测模型yolov5s,并对神经网络添加了空间向量注意力机制(Convolutional Block Attention Module,CBAM),提高检测准确度。系统法高度集成于开发版中,使得该系统具有方便快捷、准确度高的优势。实验表明,三元子和目标检测以及车道线分割结合的方法,能够有效对驾驶员进行疲劳驾驶面部微表情检测,并且准确率相较于传统方法有了大幅度提高,解决了传统目标检测微表情方法中准确度低、适用范围狭窄、鲁棒性差的问题,能够有效识别疲劳驾驶并及时提醒驾驶员。     

基于机器视觉的车道线精确检测算法

车道线检测是车辆智能驾驶系统的重要组成部分.针对传统的车道线检测方法精度低、实时性能差的问题,提出一种基于机器视觉的车道线精确检测算法.该算法采用车道内侧边缘线代表车道线,具体包括预处理和车道线提取两个步骤:预处理部分包括灰度化、Sobel边缘检测、ROI设定、二值化,最终得到车道线部分的二值图像;车道线提取部分包括图像切片、改进的Hough直线检测、DBSCAN直线聚类以及直线拟合,最终得到精确的车道边缘线信息.最后将算法应用于各种场景下的路况测试,实验结果表明:该算法的平均准确率为94.9％,平均处理时长为25.6 ms/f,具有很好的实时性和鲁棒性.     

基于深度学习的车道线激光精准检测方法研究

车道线检测是智能辅助驾驶的核心问题，研究基于深度学习的车道线激光精准检测方法，提高车道线检测精度。将激光雷达安装在待检车辆上，用来扫描物体返回脉冲，通过激光雷达的回波脉冲宽度提取车道线与路面区分度的特征，结合深度学习方法，构建新型多尺度全卷积神经网络的车道线检测模型，融合特征图对车道线分割，实现车道线精准检测。实验结果表明，在多场景条件下，本方法的漏检率、误检率均低于传统方法，平均检测合格率96%,交互比也远远高于传统方法，平均耗时低至51 ms,且变化态势平稳，说明本方法在不同场景中车道线图像分割处理效果较好，车道线的检测效率较高，车道线检测的精度较高。     

结合Hough变换与运动估计的车道线提取方法

车道线识别是安全辅助驾驶和智能驾驶系统的核心研究内容,对控制危险驾驶和疲劳驾驶均有显著的作用,通常利用Hough变换对直线检测的容错性和鲁棒性,可以对车载摄像头拍摄到的车道线进行有效的检出.巧妙地将分块Hough变换和图像块的运动估计相结合,极大地降低了车道线检测和跟踪的算法复杂度,实现了车道线的实时识别与跟踪.实验表明,采用该方法既可以得到稳定的检测结果,又能提高检测的速度,保留了Hough变换的容错性和鲁棒性.     

Structure-prior deep neural network for lane detection

Lane detection is an important task of road environment perception for autonomous driving. Deep learning methods based on semantic segmentation have been successfully applied to lane detection, but they require considerable computational cost for high complexity. The lane detection is treated as a particular semantic segmentation task due to the prior structural information of lane markings which have long continuous shape. Most traditional CNN are designed for the representation learning of semantic information, while this prior structural information is not fully exploited. In this paper, we propose a recurrent slice convolution module (called RSCM) to exploit the prior structural information of lane markings. The proposed RSCM is a special recurrent network structure with several slice convolution units (called SCU). The RSCM could obtain stronger semantic representation through the propagation of the prior structural information in SCU. Furthermore, we design a distance loss in consideration of the prior structure of lane markings. The lane detection network can be trained more steadily via the overall loss function formed by combining segmentation loss with the distance loss. The experimental results show the effectiveness of our method. We achieve excellent computation efficiency while keeping decent detection quality on lane detection benchmarks and the computational cost of our method is much lower than the state-of-the-art methods.     

基于增强型轻量级网络的车载热成像目标检测方法

车载热成像系统不依赖光源,对天气状况不敏感,探测距离远,对夜间行车有很大辅助作用,热成像自动目标检测对夜间智能驾驶具有重要意义.车载热成像系统所采集的红外图像相比可见光图像具有分辨率低,远距离小目标细节模糊的特点,且热成像目标检测方法需考虑车辆移动速度所要求的算法实时性以及车载嵌入式平台的计算能力.针对以上问题,本文提...     

一种基于高效残差分解网络的车道线检测方法

为提升自动驾驶系统车道线检测的速度,提出了一种利用卷积神经网络进行特征提取,结合分类网络实现多车道线虚实线分类的方法。使用高效残差分解网络(efficient residual factorized ConvNet,ERFNet) 对图像进行卷积操作和下采样,采用无瓶颈一维卷积残差结构,利用纵、横两个方向一维卷积穿插提升非线性函数的泛化性能,依据可变填充比获得多尺度上下文信息完成图像特征提取。基于反卷积与上采样结果进行特征解码,恢复原图像尺度并输出分割后的图像。相较于传统语义分割算法,本方法可减少大量特征参数,增强模型的学习能力,在提升检测速度的同时保证检测精度。在直行、转弯、上坡、下坡,道路颠簸,光照不均匀等工况下的仿真测试实验表明,本文方法检测精度可达到95.14%,检测速度较主流算法有较好提升。     

应用于嵌入式平台的实时红外行人检测方法

现有基于深度学习的远红外图像行人检测方法对计算力要求高,需要高功耗GPU计算平台,应用于嵌入式平台时,无法满足实时性和准确率需求。针对该问题,本文提出了一种新型实时红外行人检测方法,该方法使用MobileNet作为YOLOv3模型中的基础网络,辅助预测网络层以深度可分离卷积替换标准卷积,将模型改进为轻量红外行人检测模型。基于新方法构建的模型采用CVC红外行人训练集离线训练,并部署于嵌入式平台,实现红外行人在线实时检测。实验结果表明,与改进前方法相比,模型大小为65 M,约为YOLOv3的27%,新模型在基本保证原有准确率的同时,大幅降低了计算量,在同一平台下的检测速度从3FPS提升到了11FPS,可满足大部分嵌入式系统对行人检测的实时性需求。     

融合多尺度信息和跨维特征引导的轻量行人检测

针对复杂道路场景下行人检测精度与速度难以提升的问题,提出一种融合多尺度信息和跨维特征引导的轻量级行人检测算法。首先以高性能检测器YOLOX为基础框架,构建多尺度轻量卷积并嵌入主干网络中,以获取多尺度特征信息。然后设计了一种端到端的轻量特征引导注意力模块,采用跨维通道加权的方式将空间信息与通道信息融合,引导模型关注行人的可视区域。最后为减少模型在轻量化过程中特征信息的损失,使用增大感受野的深度可分离卷积构建特征融合网络。实验结果表明,相比于其他主流检测算法,所提算法在KITTI数据集上达到了71.03%的检测精度和80 FPS的检测速度,在背景复杂、密集遮挡、尺度不一等场景中都具有较好的鲁棒性和实时性。     

Multi-scale spatial convolution algorithm for lane line detection and lane offset estimation in complex road conditions

Deep learning has made remarkable progress in the field of image classification and object detection. Nevertheless, in the autonomous driving research, the real-time lane line detection and lane offset estimation in complex traffic scenes have always been challenging and difficult tasks. Traditional detection methods need manual adjustment of parameters, they face many problems and difficulties and are still highly susceptible to interference caused by obstructing objects, illumination changes, and pavement wear. It is still challenging to design a robust lane detection and lane offset estimation algorithm. In this paper, we propose a convolutional neural network for lane offset estimation and lane line detection in a complex road environment, which transforms the problems of lane line detection into the instance’s segmentation. In response to a change in the method of lane processing, the network will form its example to each line. The global scale perception optimization mechanism is designed to solve the issue, especially where the lane line width is gradually narrowing at the vanishing point of the lane. At the same time, to realize multi-tasking processing and improve performance, and end-to-end lane offset estimation network is used in addition to the lane line detection network.     

基于FPGA的车道偏移告警系统

为了解决传统的机器视觉处理系统在安全驾驶辅助系统的应用中遇到的成本和性能挑战,设计了一种以FPGA为处理核心的车道偏移告警系统,研究了车道线提取和车道偏移告警算法,并对其进行RTL级实现,实现了快速并行处理。通过搭建SOPC系统,集成了抬头显示系统,减少了额外的处理器成本,能够给驾驶员提供更加安全的驾驶体验。该方案成本低于传统的DSP视觉处理平台,系统的图像处理速率最高可以达到1157帧/秒,满足实时性要求。     

基于Zynq平台的图像目标检测系统

针对图像目标检测任务中采用的深度学习网络复杂的计算和规模庞大的计算参数,导致基于ARM架构的嵌入式系统上,目标检测任务存在着高延时和处理速度慢的问题,文章提出并设计实现了一种新型完整嵌入式道路车辆检测方案。该方案在基于YOLOv3-Tiny的特征提取网络中采用结构重参数化的方法提升模型检测精度,并通过Vitis-AI在Zynq嵌入式平台上部署DPUCZDX8G架构的加速核对卷积神经网络的并行加速,最后将改进的YOLOv3-Tiny网络模型经过量化、编译,以动态链接库的方式部署。实验结果表明,在VOC2007上测试最终实现均值平均精度(MAP)为0.597,实时处理速度为27.7FPS,同时帧率功耗比为1.49,适合边缘计算设备的低功耗要求。