适用全速域大曲率路径的自动驾驶跟踪算法

目的 路径跟踪是自动驾驶汽车根据感知、决策和规划结果正确沿道路行驶的关键部分。目前路径跟踪算法难以在全速域、复杂路径场景和高自由度动力学模型下取得优异的性能,并且未考虑与纵向控制的耦合特性,限制了控制算法的跟踪性能。针对以上问题,提出了一种基于速度自适应预瞄的无模型转向控制算法。方法根据车辆与跟踪路径的横向偏差与角度偏差,建立车辆方向盘输出控制量方程,该方法实现了在动力学高度复杂情况和跟踪路径可导情况下的低速稳定跟踪。同时根据车辆纵向速度自适应设置跟踪预瞄距离,并将速度耦合参数加入方程,实现了车辆全速域、全路径的稳定跟踪。结果 本文在PanoSim自动驾驶仿真系统和Simulink仿真软件进行仿真实验,在高自由度动力学模型下,本文算法实现在超高速（>220 km/h）直线及小曲率跟踪路径中横向偏差变化量Δd的模Δd<0.1 m、在高速（>150 km/h）大曲率弯道跟踪路径中Δd<0.3 m的性能。结论 本文提出的基于速度自适应预瞄的无模型转向控制算法可以实现全速域、大曲率的路径稳定跟踪。     

基于Fast R-CNN的车辆目标检测

目的 在传统车辆目标检测问题中,需要针对不同图像场景选择适合的特征。为此提出一种基于快速区域卷积神经网络（Fast R-CNN）的场景图像车辆目标发现方法,避免传统车辆目标检测问题中需要设计手工特征的问题。方法 该方法基于深度学习卷积神经网络思想。首先使用待检测车辆图像定义视觉任务。利用选择性搜索算法获得样本图像的候选区域,将候选区域坐标与视觉任务示例图像一起输入网络学习。示例图像经过深度卷积神经网络中的卷积层,池化层计算,最终得到深度卷积特征。在输入时没有规定示例图像的规格,此时得到的卷积特征规格不定。然后,基于Fast R-CNN网络结构,通过感兴趣区域池化层规格化特征,最后将特征输入不同的全连接分支,并行回归计算特征分类,以及检测框坐标值。经过多次迭代训练,最后得到与指定视觉任务强相关的目标检测模型,具有训练好的权重参数。在新的场景图像中,可以通过该目标检测模型检测给定类型的车辆目标。结果 首先确定视觉任务包含公交车,小汽车两类,背景场景是城市道路。利用与视觉任务强相关的测试样本集对目标检测模型进行测试,实验表明,当测试样本场景与视觉任务相关度越高,且样本中车辆目标的形变越小,得到的车辆目标检测模型对车辆目标检测具有良好的检测效果。结论 本文提出的车辆目标检测方法,利用卷积神经网络提取卷积特征代替传统手工特征提取过程,通过Fast R-CNN对由示例图像组成定义的视觉任务训练得到了效果良好的车辆目标检测模型。该模型可以对与视觉任务强相关新场景图像进行效果良好的车辆目标检测。本文结合深度学习卷积神经网络思想,利用卷积特征替代传统手工特征,避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力。基于Fast R-CNN网络,最终通过多次迭代训练得到车辆检测模型。该检测模型对本文规定的视觉任务有良好的检测效果。本文为解决车辆目标检测问题提供了更加泛化和简洁的解决思路。     

高速公路场景的车路视觉协同行车安全预警算法

目的 基于视觉的车辆行驶安全性预警分析技术是目前车辆辅助驾驶的一个重要研究方向,对前方多车道快速行驶的车辆进行精准的跟踪定位并建立稳定可靠的安全距离预警模型是当前研究难点。为此,提出面向高速公路场景的车路视觉协同行车安全预警算法。方法 首先提出一种深度卷积神经网络SF_YOLOv4（single feature you look only once v4）对前方车辆进行精准的检测跟踪;然后提出一种安全距离模型对车辆刹车距离进行计算,并根据单目视觉原理计算车辆间距离;最后提出多车道预警模型对自车行驶过程的安全性进行分析,并对司机给予相应安全提示。结果 实验结果表明,提出的SF_YOLOv4算法对车辆检测的准确率为93.55%,检测速度（25帧/s）领先对比算法,有效降低了算法的时间和空间复杂度;提出的安全距离模型计算的不同类型车辆的刹车距离误差小于0.1 m,与交通法建议的距离相比,本文方法计算的安全距离精确度明显提升;提出的多车道安全预警模型与马自达6（ATENZA）自带的前方碰撞系统相比,能对相邻车道车辆进行预警,并提前0.7 s对前方变道车辆发出预警。结论 提出的多车道预警模型充分考虑高速公路上相邻车道中的车辆位置变化发生的碰撞事故;本文方法与传统方法相比,具有较高实用性,其预警效果更加客观,预警范围更广,可以有效提高高速公路上的行车安全。     

结合KSW和FCNN的道路场景分割

目的 随着自动驾驶技术不断引入生活,机器视觉中道路场景分割算法的研究已至关重要。传统方法中大多数研究者使用机器学习方法对阈值分割,而近年来深度学习的引入,使得卷积神经网络被广泛应用于该领域。方法 针对传统阈值分割方法难以有效提取多场景下道路图像阈值的问题和直接用深度神经网络来训练数据导致过分割严重的问题,本文提出了结合KSW（key seat wiper）和全卷积神经网络（FCNN）的道路场景分割方法,该方法结合了KSW熵法及遗传算法,利用深度学习在不同场景下的特征提取,并将其运用到无人驾驶技术的道路分割中。首先对道路场景测试集利用KSW熵法及遗传算法得到训练集,然后导入到全卷积神经网络中进行训练得到有效训练模型,最后通过训练模型实现对任意一幅道路场景图分割。结果 实验结果表明,在KITTI数据集中进行测试,天空和树木的分割精度分别达到91.3%和94.3%,道路、车辆、行人的分割精度提高了2%左右。从分割结果中明显看出,道路图像中的积水、泥潭、树木等信息存在的过分割现象有良好的改观。结论 相比传统机器学习道路场景分割方法,本文方法在一定程度上提高了分割精度。对比深度学习直接应用于道路场景分割的方法,本文方法在一定程度上避免了过分割现象,提高了模型的鲁棒性。综上所述,本文提出的结合KSW和FCNN的道路场景分割算法有广泛的研究前景,有望应用于医学图像和遥感图像的处理中。     

基于深度视觉注意神经网络的端到端自动驾驶模型

针对现有端到端自动驾驶方法中存在的驾驶指令预测不准确、模型结构体量大和信息冗余多等问题,提出一种新的基于深度视觉注意神经网络的端到端自动驾驶模型。为了更有效地提取自动驾驶场景的特征,在端到端自动驾驶模型中引入视觉注意力机制,将卷积神经网络、视觉注意层和长短期记忆网络进行融合,提出一种深度视觉注意神经网络。该网络模型能够有效提取驾驶场景图像的空间特征和时间特征,并关注重要信息且减少信息冗余,实现用前向摄像机输入的序列图像来预测驾驶指令的端到端自动驾驶。利用模拟驾驶环境的数据进行训练和测试,该模型在乡村路、高速路、隧道和山路四个场景中对方向盘转向角预测的均方根误差分别为0.009 14、0.009 48、0.002 89和0.010 78,均低于对比用的英伟达公司提出的方法和基于深度级联神经网络的方法;并且与未使用视觉注意力机制的网络相比,该模型具有更少的网络层数。     

并行交叉的深度卷积神经网络模型

目的 图像分类与识别是计算机视觉领域的经典问题,是图像检索、目标识别及视频分析理解等技术的基础。目前,基于深度卷积神经网络(CNN)的模型已经在该领域取得了重大突破,其效果远远超过了传统的基于手工特征的模型。但很多深度模型神经元和参数规模巨大,训练困难。为此根据深度CNN模型和人眼视觉原理,提出并设计了一种深度并行交叉CNN模型(PCCNN模型)。方法 该模型在Alex-Net基础上,通过两条深度CNN数据变换流,提取两组深度CNN特征;在模型顶端,经过两次混合交叉,得到1024维的图像特征向量,最后使用Softmax回归对图像进行分类识别。结果 与同类模型相比,该模型所提取的特征更具判别力,具有更好的分类识别性能;在Caltech101上top1识别精度达到63%左右,比VGG16高出近5%,比GoogLeNet高出近10%;在Caltech256上top1识别精度达到46%以上,比VGG16高出近5%,比GoogLeNet高出2.6%。结论 PCCNN模型用于图像分类与识别效果显著,在中等规模的数据集上具有比同类其他模型更好的性能,在大规模数据集上其性能有待于进一步验证;该模型也为其他深度CNN模型的设计提供了一种新的思路,即在控制深度的同时,提取更多的特征信息,提高深度模型性能。     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

顾及目标关联的自然场景文本检测

目的 目前基于卷积神经网络（CNN）的文本检测方法对自然场景中小尺度文本的定位非常困难。但自然场景图像中文本目标与其他目标存在很强的关联性,即自然场景中的文本通常伴随特定物体如广告牌、路牌等同时出现,基于此本文提出了一种顾及目标关联的级联CNN自然场景文本检测方法。方法 首先利用CNN检测文本目标及包含文本的关联物体目标,得到文本候选框及包含文本的关联物体候选框;再扩大包含文本的关联物体候选框区域,并从原始图像中裁剪,然后以该裁剪图像作为CNN的输入再精确检测文本候选框;最后采用非极大值抑制方法融合上述两步生成的文本候选框,得到文本检测结果。结果 本文方法能够有效地检测小尺度文本,在ICDAR-2013数据集上召回率、准确率和F值分别为0.817、0.880和0.847。结论 本文方法顾及自然场景中文本目标与包含文本的物体目标的强关联性,提高了自然场景图像中小尺度文本检测的召回率。     

结合状态机和动态目标路径的无人驾驶决策仿真

目的 决策系统是无人驾驶技术的核心研究之一。已有决策系统存在逻辑不合理、计算效率低、应用场景局限等问题,因此提出一种动态环境下无人驾驶路径决策仿真。方法 首先,基于规则模型构建适于无人驾驶决策系统的交通有限状态机;其次,针对交通动态特征,提出基于统计模型的动态目标路径算法计算状态迁移风险;最后,将交通状态机和动态目标路径算法有机结合,设计出一种基于有限状态机的无人驾驶动态目标路径模型,适用于交叉口冲突避免和三车道换道行为。将全速度差连续跟驰模型运用到换道规则中,并基于冲突时间提出动态临界跟车距离。结果 为验证模型的有效性和高效性,对交通环境进行虚拟现实建模,模拟交叉口通行和三车道换道行为,分析文中模型对车流量和换道率的影响。实验结果显示,在交叉口通行时,自主车辆不仅可以检测冲突还可以根据风险评估结果执行安全合理的决策。三车道换道时,自主车辆既可以实现紧急让道,也可以通过执行换道达成自身驾驶期望。通过将实测数据和其他两种方法对比,当车流密度在0.20.5时,本文模型的平均速度最高分别提高32 km/h和22 km/h。当车流密度不超过0.65时,本文模型的换道成功率最高分别提升37%和25%。结论 实验结果说明本文方法不仅可以在动态城区环境下提高决策安全性和正确性,还可以提高车流量饱和度,缓解交通堵塞。     

面向智能驾驶的平行视觉感知：基本概念、框架与应用

目的 视觉感知技术是智能车系统中的一项关键技术,但是在复杂挑战下如何有效提高视觉性能已经成为智能驾驶领域的重要研究内容。本文将人工社会（artificial societies）、计算实验（computational experiments）和平行执行（parallel execution）构成的ACP方法引入智能驾驶的视觉感知领域,提出了面向智能驾驶的平行视觉感知,解决了视觉模型合理训练和评估问题,有助于智能驾驶进一步走向实际应用。方法 平行视觉感知通过人工子系统组合来模拟实际驾驶场景,构建人工驾驶场景使之成为智能车视觉感知的“计算实验室”;借助计算实验两种操作模式完成视觉模型训练与评估;最后采用平行执行动态优化视觉模型,保障智能驾驶对复杂挑战的感知与理解长期有效。结果 实验表明,目标检测的训练阶段虚实混合数据最高精度可达60.9%,比单纯用KPC（包括：KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）,PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）和MS COCO（Microsoft common objects in context））数据和虚拟数据分别高出17.9%和5.3%;在评估阶段相较于基准数据,常规任务（-30°且垂直移动）平均精度下降11.3%,环境任务（雾天）平均精度下降21.0%,困难任务（所有挑战）平均精度下降33.7%。结论 本文为智能驾驶设计和实施了在实际驾驶场景难以甚至无法进行的视觉计算实验,对复杂视觉挑战进行分析和评估,具备加强智能车在行驶过程中感知和理解周围场景的意义。     

基于PID神经元网络的智能车控制系统研究

研究了基于PID神经元网络的智能车多变量控制系统。智能车的转向控制与速度控制相互关联、相互影响、且都具有时变性,针对智能车在行驶时要求电机的动态响应速度要快、舵机的动态响应时间要短的特点,提出了将PID神经元网络（PIDNN）控制器及其算法应用到智能车的控制系统中来对传统PID控制进行改进。PIDNN控制系统不依赖智能车电机与舵机的数学模型,能够根据控制效果在线训练和学习,调整网络连接权重值,最终使系统的目标函数达到最小来实现智能车的精确控制。Matlab仿真测试表明,PIDNN控制系统的响应快,超调小、无静差,与传统PID控制算法相比,大大提高了智能车控制系统的性能。     

线控转向汽车传动比智能控制策略的研究

以线控转向汽车的传动比控制为重点进行研究,提出了传动比智能控制策略,旨在进一步改善系统的转向性能。针对转向系统的不确定性、非线性的特点,在原有基于模型控制方法的基础上,研究了模糊控制和模糊神经网络在传动比控制中的应用;首先利用模糊控制技术设计传动比控制器,然后研究了模糊神经网络的结构和算法,利用模糊神经网络对理想传动比控制进行改进,实现了输入变量隶属函数中心值和宽度的在线调节,进而对传动比进行优化;从仿真结果可以看出基于模糊神经网络的控制方法比单模糊控制扩大了传动比变化的车速范围,更加符合理想传动比的要求,表明基于模糊神经网络控制方法更具有可行性和有效性。     

非同轴两轮机器人自平衡与转向闭环控制

针对车速、车身侧倾角和前轮转角变化较大工况下的非同轴两轮机器人在基于前轮转角的自平衡控制中,因动力学模型准确性对自平衡控制带来的影响,设计了基于RBF神经网络模糊滑模控制的自平衡控制器,利用RBF神经网络的逼近特性,对动力学模型中非线性时变的不确定部分进行自适应逼近,从而提高动力学模型的准确性,并借助模糊规则削弱滑模控制中产生的系统抖振;以及因前轮转角用于自平衡控制中难以实现转向闭环控制,建立了基于纯跟踪法的轨迹跟踪控制器,并设计利用车身平衡时车身侧倾角与前轮转角的耦合关系,将转向闭环控制中的目标前轮转角替换为目标车身侧倾角,从而将自平衡控制器与轨迹跟踪控制器相结合,在保证车身平衡行驶的前提下,实现带有轨迹跟踪的转向闭环控制。实验结果表明,凭借动力学模型的较高准确性,RBF神经网络模糊滑模自平衡控制器具有鲁棒性好、超调量低和响应迅速的优点,并且利用车身平衡后车身侧倾角与前轮转角耦合关系,实现转向闭环控制是可行的,具有良好的轨迹跟踪效果。     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合 非局部神经网络的行为检测模型。模型采用一种双分支的 CNN 结构,分别提取视频的空间特征和运动特征。 将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行 2D CNN 特征提取,时空网络采用融 合非局部模块的 3D CNN 来捕获视频帧之间的全局联系。为了进一步增强上下文语义信息,使用一种通道融合 机制来聚合双分支网络的特征,最后将融合后的特征用于帧级检测。在 UCF101-24 和 JHMDB 2 个数据集上进 行了实验,结果表明,该方法能够充分融合空间和时间维度信息,在基于视频的时空行为检测任务上具有较高 的检测精度。     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法 首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络（long short-term memory network,LSTM）和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s （Bahcesehir University multimodal）和RML （Ryerson Multimedia Lab）视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论 该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。     

基于OV7620循迹的智能车算法研究

介绍了智能车模型系统。以MC9S12XSl28微控制器为核心控制单元,通过0V7620数字摄像头检测赛道信息,并对所采集到的图像进行二值化,提取两边黑色引导线,用于路径识别;通过光电编码器检测模型车的速度,使用经典PID控制算法控制舵机的转向和驱动电机的转速。     

基于RBF神经网络滑模控制的车辆横向控制研究

针对车辆横向控制系统中滑模控制器存在的抖振现象对转向机械结构带来的损耗问题,提出了一种基于RBF神经网络的滑模控制算法。利用RBF神经网络较强的自学习能力实时在线调节滑模控制器的切换项增益参数,增强系统的抗干扰能力与动态性能。将车辆实际参数代入仿真数学模型中,在Simulink仿真环境中进行对比仿真实验,仿真结果表明:该控制算法跟踪性能好,能够有效降低滑模控制器的抖振,满足车辆横向控制要求。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+（the extended Cohn-Kanade dataset）、MMI （the MMI facial expression database）和Oulu-CASIA （the Oulu-CASIA NIR&VIS facial expression database）上的识别准确率分别为98.46%、82.96%和87.12%,接近或超越了当前同类方法中的表情识别最高性能。结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能。     

具有个性化的虚拟自主汽车视觉行为模型研究

构造了一个虚拟自主汽车(VirtualAutonomousVehicle,VAV)视觉行为模型:信息获取、障碍物避免、目的地追踪和行为融合四部分组成。采用模糊神经网络控制器来模拟该模型中的障碍物避免行为,此控制器共分为五层,可以避免传统的势场法产生局部最小问题,或用模糊控制器造成的主观性强的问题,使VAV轨迹更加平滑。通过神经网络学习,修正模糊隶属函数参数值,可模拟不同类型的驾驶员。