基于视频技术的交通违章处理系统的设计与实现

针对交通场景中经常出现的车辆违章行为,如闯红灯、违章停车、超速、强行右转弯等,开发研制了基于计算机视觉和图像识别技术的视频交通违章处理系统;该系统在完成初始设定之后,便可以自动地、实时地检测出车辆的违章行为并提供车辆违章的相关信息;文中详细介绍了系统硬件和软件的设计方案以及系统功能的实现机理;利用VC＋＋6.0开发平台,研发了具有从交通场景的视频数据采集、违章行为识别、违章车辆全景图像存储,直至对违章车辆的数据库管理等多个功能的交通违章处理系统;经测试,系统运行稳定、可靠.     

基于高斯混合模型和AdaBoost的夜间车辆检测

针对夜间车辆检测精度相对不高的问题，提出通过构建车头灯对空间几何关系的高斯混合模型（GMM）和采用逆投影车辆样本的AdaBoost分类器准确检测夜间车辆的方法。首先，在交通场景中根据车头灯对的空间位置关系设置逆投影面，通过图像预处理粗定位车灯区域；其次，在逆投影图像下利用车头灯对的空间几何关系构建车灯对的高斯混合模型，初步匹配车头灯对；最后，采用逆投影车辆样本，利用AdaBoost分类器进一步准确检测车辆。实验在3个交通场景的检测结果表明，与原始图像下的AdaBoost方法相比，所提方法的检测率提高了1.93%，漏检率降低了17.83%，误检率降低了27.61%；与D-S （Dempster-Shafer）证据理论方法相比，检测率提高了2.03%，漏检率降低了7.58%，误检率降低了47.51%。所提方法提高了相对检测精度，减少了地面反光和影子等的干扰，满足交通场景中夜间车辆检测的可靠性和准确性的要求。     

基于三维重建的交通流量检测算法

在智能交通系统中 ,道路交通流量信息实时、有效的检测是交通信息系统的关键环节 .固定相机的视频图象检测法具有诸多优点 ,为此 ,提出了一个基于知识的视频图象交通流量检测系统 ,其中 ,车辆的分割和识别是视频检测法的核心 .根据车辆具有较大的运动惯性等运动规律 ,在短时间隔内 ,可以近似认为车辆运动为刚体匀速直线运动 .在这一条件下 ,将刚体上的运动点重投影到道路平面 ,则重投速度与该点的空间位置到路面的高度具有固定的比例关系 .运动特征采用具有较好定位精度的边缘特征 ,并拟合为直线进行运动跟踪匹配 .在识别过程中 ,先假定车辆的模型及其高度 ,然后再根据重投影速度 ,重建车辆的三维空间结构 ,进行基于知识规则的假设校验 .试验结果表明 ,该方法可以较好地解决车辆视频检测中的遮挡、粘连、阴影等情况     

基于概率算法自适应更新背景的运动车辆检测

交通流量检测是智能交通系统中的一个重要研究方向和热点问题,基于视频的车辆检测是交通流量采集分析的核心技术,它为交通流量参数的实时获取提供了可能。为实现在复杂交通视频场景中实时准确检测各类的运动车辆,在研究传统背景差分算法的缺点的工作基础上,提出一个自适应的贝叶斯概率背景检测算法,进而完成了较准确的运动车辆分类检测。实验结果表明该方法具有高效实时的特点,能够较准确地实现复杂交通路面的背景提取和运动车辆的检测,具有良好的鲁棒性。     

A Survey of Scene Understanding by Event Reasoning in Autonomous Driving

Realizing autonomy is a hot research topic for automatic vehicles in recent years. For a long time, most of the efforts to this goal concentrate on understanding the scenes surrounding the ego-vehicle (autonomous vehicle itself). By completing low-level vision tasks, such as detection, tracking and segmentation of the surrounding traffic participants, e.g., pedestrian, cyclists and vehicles, the scenes can be interpreted. However, for an autonomous vehicle, low-level vision tasks are largely insufficient to give help to comprehensive scene understanding. What are and how about the past, the on-going and the future of the scene participants? This deep question actually steers the vehicles towards truly full automation, just like human beings. Based on this thoughtfulness, this paper attempts to investigate the interpretation of traffic scene in autonomous driving from an event reasoning view. To reach this goal, we study the most relevant literatures and the state-of-the-arts on scene representation, event detection and intention prediction in autonomous driving. In addition, we also discuss the open challenges and problems in this field and endeavor to provide possible solutions.     

Classify vehicles in traffic scene images with deformable part-based models

Vehicle classification is an important and challenging task in intelligent transportation systems, which has a wide range of applications. In this paper, we propose to integrate vehicle detection and vehicle classification into one single framework by using deformable part-based models. First of all, we use annotated vehicle images to train a deformable part-based model for each class of vehicles to be classified. Then, given a traffic scene image, we employ the obtained vehicle models to perform vehicle detection in it for vehicle extraction. After that, model alignment is performed on the extracted image crop, based on which features are extracted for creating a representation for the vehicle in the given image. We train a linear multi-class Support Vector Machine classifier based on representations of images in a validation set. Finally, we adopt the SVM classifier for vehicle classification. The proposed method is evaluated on the BIT-Vehicle Dataset, and can achieve an accuracy of \(91.08\%\), which is superior to methods used for comparison. Obtained results demonstrated the effectiveness of the proposed method.     

基于计算机视觉和图像处理的交通参数检测

本文提出了一种基于计算机视觉和图像处理的车流量检测方法,通过分析CCD TV 摄 像机获取的图像中车辆和场景信息来有效地检测交通参数．本方法可以完成双向四车道高速 公路和城市道路的车辆计数和车辆速度检测．实验结果表明：车辆计数的正确率为94％,车 辆速度检测的正确率达92%,并具有满意的实时特性．     

基于背景自适应更新的车辆阴影检测算法

对基于视频的交通流量参数检测及交通路口控制方法而言,车辆检测是很关键的一步,但是由于车辆阴影的客观存在,经常会造成汽车数量的误检。本文在背景自适应更新的基础上,对阴影建立了模型并对检测算法进行了改进,以提高车辆检测精度。     

基于多特征融合的视频交通数据采集方法

提出了一种基于多特征融合的视频交通数据采集方法, 核心思想是: 在图像中设置虚拟线圈, 假设车辆从虚拟线圈上驶过时引起像素变化, 通过识别这种像素变化来检测车辆并估计车速. 与现有技术相比, 本文的贡献在于: 1) 综合利用虚拟线圈内的前景面积、纹理变化、像素运动等特征来检测车辆, 提出了有效的多特征融合方法, 显著提高了车辆检测精度; 2) 根据单个虚拟线圈内的像素运动向量来估计车速, 避免了双线圈测速法的错误匹配问题. 算法测试结果表明本文算法能够在复杂多样的交通场景和天气条件下, 准确地检测车辆和估计车速. 在算法研究的基础上, 研制了一款嵌入式交通视频检测器, 在路口长期采集交通数据, 为交通信号控制和交通规律分析提供决策依据.     

结合改进Deeplab v3+网络的水岸线检测算法

目的 水岸线既是水利行业视频监控分析的基础,也是无人水面艇实现自主航行的关键。现有的许多水岸线检测的图像识别方法,不仅无法克服水面波纹、水面倒影等因素的影响,而且不具有适应性,无法同时适用于多个水岸场景分析。为此,本文采用多个复杂的水岸场景图像,训练了用于水岸分割的Deeplab v3+网络,并综合考虑分割性能和计算速度,对Deeplab v3+进行简化与改进,提出了基于改进的Deeplab v3+分割水面图像提取水岸线的检测方法。方法 采集不同水岸场景图像作为训练及验证图集,并利用伽马函数扩充样本;接着修改Deeplab v3+网络,对xception结构进行微调,同时在decoder时多增加一路低级特征（low-level feature）,增加特征信息;然后依据图像信息设置损失权重系数,设置可视化参数,基于改进的Deeplab v3+网络针对自己的数据集进行训练。利用训练好的PB模型在Linux操作系统调用TensorFlow的C++接口对测试图像进行区域分割。最后基于提取出的水面区域通过边缘检测算子检测水岸线,将水岸线叠加到原图。结果 本文采集了不同光照强度、不同波纹程度以及不同阴影程度的水面图像进行水岸线检测实验,并与现有算法进行比较。实验结果表明本文算法可以在不同的水岸图像中检测出较为清晰完整的水岸线,准确率达93.98%,实时性达到8帧/s。结论 本文算法能克服水岸边缘严重不规则、不同水岸场景差异大和复杂水岸场景中光照、波纹、倒影等因素的干扰,提升水岸图像分割准确度及效率,检测出轮廓清晰完整的水岸线,服务于水利行业的智能监控分析。     

智能交通检测系统中动态目标检测方法研究

视频交通检测技术已逐渐成为交通信息采集领域的主流技术。以交通信息采集系统中运动车辆的检测与识别为应用背景,在对运动目标检测中背景更新、噪声的消除等一些难点问题进行深入分析研究的基础上,给出了一个稳定的运动车辆检测算法。运动车辆检测方法作为视觉监控领域的一种普遍方法,具有一定的理论意义和实用价值。     

短时记忆与CenterTrack的车辆多目标跟踪

目的 车辆多目标跟踪是智能交通领域关键技术,其性能对车辆轨迹分析和异常行为鉴别有显著影响。然而,车辆多目标跟踪常受外部光照、道路环境因素影响,车辆远近尺度变化以及相互遮挡等干扰,导致远处车辆漏检或车辆身份切换（ID switch,IDs）问题。本文提出短时记忆与CenterTrack的车辆多目标跟踪,提升车辆多目标跟踪准确度（multiple object tracking accuracy,MOTA）,改善算法的适应性。方法 利用小样本扩增增加远处小目标车辆训练样本数;通过增加的样本重新训练CenterTrack确定车辆位置及车辆在相邻帧之间的中心位移量;当待关联轨迹与检测目标匹配失败时通过轨迹运动信息预测将来的位置;利用短时记忆将待关联轨迹按丢失时间长短分级与待匹配检测关联以减少跟踪车辆IDs。结果 在交通监控车辆多目标跟踪数据集UA-DETRAC （University at Albany detection and tracking）构建的5个测试序列数据中,本文方法在维持CenterTrack优势的同时,对其表现不佳的场景获得近30%的提升,与YOLOv4-DeepSort（you only look once—simple online and realtime tracking with deep association metric）相比,4种场景均获得近10%的提升,效果显著。Sherbrooke数据集的测试结果,本文方法同样获得了性能提升。结论 本文扩增了远处小目标车辆训练样本,缓解了远处小目标与近处大目标存在的样本不均衡,提高了算法对远处小目标车辆的检测能力,同时短时记忆维持关联失败的轨迹运动信息并分级匹配检测目标,降低了算法对跟踪车辆的IDs,综合提高了MOTA。     

改进YOLOv3的非机动车检测与识别方法

随着交管部门对非机动车监管力度的增强,在道路交通监控视频中检测和识别非机动车将逐渐成为电子交警系统的必备功能。由于非机动车密度大,容易互相遮挡,且在监控视频中所占面积往往较小,容易出现检测定位不准确和漏检等问题。针对非机动车检测定位不准确和漏检问题,基于YOLOv3,提出一种改进的非机动车检测与识别模型,通过设计新的特征融合结构降低非机动车漏检率,使用GIOU损失提高定位准确度。实验结果表明,所提出的改进模型在自建真实复杂场景非机动车数据集上取得了优于YOLOv3的检测结果,将检测的平均检测准确率（mAP）提高了3.6%。     

交通图像中机动车联合检测与识别

目的 机动车检测和属性识别是智能交通系统中的基本任务,现有的方法通常将检测和识别分开进行,导致以下两个问题：一是检测算法与识别任务在时序上存在耦合问题,增加了算法设计的复杂度;二是多个任务模块及其交互会增加计算负载,降低了智能交通系统的执行效率。为了解决以上问题,结合机动车辆视觉属性与检测之间的联系,提出机动车联合检测与识别方法,将检测和属性识别任务整合在一个算法框架中完成。方法 首先,将车辆颜色与类型融合到检测算法中,使用多任务学习框架对机动车的属性识别任务与定位任务建模,在检测的同时完成属性识别。进一步地,针对智能交通系统中数据分布不均匀、呈现长尾现象的问题,将多任务学习框架与在线难例挖掘算法相结合,降低该现象给模型优化带来的危害。结果 为了验证本文提出的方法,构建了拥有12 712幅图像,包含19 398辆机动车的道路车辆图像数据集。在该数据集上,使用机动车联合检测与识别算法取得了85.6%的检测精度,优于SSD （single shot detector）与Faster-RCNN检测方法。针对识别任务,本文方法对于颜色与类型属性的识别准确率分别达到了91.3%和91.8%。结论 车辆颜色和类型作为机动车的重要视觉特征,综合利用以上线索有助于提高机动车检测的效果,同时能够得到良好的属性识别性能。除此之外,使用一个高度集成的框架完成多个任务,可以提升智能交通系统的运行效率。     

基于机器视觉的交叉口特种车辆快速通行技术研究

交叉口是道路网络中重要的交通节点,容易产生交通堵塞问题,为了在保证通行安全的情况下提高特种车辆的通行效率,研究基于机器视觉的交叉口特种车辆快速通行技术。优化通行基础采用图像采集及预处理、检测识别和通行控制作为技术框架结构,利用机器视觉技术采集交叉口实时交通图像,通过图像滤波、图像增强等步骤,实现初始图像的预处理。利用Car-YOLO网络识别交叉口通行能力,规划快速通行路线,考虑前车行驶状态,求解特种车辆通行速度,针对车辆所占车道,通过绿灯早启、绿灯周期时间延长等方式控制交叉口信号灯,实现交叉口特种车辆快速通行。实验结果表明:在拥堵和正常通行场景下,优化设计技术的特种车辆通过时间的平均值分别为18.2s、10.1s,事故发生概率分别低于2%、1.4%,具有较好的应用效果。     

面向智能驾驶的平行视觉感知：基本概念、框架与应用

目的 视觉感知技术是智能车系统中的一项关键技术,但是在复杂挑战下如何有效提高视觉性能已经成为智能驾驶领域的重要研究内容。本文将人工社会（artificial societies）、计算实验（computational experiments）和平行执行（parallel execution）构成的ACP方法引入智能驾驶的视觉感知领域,提出了面向智能驾驶的平行视觉感知,解决了视觉模型合理训练和评估问题,有助于智能驾驶进一步走向实际应用。方法 平行视觉感知通过人工子系统组合来模拟实际驾驶场景,构建人工驾驶场景使之成为智能车视觉感知的“计算实验室”;借助计算实验两种操作模式完成视觉模型训练与评估;最后采用平行执行动态优化视觉模型,保障智能驾驶对复杂挑战的感知与理解长期有效。结果 实验表明,目标检测的训练阶段虚实混合数据最高精度可达60.9%,比单纯用KPC（包括：KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）,PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）和MS COCO（Microsoft common objects in context））数据和虚拟数据分别高出17.9%和5.3%;在评估阶段相较于基准数据,常规任务（-30°且垂直移动）平均精度下降11.3%,环境任务（雾天）平均精度下降21.0%,困难任务（所有挑战）平均精度下降33.7%。结论 本文为智能驾驶设计和实施了在实际驾驶场景难以甚至无法进行的视觉计算实验,对复杂视觉挑战进行分析和评估,具备加强智能车在行驶过程中感知和理解周围场景的意义。     

Editorial - Special issue on networked system control and connected vehicles: opportunities and challenges

CASE (Connected, Automated, Sharing, and Electrifying) is a global trend in the automotive industry due to the big potential in improving energy efficiency and reducing the air pollution from automobile exhaust. Indeed, the connectivity, connecting the vehicles with the internet, is firstly implemented in the automotive industry in the sense of large scale connection of vehicles. The connected environment has been two decades in the automotive industry which enables us to provide a much comfortable and smart telemetric service. However, the attention has not been focused on the control technology with the connectivity for efficiency and emission improvement. From the view of system control, the connected vehicles are large-scaled, multi-agent or high dimension systems that coupled and interacted but centralized control is not reasonable. How to formulate the optimization or control problem for the connected vehicles and how to solve the problem with system control theory are significant challenging issues. This special issue collected seven papers that addressed these control problems from the view of networked system and optimal control theory. The collection can be divided into three groups. The first group includes three papers that focused on vehicle control with the use of V2V and V2I information. The article by Qiuyi Guo et al., demonstrated the possibility of improving the fuel economy of fuel cell trucks using the traffic light signal. It is shown that with the V2I information, the model predictive control technology can save more than 7.43\% hydrogen consumption in a case study driving cycle. The model predictive control technology is also applied to car-following control on an urban road network by using V2V and V2I information. The paper by A. S. M. Bakibillah et al., investigated this issue and it is shown that the control with V2Vand V2I can improve traffic flow and fuel economy. The paper by Bo Zhang et al., proposed a two-stage optimization approach for speed planning and energy management of hybrid electric vehicles, where the control policy of MPC is fully applied in the two stages of design and a typical scenario of merging is targeted. The second group collected two papers that focused on automated driving. For automated vehicles, control of vehicle dynamics is the main subject, but it is an important elemental subject for driving vehicles under connected environment. Controlling an individual vehicle in the scene of parking is addressed in the paper by Dequan Zen et al. which also demonstrated real test results. The issue of driving-by-wire full is investigated in the paper by Ping Wang et al., where again MPC is exploited for developing the real-time control law. Finally, two articles are collected that discussed active fault tolerant control for connected mobile robots by M. Hussein et al., and powertrain control for electric vehicles with robust control theory by J. Buerger ad J. Anderson, respectively.     

基于角点特征分析的车辆排队长度检测方法

针对交通堵塞造成的各种状况,通过视频分析实现实时高效的车辆排队长度检测,从而获取更多的交通信息改善交通状况.本文通过传统的FAST角点检测方法与运动检测的过程相结合得到改进后的FAST算法,使用改进后的FAST角点特征分析技术,不仅可以提取出当前交通道路上表征车辆存在的角点特征图,还可以获取角点位置的运动状态.通过对交通监控下的视频进行预处理后,单一车道内处于静态的角点特征形成车辆排队,并进行PCA处理得到一维向量,最后对一维向量进行形态学处理来检测单一车道内的车辆排队长度.实验表明,本方法检测精度平均98%,满足应用于实际场景.     

基于图像处理的交通事故检测及责任判定

为了在发生轻微交通事故时, 快速使事故车辆驶离现场, 保证道路畅通, 提出了一种车辆碰撞检测及责任判定模型. 首先结合SSD目标检测算法(single shot multibox detector)和MobileNet轻量级深度网络模型, 对其进行改进以获取每一帧视频图像中运动目标的位置和大小信息, 实现对车辆识别与检测. 其次, 利用卡尔曼滤波器对连续图像帧之间的运动目标建立对应匹配关系, 预测目标的运动状态, 对目标的位置及运动趋势做出判断, 实现车辆轨迹跟踪. 随后通过车辆目标检测框的交并比判断是否发生碰撞. 最后针对直行道路中车辆的速度、方向信息结合道路安全条例及机动车事故快速方法对事故车辆进行责任判定. 结果分析表明, 该研究可实现直行道路场景下的追尾及变道引发的车辆碰撞检测及责任判定.     

基于视频的实时车辆检测系统

基于视频的交通监控系统具有直观明了,安装方便和维护费用相对较低等优点,成为最有前途的大范围采集交通数据的技术,以指导车辆的运行.该文提出一种高效的,实时的通过计算机视觉来进行车辆检测的方法, 结合动态背景刷新策略和动态阈值的选择技术,通过比较检测线上象素的灰度值变化来判断车辆是否通过,然后进行时空分析, 把一系列检测线图像按照时间序列进行重构,得到全景视觉图,然后进行图像处理,获得具体车辆的参数（宽度,通过检测线时间等）.试验结果显示了该方法的有效性,车辆通过检测线的识别率大于95%,满足了实际的要求.