基于改进Enet网络的车道线检测算法

针对实际驾驶环境中道路场景及车道线复杂多样的问题,提出一种基于改进Enet网络的车道线检测算法。首先,对Enet网络进行剪枝和卷积优化操作,并利用改进的Enet网络对车道线进行像素级图像语义分割,将车道线从图像中分离出来。然后,采用DBSCAN算法对分割结果进行聚类处理,将相邻车道线区分开来。最后,对车道线聚类结果进行自适应拟合,得到最终的车道线检测结果。该算法在香港中文大学的CULane数据集上进行了训练和测试,结果表明,其标准路面检测准确率达到96.3%,各种路面综合检测准确率为78.9%,图像帧处理速度为71.4fps,能够满足实际驾驶环境中的复杂路况和实时性需求。此外,该算法还在图森未来的TuSimple数据集和实采数据集LD-Data上进行了训练和测试,均取得了实时性的检测结果。     

标签引导的生成对抗网络人脸表情识别域适应方法

传统的人脸表情识别方法主要针对实验室环境下的基本表情,难以应对现实场景中人类微妙和复杂的表情变化,并且目前自然环境人脸表情识别数据集普遍缺乏足够的训练数据。针对该问题,利用实验室环境下的数据库样本,提出以标签引导的生成对抗网络表情识别域适应方法。将情感标签作为辅助条件,训练生成对抗网络的生成模型,把实验室环境的数据库样本转化为类似自然环境数据库的样本,以扩充自然环境数据库,同时基于扩充的数据库样本训练基本分类器VGG、Resnet等,从而学习自然环境的数据库的情感特征。在RAF_DB等自然环境人脸表情数据库上的实验结果表明,与Boosting-POOF和PixelDA方法相比,该方法扩充得到的数据库可使人脸表情识别率取得6%~9%的提升。     

基于YOLOv3的雾天场景行人车辆检测方法研究

针对智能驾驶中动态目标检测易受雾天等恶劣天气影响,以及原始YOLOv3目标检测算法应用于行人车辆检测时精度低、定位准确率低及漏检率高等问题,提出一种基于改进YOLOv3和数据增强的雾天行人车辆检测方法。首先,以Cityscapes数据集为基础,通过大气散射模型及清晰图片的深度信息人工生成3种浓度的FoggyCityscapes,用以扩充样本数量。其次,通过改进K-means聚类算法生成适用于检测车辆与行人的先验框,同时,使用软非极大值抑制(softnon-maximumsuppression,Soft-NMS)优化对重叠目标的检测,进一步提高模型检测精度。实验结果表明,相较于原模型,该方法在3种浓度的FoggyCityscapes数据集上的平均精度均值(meanaverageprecision,m AP)分别提高了7.73%、13.22%和21.51%,能够快速准确地检测雾天场景的行人和车辆目标。     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成。为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,将图片对应的隐藏变量转化为标准的高斯分布,然后通过生成器生成新的图片;在识别阶段,采用深度卷积神经网络训练判别器,将生成的新的图片输入到已经训练好的判别器中,运用梯度下降法计算损失函数,不断优化整体系统模型。通过对MNIST图像数据集的训练,实验表明该方法能生成质量较高的图片,它生成的图像无法用肉眼与真实数据区分开,并且在不同网络条件下都有较高的识别率。该方法提高了MNIST生成模型的技术水平。     

基于LBP和数据扩充的CNN人脸识别研究

针对卷积神经网络在人脸识别存在的数据集比较少,容易发生过拟合的问题,提出对人脸进行局部二值模式处理,提升图像特征,再引入深度卷积生成对抗网络对局部二值化的人脸进行生成,有效扩充数据集,提升卷积神经网络的泛化能力。该人脸识别卷积神经网络模型包括3层卷积层,3层池化层,1个全连接层,1个Softmax分类回归层。仿真实验中,选取ORL人脸数据库中40人每人10张的人脸图像按8∶1∶1比例设置为训练集、验证集和测试集,并选取Yale人脸数据库中15人每人11张的人脸图像按9∶1∶1的比例设置训练集、验证集和测试集,通过LBP算法提取人脸纹理特征对其进行生成,分别扩充数据集至990张和2200张。结果表明,该算法的人脸识别率不仅高于未扩充数据PCA和LBP等传统人脸识别方法的识别率,而且也将卷积神经网络的识别率提升了约2%,有效提高了泛化能力。     

一种基于生成式对抗网络的图像数据扩充方法

针对卷积神经网络(CNN)在数据集(训练集)较小时,易发生过度拟合的现象,提出并实现了一种引入Selu激活函数并结合带参数归一化的Dropout方法的深度卷积生成式对抗网络用于图像增强,生成图像实现数据集扩充,从而解决深度学习图像分类研究中因图像数据不足造成的模型表达能力差、训练时易过度拟合的问题。通过裁剪、旋转、插值、畸变变换等扩充图像集的传统图像增强方法往往只能扩充样式单一甚至信噪比较低的图像,与传统图像增强方法扩充图像集不同,使用生成式对抗网络生成的图像明显区别于原始图像,不仅可以得到数量更多,内容更丰富的高质量图像,数据集扩充效率也得以提升。仿真实验表明,该生成式对抗网络得到了质量相对较高的图像,有效地扩充了数据集。     

单目深度估计技术进展综述

单幅图像深度估计是计算机视觉中的经典问题,对场景的3维重建、增强现实中的遮挡及光照处理具有重要意义。本文回顾了单幅图像深度估计技术的相关工作,介绍了单幅图像深度估计常用的数据集及模型方法。根据场景类型的不同,数据集可分为室内数据集、室外数据集与虚拟场景数据集。按照数学模型的不同,单目深度估计方法可分为基于传统机器学习的方法与基于深度学习的方法。基于传统机器学习的单目深度估计方法一般使用马尔可夫随机场（MRF）或条件随机场（CRF）对深度关系进行建模,在最大后验概率框架下,通过能量函数最小化求解深度。依据模型是否包含参数,该方法又可进一步分为参数学习方法与非参数学习方法,前者假定模型包含未知参数,训练过程即是对未知参数进行求解;后者使用现有的数据集进行相似性检索推测深度,不需要通过学习来获得参数。对于基于深度学习的单目深度估计方法本文详细阐述了国内外研究现状及优缺点,同时依据不同的分类标准,自底向上逐层级将其归类。第1层级为仅预测深度的单任务方法与同时预测深度及语义等信息的多任务方法。图片的深度和语义等信息关联密切,因此有部分工作研究多任务的联合预测方法。第2层级为绝对深度预测方法与相对深度关系预测方法。绝对深度是指场景中的物体到摄像机的实际距离,而相对深度关注图片中物体的相对远近关系。给定任意图片,人的视觉更擅于判断场景中物体的相对远近关系。第3层级包含有监督回归方法、有监督分类方法及无监督方法。对于单张图片深度估计任务,大部分工作都关注绝对深度的预测,而早期的大多数方法采用有监督回归模型,即模型训练数据带有标签,且对连续的深度值进行回归拟合。考虑到场景由远及近的特性,也有用分类的思想解决深度估计问题的方法。有监督学习方法要求每幅RGB图像都有其对应的深度标签,而深度标签的采集通常需要深度相机或激光雷达,前者范围受限,后者成本昂贵。而且采集的原始深度标签通常是一些稀疏的点,不能与原图很好地匹配。因此不用深度标签的无监督估计方法是研究趋势,其基本思路是利用左右视图,结合对极几何与自动编码机的思想求解深度。     

基于AT-PGGAN的增强数据车辆型号精细识别

目的 车型识别在智能交通、智慧安防、自动驾驶等领域具有十分重要的应用前景。而车型识别中，带标签车型数据的数量是影响车型识别的重要因素。本文以"增强数据"为核心，结合PGGAN（progressive growing of GANs）和Attention机制，提出一种基于对抗网络生成数据再分类的网络模型AT-PGGAN（attention-progressive growing of GANs），采用模型生成带标签车型图像的数量，从而提高车型识别准确率。方法 该模型由生成网络和分类网络组成，利用生成网络对训练数据进行增强扩充，利用注意力机制和标签重嵌入方法对生成网络进行优化使其生成图像细节更加完善，提出标签重标定的方法重新确定生成图像的标签数据，并对生成图像进行相应的筛选。使用扩充的图像加上原有数据集的图像作为输入训练分类网络。结果 本文模型能够很好地扩充已有的车辆图像，在公开数据集StanfordCars上，其识别准确率相比未使用AT-PGGAN模型进行数据扩充的分类网络均有1%以上的提升，在CompCars上与其他网络进行对比，本文方法在同等条件下最高准确率达到96.6%，高于对比方法。实验结果表明该方法能有效提高车辆精细识别的准确率。结论 将生成对抗网络用于对数据的扩充增强，生成图像能够很好地模拟原图像数据，对原图像数据具有正则的作用，图像数据可以使图像的细粒度识别准确率获得一定的提升，具有较大的应用前景。     

室外自然场景下的雾天模拟生成算法

为了通过单幅真实拍摄的图像生成一系列具有雾天效果的虚拟场景,提出了一种完全基于图像的室外自然场景的雾天模拟算法,该算法首先对图像内容进行语义分割,将不同的场景内容标签为天空、地面和立于地面上的物体等;其次针对不同类型的场景分别进行深度信息的解析;最后利用大气散射模型进行雾天的模拟与仿真,从而得到室外自然场景的雾天虚拟图像.理论分析和实验结果表明,该算法的效率仅与图像的分辨率有关,且生成的雾天虚拟场景具有视觉真实感.     

自然场景下人脸表情数据集的构建

目前人脸识别研究中表情数据集图像数量较少、表情信息单一,不利于人脸表情识别的研究。本文创建了自然场景下带标签的人脸表情数据集(Facial expression dataset in the wild, FELW),并对其进行测试。FELW表情数据集包含了多张从互联网上收集的不同的年龄、种族、性别的人脸表情图像,采用适合的方法标注每张图像带有人脸部件的状态标签和表情标签,并引入Kappa一致性检验,提高人脸表情识别率。使用传统方法和深度学习的表情识别方法对数据集进行实验分析,与其他公开的人脸表情数据集相比,FELW数据集具有更多图像和更丰富的表情类别,并包含了两种图像标签有利于表情识别的研究。     

基于车道线检测与图像拐点的道路能见度估计

为了解决传统的能见度仪价格昂贵、采样有限,以及现有的一些视频测量手段需人工标记物、稳定性差等问题,基于车道线检测与图像拐点提出一种通过固定摄像机识别雾天天气并计算道路能见度的算法。与以往研究不同,在交通模型增加了均质雾天因素。该算法主要分为三步：首先,计算场景活动图,利用区域搜索算法（ASA）结合纹理特征提取待识别区域,如果在待识别区域内像素自顶向下以双曲线形式变化则判断当前天气为雾天,同时计算区域内图像亮度曲线的拐点;其次,基于可伸缩窗算法检测车道线,提取车道线端点并标定摄像机;最后,结合图像拐点以及摄像机参数计算大气消光系数,根据国际气象组织给出的能见度定义计算能见度。通过三种场景下的能见度检测,实验结果表明,该算法与人眼观测效果一致,准确率高于86%,检测误差在20m以内,鲁棒性好。     

结合低秩和结构化稀疏的大雾图像小目标检测

针对传统的低秩稀疏分解模型不能直接应用到单幅图像进行目标检测,且忽略了目标像素的空间结构性导致检测精度不高等问题,提出一种基于低秩和结构化稀疏的单幅大雾图像小目标检测算法。首先,对原始大雾图像进行预处理得到由局部子图像构成的大雾补片图像,将小目标检测问题转化为低秩和稀疏分解问题。然后,考虑到目标像素间的空间结构关系,在对大雾补片图像进行矩阵分解时,引入结构化稀疏诱导范数对目标进行约束。最后,将矩阵分解得到的补片图像进行后处理得到背景图像和目标图像。通过对单幅大雾图像实验仿真表明,所提算法确保了小目标检测的完整性并且提高了检测精度。     

雾天条件下偏振解析成像质量评价

目的 偏振成像产生的偏振参量图像具有一定的揭示雾天目标相关特性的优势,目前尚无适当的量化评估手段,由于偏振参量图像均由原方向图解析产生,针对解析类图像的质量评价问题利用现有方法无法有效解决,为此,提出一种用于雾天条件下偏振成像质量评价的方法,旨在给出不同雾天条件下偏振参量图像质量及其变化对比情况。方法 从图像质量分析角度验证雾天目标特性表征与主观观测一致性关系。在分析全偏振参量解析过程及雾天对图像质量的影响基础上,提取了与“解析失真”敏感的特征因子：基于空域的自然场景统计特征和图像的结构性特征,同时引入相应Stokes参量形成了偏振解析参量特征,依据马氏距离构建了统一的评价模型。结果 分别选取室内模拟雾天环境成像样本、仿真生成的雾天样本、室外实拍雾天成像样本3类样本。采用3个参数：1）非线性回归后的算法测试分数与DMOS（平均主观评份差值）间的线性相关系数（CC）;2）非线性回归后的算法测试分数与DMOS间;的均方根误差（RMSE）3）斯皮尔曼相关系数（SROCC）。开展了有效性实验及主客观一致性实验。采用本文算法评价的入射光强（I）图CC值和RMS值分别为0.930 2和4.593 2,偏振度（P）图的CC值和RMS值分别为0.877 1和0.995 0,算法准确度高。入射光强（I）图的SROCC值为0.939 0,P图的SROCC值为0.786 1,算法的客观分数与主观分数相一致。算法对不同雾天条件下的偏振解析参量图像的质量演变关系辨识性好,客观评价结果符合主观理论分析。结论 本文针对偏振参量图像提出的综合质量评价模型通过提取特征因子及Stokes参量形成的评价算法能够准确地评价参量图像中的I图和P图,算法准确度高、主客观一致性好,能够反映偏振参量图像的质量及相关关系,较好地解决了雾天条件下偏振成像质量评价问题。     

引入辅助损失的多场景车道线检测

目的 为解决实时车辆驾驶中因物体遮挡、光照变化和阴影干扰等多场景环境影响造成的车道线检测实时性和准确性不佳的问题,提出一种引入辅助损失的车道线检测模型。方法 该模型改进了有效的残差分解网络（effcient residual factorized network,ERFNet）,在ERFNet的编码器之后加入车道预测分支和辅助训练分支,使得解码阶段与车道预测分支、辅助训练分支并列,并且在辅助训练分支的卷积层之后,利用双线性插值来匹配输入图像的分辨率,从而对4条车道线和图像背景进行分类。通过计算辅助损失,将辅助损失以一定的权重协同语义分割损失、车道预测损失进行反向传播,较好地解决了梯度消失问题。语义分割得到每条车道线的概率分布图,分别在每条车道线的概率分布图上按行找出概率大于特定阈值的最大点的坐标,并按一定规则选取相应的坐标点,形成拟合的车道线。结果 经过在CULane公共数据集上实验测试,模型在正常场景的F1指标为91.85%,与空间卷积神经网络（spatial convolutional neural network,SCNN）模型相比,提高了1.25%,比其他场景分别提高了1%~7%;9种场景的F1平均值为73.76%,比目前最好的残差网络——101-自注意力蒸馏（ResNet-101-self attention distillation,R-101-SAD）模型（71.80%）高出1.96%。在单个GPU上测试,每幅图像的平均运行时间缩短至原来的1/13,模型的参数量减少至原来的1/10。与平均运行时间最短的车道线检测模型ENet——自注意力蒸馏（ENet-self attention distillation,ENet-SAD）相比,单幅图像的平均运行时间减短了2.3 ms。结论 在物体遮挡、光照变化、阴影干扰等多种复杂场景下,对于实时驾驶车辆而言,本文模型具有准确性高和实时性好等特点。     

基于低秩分解与像素置乱的图像去雾方法

针对浓雾场景下图像目标信息被严重遮挡,现有雾天图像清晰化算法难以取得较好去雾效果的问题,基于低秩分解并结合像素置乱提出一种新的图像去雾方法。根据低秩分解理论和散射介质成像模型,将雾天降质图像看作两部分的叠加：一部分是具有低秩特性的雾化背景,另一部分是具有高秩特性的清晰目标场景。由于目标场景本身具有局部相关性和非局部相似性而含有一定程度的低秩成分,直接进行低秩分解会导致一部分目标场景被当作雾化背景去除,因此对原始雾天图像进行像素置乱以破坏场景本身的相关性,同时雾化背景因其全局缓变特性仍保持低秩属性,从而在进行低秩分解时最大限度地保留场景信息。最后,将高秩成分进行像素归位,获得去雾后的复原场景。实验结果表明,与暗通道先验、DehazeNet等主流图像去雾方法相比,该方法针对O-HAZE数据集中浓雾图像的去雾具有更好的表现,在有效去除浓雾的同时,不会产生大面积色偏现象。     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world taskdriven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)...     

道路结构特征下的车道线智能检测

目的 在智能网联汽车系统开发中,复杂环境下的车道线检测是关键环节之一。目前的车道线检测算法大都基于颜色、灰度和边缘等视觉特征信息,检测准确度受环境影响较大。而车道线的长度、宽度及方向等特征的规律性较强,具有序列化和结构关联的特点,不易受到环境影响。为此,采用视觉信息与空间分布关系相结合的方案,来提高复杂环境下的车道线检测能力。方法 首先针对鸟瞰图中车道线在横向和纵向上分布密度不同的特点,将目标检测算法YOLO v3（you only look once v3）的网格密度由S×S改进为S×2S,得到的YOLO v3（S×2S）更适于小尺寸、大宽高比物体的检测;然后利用车道线序列化和结构相互关联的特点,在双向循环门限单元（bidirectional gated recurrent unit,BGRU）的基础上,提出基于车道线分布关系的车道线检测模型（BGRU-Lane,BGRU-L）。最后利用基于置信度的D-S（Dempster-Shafer）算法融合YOLO v3（S×2S）和BGRU-L的检测结果,提高复杂场景下的车道线检测能力。结果 采用融合了视觉信息和空间分布关系的车道线检测模型,在KITTI（Karlsruhe Institute of Technology and Toyoko Technological Institute）交通数据集上的平均精度均值达到了90.28%,在欧洲卡车模拟2常规场景（Euro Truck Simulator 2 convention,ETS2_conv）和欧洲卡车模拟2复杂场景（Euro Truck Simulator 2 complex,ETS2_complex）下的平均精度均值分别为92.49%和91.73%。结论 通过增大YOLO v3纵向的网格密度,可显著提高模型检测小尺寸、大宽高比物体的准确度;序列化和结构关联是车道线的重要属性,基于空间分布关系的BGRU-L模型的准确度受环境影响较小。两种模型的检测结果在经过D-S融合后,在复杂场景下具有较高的准确度。     

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4 MB缩减到14.2 MB的情况下,检测精准率从97.86%提高到98.46%。     

雨雾天气下光线散射效果的实时绘制

提出一种适用于雨雾天气的天空光照的多粒子散射模型,实现了雨雾场景中大气散射效果及雨后彩虹的真实感绘制.同时,通过对传统点光源单散射模型公式的解析简化,实现了各向异性光源散射效果的实时绘制.最终实时绘制出多种不同条件下真实感较强的雨雾场景.