基于Fast R-CNN的车辆目标检测

目的 在传统车辆目标检测问题中,需要针对不同图像场景选择适合的特征。为此提出一种基于快速区域卷积神经网络（Fast R-CNN）的场景图像车辆目标发现方法,避免传统车辆目标检测问题中需要设计手工特征的问题。方法 该方法基于深度学习卷积神经网络思想。首先使用待检测车辆图像定义视觉任务。利用选择性搜索算法获得样本图像的候选区域,将候选区域坐标与视觉任务示例图像一起输入网络学习。示例图像经过深度卷积神经网络中的卷积层,池化层计算,最终得到深度卷积特征。在输入时没有规定示例图像的规格,此时得到的卷积特征规格不定。然后,基于Fast R-CNN网络结构,通过感兴趣区域池化层规格化特征,最后将特征输入不同的全连接分支,并行回归计算特征分类,以及检测框坐标值。经过多次迭代训练,最后得到与指定视觉任务强相关的目标检测模型,具有训练好的权重参数。在新的场景图像中,可以通过该目标检测模型检测给定类型的车辆目标。结果 首先确定视觉任务包含公交车,小汽车两类,背景场景是城市道路。利用与视觉任务强相关的测试样本集对目标检测模型进行测试,实验表明,当测试样本场景与视觉任务相关度越高,且样本中车辆目标的形变越小,得到的车辆目标检测模型对车辆目标检测具有良好的检测效果。结论 本文提出的车辆目标检测方法,利用卷积神经网络提取卷积特征代替传统手工特征提取过程,通过Fast R-CNN对由示例图像组成定义的视觉任务训练得到了效果良好的车辆目标检测模型。该模型可以对与视觉任务强相关新场景图像进行效果良好的车辆目标检测。本文结合深度学习卷积神经网络思想,利用卷积特征替代传统手工特征,避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力。基于Fast R-CNN网络,最终通过多次迭代训练得到车辆检测模型。该检测模型对本文规定的视觉任务有良好的检测效果。本文为解决车辆目标检测问题提供了更加泛化和简洁的解决思路。     

多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

结合人体检测和多任务学习的少数民族服装识别

目的 少数民族服装色彩及样式种类繁多等因素导致少数民族服装图像识别率较低。以云南少数民族服装为例,提出一种结合人体检测和多任务学习的少数民族服装识别方法。方法 首先通过k-poselets对输入的待识别图像和少数民族服装图像集中的训练图像进行人体整体和局部检测以及关键点的预测;其次,根据检测结果,从待识别图像和训练图像中分别提取颜色直方图、HOG （histogram of oriented gradient）、LBP（local binary pattern）、SIFT（scale invariant feature transform）以及边缘算子5种底层特征;然后,将自定义的少数民族服装语义属性与提取的底层特征进行匹配,采用多任务学习训练分类器模型,以学习少数民族服装的不同风格;最后实现少数民族服装图像的识别并输出识别结果。另外,由于目前缺少大型的少数民族服装数据集,本文构建了一个云南少数民族服装图像集。结果 在构建的云南少数民族服装图像集上验证了本文方法,识别精度达到82.5%88.4%,并与单任务学习方法进行比较,本文方法识别率更高。结论 针对现有的少数民族服装识别率较低的问题,提出一种结合人体检测和多任务学习的少数民族服装识别方法,提高了少数民族服装图像识别的准确率和效率,同时能较好地满足实际应用需求。     

自适应多任务学习的自动艺术分析

目的 艺术品数字化为从计算机视觉角度对艺术品研究提供了巨大机会。为更好地为数字艺术品博物馆提供艺术作品分类和艺术检索功能,使人们深入理解艺术品内涵,弘扬传统文化,促进文化遗产保护,本文将多任务学习引入自动艺术分析任务,基于贝叶斯理论提出一种原创性的自适应多任务学习方法。方法 基于层次贝叶斯理论利用各任务之间的相关性引入任务簇约束损失函数模型。依据贝叶斯建模方法,通过最大化不确定性的高斯似然构造多任务损失函数,最终构建了一种自适应多任务学习模型。这种自适应多任务学习模型能够很便利地扩展至任意同类学习任务,相比其他最新模型能够更好地提升学习的性能,取得更佳的分析效果。结果 本文方法解决了多任务学习中每个任务损失之间相对权重难以决策这一难题,能够自动决策损失函数的权重。为了评估本文方法的性能,在多模态艺术语义理解SemArt数据库上进行艺术作品分类以及跨模态艺术检索实验。艺术作品分类实验结果表明,本文方法相比于固定权重的多任务学习方法,在“时间范围”属性上提升了4.43%,同时本文方法的效果也优于自动确定损失权重的现有方法。跨模态艺术检索实验结果也表明,与使用“作者”属性的最新的基于知识图谱模型相比较,本文方法的改进幅度为9.91%,性能与分类的结果一致。结论 本文方法可以在多任务学习框架内自适应地学习每个任务的权重,与目前流行的方法相比能显著提高自动艺术分析任务的性能。     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

多特征融合的车辆阴影消除

目的 提出一种基于颜色特征和边缘特征相融合的算法,实现对复杂交通场景中车辆阴影的检测和消除。方法 首先,通过经典混合高斯背景建模方法建立背景模型,以帧差法获取运动目标前景。其次,针对复杂多变的交通道路场景,采用串行融合策略检测车辆阴影。对运动目标前景基于边缘特征检测阴影之后,再进行RGB颜色特征方法检测阴影,此过程中利用边缘差分、形态学处理等运算以达到更好的阴影消除效果。为提高算法效率,对前景区域进行阴影评估,从而判断是否有必要进行阴影检测和消除。结果 通过与统计参数法SP、统计非参数法SNP、两类判定性非模型法DNM1、DNM2等算法的对比,本文算法的阴影检测率和阴影识别率分别有大约10%的提升。实验结果表明,该算法能够有效消除车辆阴影,具有良好的准确性和鲁棒性。结论 本文算法结合颜色和边缘两种特征,弥补基于单个特征方法的单一性,降低由于阴影区域边缘复杂、车辆颜色与阴影颜色相近等原因造成的阴影误检率,阴影消除效果良好。     

基于级联多任务深度学习的卡口识别引擎研究

针对在将卡口非结构化视频图像数据转化为智能结构化信息的过程中存在环境的复杂性、需求的多样性、任务的关联性和识别的实时性等问题,提出了一种级联多任务深度学习网络的卡口识别引擎方法,其通过充分利用分割、检测、识别等任务之间的相互联系实现了高精度的、高效的、同步实时的卡口车辆多种基本信息的识别(车型、品牌、车系、车身颜色以及车牌等识别任务)。首先,利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从卡口道路复杂背景中提取出感兴趣区域(包括多车辆对象);然后,利用多任务深度学习网络对提取出来的车辆对象实现多层次的多任务识别。实验结果表明,提出的方法在识别精度和效率上都明显优于传统计算机视觉方法和现有的基于深度学习的识别引擎技术,该方法对车型、品牌、车系及车牌的识别与检测精度均达到98%以上,检测效率提升了1.6倍。     

结合面料属性和触觉感测的织物识别

目的 织物识别是提高纺织业竞争力的重要计算机辅助技术。与通用图像相比,织物图像通常只在纹理和形状特征方面呈现细微差异。目前常见的织物识别算法仅考虑图像特征,未结合织物面料的视觉和触觉特征,不能反映出织物本身面料属性,导致识别准确率较低。本文以常见服用织物为例,针对目前常见织物面料识别准确率不高的问题,提出一种结合面料属性和触觉感测的织物图像识别算法。方法 针对输入的织物样本,建立织物图像的几何测量方法,量化分析影响织物面料属性的3个关键因素,即恢复性、拉伸性和弯曲性,并进行面料属性的参数化建模,得到面料属性的几何度量。通过传感器设置对织物进行触感测量,采用卷积神经网络（convolutional neural network,CNN）提取测量后的织物触感图像的底层特征。将面料属性几何度量与提取的底层特征进行匹配,通过CNN训练得到织物面料识别模型,学习织物面料属性的不同参数,实现织物面料的识别并输出识别结果。结果 在构建的常见服用织物样本上验证了本文方法,与同任务的方法比较,本文方法识别率更高,平均识别率达到89.5%。结论 提出了一种基于面料属性和触觉感测的织物图像识别方法,能准确识别常用的服装织物面料,有效提高了织物识别的准确率,能较好地满足实际应用需求。     

高速公路场景的车路视觉协同行车安全预警算法

目的 基于视觉的车辆行驶安全性预警分析技术是目前车辆辅助驾驶的一个重要研究方向,对前方多车道快速行驶的车辆进行精准的跟踪定位并建立稳定可靠的安全距离预警模型是当前研究难点。为此,提出面向高速公路场景的车路视觉协同行车安全预警算法。方法 首先提出一种深度卷积神经网络SF_YOLOv4（single feature you look only once v4）对前方车辆进行精准的检测跟踪;然后提出一种安全距离模型对车辆刹车距离进行计算,并根据单目视觉原理计算车辆间距离;最后提出多车道预警模型对自车行驶过程的安全性进行分析,并对司机给予相应安全提示。结果 实验结果表明,提出的SF_YOLOv4算法对车辆检测的准确率为93.55%,检测速度（25帧/s）领先对比算法,有效降低了算法的时间和空间复杂度;提出的安全距离模型计算的不同类型车辆的刹车距离误差小于0.1 m,与交通法建议的距离相比,本文方法计算的安全距离精确度明显提升;提出的多车道安全预警模型与马自达6（ATENZA）自带的前方碰撞系统相比,能对相邻车道车辆进行预警,并提前0.7 s对前方变道车辆发出预警。结论 提出的多车道预警模型充分考虑高速公路上相邻车道中的车辆位置变化发生的碰撞事故;本文方法与传统方法相比,具有较高实用性,其预警效果更加客观,预警范围更广,可以有效提高高速公路上的行车安全。     

深度神经网络在多场景车辆属性识别中的研究

单一的车辆属性识别已无法满足现有的交通系统,为了提高在实际监控中车辆检测定位的可靠性,利用深度神经网络的思想建立了一种能够在近景监控场景和交通监控场景两种不同场景下识别车辆属性的模型,主要包括车辆类型和颜色两种属性类别。以YOLOv3神经网络为基础,对其进行改进,降低网络深度的同时保证准确率,将车辆类型和颜色属性进行分级训练,提高模型检测速度,此外,创建了AttributesCars车辆属性数据集完成数据准备工作。实验结果表明,所提方法在平均准确率为95.63%的前提下可以满足视频的实时性要求,并且在两种不同场景下均取得了不错的成绩,适用于多场景车辆属性识别。     

Geometric invariant features for the detection and analysis of vehicle

The intelligent traffic management system (ITS) is one of the active research areas. Vehicle detection is a major role in traffic analysis. In the paper, analysis of detecting vehicles is proposed based on the features posed by the vehicle. The foreground pixels from image are extracted by histogram based foreground segmentation. After segmenting, Hu-Moments and Eigen values features are extracted and normalized. The classifiers are trained with the extracted Hu-Moments and Eigen values. The experiments are conducted on different benchmark datasets, and results are analysed considering the overall classification accuracy. Results of the algorithm are satisfactory and acceptable in real time.

     

基于多属性层次识别的车辆视频 检索系统设计研究

交通监控视频中车辆的有效检测和实时跟踪,是车辆行为分析和识别的前提,也是智能交通系统（ITS） 的核心内容和关键技术。本文在深入分析当前车辆属性识别方法以及车辆视频检索关键技术的基础上,结合交通监控 视频的自身特点,从应用的角度出发,设计一款融合车牌、车身颜色、车型等多个车辆外观属性进行层次识别的机动车辆 检索系统。该系统可为用户提供多种查询方式,从而实现交通监控视频中相关机动车辆的准确检索。     

分层式宽度模型的实时车型识别算法

车辆车型识别技术在智能交通系统中至关重要,现有的车辆车型识别技术难以兼顾识别精度和识别速度。针对高速公路环境下的车型识别问题,提出了浅层特征层与宽度特征层相结合的分层式宽度模型实时进行车型识别。首先利用颜色空间转换和多通道HOG算法相结合,减少光照环境的影响,同时实现对车辆图像的特征提取,结合PCA降维技术,降低计算复杂度;然后对图像特征进行稀疏表示和非线性映射,减少图像特征之间的相关性;最后用岭回归学习算法对提取的样本特征进行训练,求出样本特征与样本标签之间的权重系数,实现对车辆车型的识别。在BIT-Vehicle车型数据库的实验结果表明,本文所提算法的识别精度为96.69%,识别速度高达70.3帧/s。本文算法在提高车型识别精度的同时保证了实时性,在识别精度和速度方面优于其他算法。     

前背景骨架区域随机点对策略驱动下的车标识别方法

目的 现有的车标识别算法均为各种经典的图像特征算子结合不同的分类器组合而成,均未分析车标图像的结构特点。综合考虑车标图像的灰度特征和结构特征,提出了一种前背景骨架区域随机点对策略驱动下的车标识别方法。方法 本文算法将标准车标图像分为前景区域和背景区域,分别提取前、背景的骨架区域,在其中进行随机取点,形成点对,通过进行点对的有效性判断,提取能表示车标的点对特征。点对特征表示两点周围局部区域的相似关系,反映了实际车标成像过程中车标图案部分与背景部分的灰度明暗关系。结果 在卡口系统截取的19 044张车标图像上进行实验,结果表明,与其他仅基于灰度特征的识别方法相比,本文提出的点对特征识别方法具有更好的识别效果,识别率达到了95.7%。在弱光照条件下,本文算法的识别算法效果同样优于其他仅基于灰度特征的识别方法,识别率达到了87.2%。结论 本文提出的前背景骨架区域随机点对策略驱动下的车标识别方法,结合了车标图像的灰度特征和结构特征,在进行车标的描述上具有独特性和排他性,有效地提高了车标的识别率,尤其是在弱光照条件下,本文方法具有更强的鲁棒性。     

特征增强策略驱动的车标识别

目的 小样本情况下的车标识别在实际智能交通系统中具有十分重要的应用价值。针对从实际监控系统中获取的车标图像低分辨率、低质量的特点,考虑如何从车标结构相似性、局部显著特征方面来对车标的整体特征进行增强,提出一种特征增强策略驱动下的车标识别方法（vehicle logo recognition method based on feature enhancement,FE-VLR）。方法 提取车标图像的自对称相似特征,构建图像金字塔,在每层金字塔下提取车标的整体特征和局部显著特征,其中局部显著区域通过基于邻域块相关度的显著区域检测来获取,最后结合CRC （collaborative representation based classification）分类器对车标进行分类识别。结果 在公开车标数据集HFUT-VL （Vehicle Logo Dataset from Hefei University of Technology）和XMU （Xiamen University Vehicle Logo Dataset）上对算法效果进行评估,实验结果表明,在小样本情况下,本文方法优于其他一些传统的车标识别方法,且与一些基于深度学习模型的方法相比,其识别率也有所提升。在HFUT-VL数据集上,当训练样本数为5时,识别率达到97.78%;当训练样本数为20时,识别率为99.1%。在更为复杂的XMU数据集上,本文方法表现出了更好的有效性和更强的鲁棒性,当训练样本在15幅及以下时,本文方法与具有较好表现的OE-POEM （overlapping enhanced patterns of oriented edge magnitudes）算法相比至少提升了7.2%。结论 本文提出的基于特征增强策略的车标识别方法,通过融合自对称相似特征、局部显著特征和车标整体特征来增强特征的表达,提高了对实际道路中的低质量、低分辨率车标图像的识别能力,更能满足实际应用中对车标识别的需求。     

利用局部特征的子空间车辆识别算法

利用改进的主成分分析（Principal Component Analysis,PCA）方法,通过研究不同的车辆特征（如全局特征、各种局部特征）对静态图像车辆识别效果的影响,提出了一种新的静态图像车辆识别算法。该算法可有效降低光照和背景噪声对识别的影响,实现对存在部分遮挡的车辆检测。实验结果表明,该算法具有良好的鲁棒性和车辆识别率。     

利用七宫格的遮挡车辆凹性检测与分割

目的:交通场景中车辆间的距离过近或相互遮挡容易造成识别上的粘连,增加了准确检测目标车辆的难度,因此需要建立有效、可靠的遮挡车辆分割机制。方法:首先在图像分块的基础上确定出车辆区域,根据车辆区域的长宽比和占空比进行多车判断;然后提出了一种基于“七宫格”的凹陷区域检测算法,用以找出车辆间的凹陷区域,通过匹配对应的凹陷区域得到遮挡区域;最后,将遮挡区域内检测出的车辆边缘轮廓作为分割曲线,从而分割遮挡车辆。结果:实验结果表明,在满足实时性的前提下算法具有较高的识别率,且能够按车辆的边缘轮廓准确分割多个相互遮挡的车辆。与其他算法相比,该算法提高了分割成功率和分割精度,查全率和查准率均可达到90%。结论:提出了一种新的遮挡车辆分割方法,有效解决了遮挡车辆不宜分割和分割不准确的问题,具有较强的适应性。     

结合置信度加权融合与视觉注意机制的前景检测

目的 在视频前景检测中,像素级的背景减除法检测结果轮廓清晰,灵活性高。然而,基于样本一致性的像素级分类方法不能有效利用像素信息,遇到颜色伪装和出现静止前景等复杂情形时无法有效检测前景。为解决这一问题,提出一种基于置信度加权融合和视觉注意的前景检测方法。方法 通过加权融合样本的颜色置信度和纹理置信度之和判断前景,进行自适应更新样本的置信度和权值;通过划分子序列结合颜色显著性和纹理差异度构建视觉注意机制判定静止前景目标,使用更新置信度最小样本的策略保持背景模型的动态更新。结果 本文方法在CDW2014（change detection workshops 2014）和SBM-RGBD（scene background modeling red-green-blue-depth）数据集上进行检测,相较于5种主流算法,本文算法的查全率和精度相较于次好算法分别提高2.66%和1.48%,综合性能最优。结论 本文算法提高了在颜色伪装和存在静止前景等复杂情形下前景检测的精度和召回率,在公开数据集上得到更好的检测效果。可将其应用于存在颜色伪装和静止前景等复杂情形的视频监控中。     

基于密集连接卷积神经网络的道路车辆检测与识别算法

针对现有道路车辆检测识别算法中存在的检测精度不高、实时性差以及小目标车辆漏检等问题,提出一种基于密集连接卷积神经网络的道路车辆检测与识别算法.首先,基于YOLOv4网络框架,通过采用密集连接的深度残差网络结构,加强特征提取阶段的特征复用,实现对浅层复杂度较低的特征的利用;然后,在多尺度特征融合网络引入跳跃连接结构,强化...