多特征融合的车牌定位算法

针对使用单一特征在复杂场景下车牌定位效果不佳的问题,提出了一种融合了边缘、颜色、纹理等多种特征的车牌定位算法。该算法将定位过程分为假设生成和假设检验两个阶段:在假设生成阶段,使用特征点检测、形态学作为主要技术手段,利用车牌的字符纹理和颜色特征生成候选车牌;在假设检验阶段,使用灰度投影作为技术手段,利用车牌结构的固有特征验证候选并实现定位。实验结果表明:在包含实际场景的车牌图像库中,定位成功率可以达到96.6%,精确度可以达到95.4%,验证了多特征融合算法的合理性和有效性。     

金字塔频率特征融合目标检测网络

针对深度学习网络在特征提取过程中运用上采样操作而致使细节纹理等高频特征缺失的问题,提出一种金字塔频率特征融合目标检测网络.网络由3个深度学习金字塔网络构成,输入图像经初级金字塔提取深度特征后,分别通过高频、低频增强金字塔形成不同的频率特征,利用特征融合来凸显深度学习网络在信息逐层传递过程中对细节信息的保护能力,提高目标...     

结合跨层特征融合与级联检测器的防震锤缺陷检测

目的 防震锤可以减少输电线路的周期性震动以降低线路的疲劳损害,定期对防震锤进行巡检非常必要。针对目前无人机巡检输电线路所得航拍图像背景复杂,而种类较多、形状各异以及特性不一的防震锤在航拍图像中占据像素面积很小,导致防震锤检测过程中出现的检测精度低、无法确定缺陷类型等问题,提出了一种结合跨层特征融合和级联检测器的防震锤缺陷检测方法。方法 本文使用无人机对防震锤部件巡检的航拍图像进行数据扩充建立防震锤缺陷检测数据集,并划分了4种缺陷类型,为研究提供了数据基础。首先,以VGG16（Visual GeometryGroup 16-layer network）为基础对1、3、5层特征进行特征融合得到特征图,平衡了语义信息和空间特征;其次,使用3个级联检测器对目标进行分类定位,减小了交并比（intersection over union,IoU）阈值对网络性能的影响;最后,将非极大值抑制法替换为Soft-NMS（soft non-maximum suppression）算法,去除边界框保留了最佳结果。结果 在自建数据集上验证网络模型对4种防震锤缺陷类型的检测效果,与现有基于深度学习的其他6种先进算法相比,本文算法的平均准确率比Fast R-CNN（fast region-based convolutional network）、Faster R-CNN、YOLOv4（you only look onceversion 4）分别提高了13.5%、3.4%、5.8%,比SSD300（single shot MultiBox detector 300）、YOLOv3、RetinaNet分别提高了9.5%、8.5%、8%。与Faster R-CNN相比,本文方法的误检率降低了5.61%,漏检率降低了3.01%。结论 本文提出的防震锤缺陷检测方法对不同背景、不同光照、不同角度、不同尺度、不同种类和不同缺陷种类的防震锤均有较好的检测结果,不但可以更好地提取防震锤的特征,而且还能提高分类和位置预测网络的定位精度,从而有效提高了防震锤缺陷检测算法的准确率,在满足防震锤巡检工作实际检测要求的同时还具有较好的鲁棒性和有效性。     

基于统计特征的启发式车牌定位新方法

在研究现有车牌定位算法的基础上,提出了一种基于统计特征的启发式车牌定位算法。该算法利用图像金字塔结构将图像分级处理,将车牌区域字符密集特征量化为跳变特征,利用动态规划算法计算统计矩阵,根据事先实验得到的车牌跳变特征范围筛选统计矩阵得到候选矩形框。根据颜色特征,车牌尺寸特征,字符个数特征等筛选候选区域得到最终定位结果。大量实验表明,该方法能精确,高效地定位车牌并且对环境的适应能力比较好。     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

基于特征显著性的多特征融合车牌定位算法

在分析已有车牌定位技术以及目标检测共有特性的基础上,提出了基于视觉显著性的特征选择方法.算法依据先验样本的统计学习,利用导致最小错误概率判决方法,得到目标的特征显著性分析.在车牌定位过程中,根据得到的特征显著性序列,依次赋予特征不同的权值,然后采用融合的方式得到所需要的车牌区域.实验结果表明,该算法提高了使用单一特征进行车牌定位的准确率.     

基于自适应特征融合的场景文本检测

基于深度学习的自然场景文本检测发展快速,其中基于分割的文本检测算法因其对多方向和弯曲文本检测效果好而备受关注。目前大多数基于分割的文本检测方法为了更加充分利用高层语义特征和底层细粒度特征,特征提取部分通常采用ResNet+特征金字塔（FPN）结构,特征融合部分多用concat或者add进行融合,但FPN存在的不同特征尺度不一致问题可能导致融合结果冲突,进而影响后续分割效果。因此,基于目前快速高效的DBnet网络,对其特征融合方式进行改进,提出了一种基于自适应特征融合的场景文本检测网络。在公开数据集Icdar2015和ICDAR 2017-MLT上的实验结果均表明：文本改进网络与经典的DBnet相比,准确率、召回率、F分数均有所提升,仅FPS稍有降低。     

雾霾条件下结合直接传输率图的车牌检测算法

为提高雾霾条件下的车牌检测精度,提出一种无锚车牌检测算法。该算法不对雾霾图像进行去雾处理,避免图像失真,将雾霾图及反映其深度信息的直接传输率图作为两个并行的特征提取源来丰富学习特征,增强网络的深度感知能力。设计基于特征金字塔网络FPN(feature pyramid networks)的并行FPN结构对两个特征提取源进行特征提取,处理网络多输入以及车牌多尺度变化的问题。提出融合空洞卷积和注意力机制的渐进融合结构,促进不同来源特征的协同表示和渐进融合。加入特征增强块降低空间特征损失,加强特征表达。实验结果表明,该算法能有效提高雾霾条件下的车牌检测精度。     

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型,现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中,由于新类别样本数量少,产生了许多无关的边界框,导致候选区域的准确率较低。为了解决这个问题,提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强,对新类别样本进行补充,扩大样本的覆盖范围,同时引入FPN网络进行多尺度特征提取,再对RPN网络进行改进,引入支持集图像分支,计算支持集图像特征与查询集图像特征的深度互相关性,得到注意力特征图,进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证,实验结果表明,该方法获得了更精准的候选框,进而提升了检测精度。     

复杂场景下基于热图的车牌检测

随着车牌识别的应用场景不断扩展,处理的图像复杂性也随之提高,车牌检测面临车牌定位困难、检测速度慢和精度低等挑战。为提高光照不均衡、透视变形、雨雾天气、低分辨率等复杂场景下车牌检测的准确率,提出一种基于车牌角点热图的检测网络LPHD-Net。不同于传统模板匹配和目标检测中矩形先验框的方式,该网络通过车牌角点热图和车牌边界向量场的方法对车牌进行检测。在中国城市停车数据集中进行训练和测试,使用目标检测任务中常用的平均精度和召回率对模型的整体性能进行评价。实验结果表明,LPHD-Net模型对多种复杂场境下的车牌检测精确率和速度分别达到99.2%和78 frame/s,较LMAFLPD模型提升1.15个百分点和14 frame/s。同时,其对场景中的多车牌检测也具有较好的检测效果。     

轻量型多尺度注意力融合的车牌检测算法

车牌识别技术在交通管理中发挥着重要作用,其中车牌检测环节对后续识别性能有重大影响。现有的车牌检测系统容易受到外部环境的干扰,在自然场景下的检测性能差。提出一种基于多尺度注意力融合的车牌检测网络模型,利用金字塔网络特征图和CBAM（Convolutional Block Attention Module）注意力结构,提高小目标的检测精度。同时该方法不仅能够准确地检测定位出自然场景下的车牌,还能精确地定位出车牌的4个角点,有利于后续的车牌识别应用。实验中采用数据增强方法对CCPD数据集进行扩增,有效缓解了复杂环境变化对车牌检测造成的影响,增强了模型鲁棒性。通过对模型进行训练和测试,获得了98.05%的平均精确率和98.71%的召回率,优于其他车牌检测方法,并且帧率达到64?frame/s,实时性高。     

Multi-Object Detection of Chinese License Plate in Complex Scenes

Multi-license plate detection in complex scenes is still a challenging task because of multiple vehicle license plates with different sizes and classes in the images having complex background. The edge features of high-density distribution and the high curvature features of stroke turning of Chinese character are important signs to distinguish Chinese license plate from other objects. To accurately detect multiple vehicle license plates with different sizes and classes in complex scenes, a multi-object detection of Chinese license plate method based on improved YOLOv3 network was proposed in this research. The improvements include replacing the residual block of the YOLOv3 backbone network with the Inception-ResNet-A block, imbedding the SPP block into the detection network, cutting the redundant Inception-ResNet-A block to suit for the multi-license plate detection task, and clustering the ground truth boxes of license plates to obtain a new set of anchor boxes. A Chinese vehicle license plate image dataset was built for training and testing the improved network, and the location and class of the license plates in each image were accurately labeled. The dataset has 62,153 pieces of images and 4 classes of China vehicle license plates, almost images have multiple license plates with different sizes. Experiments demonstrated that the multi-license plate detection method obtained 83.4% mAP, 98.88% precision, 98.17% recall, 98.52 F₁ score, 89.196 BFLOPS and 22 FPS on the test dataset, and whole performance was better than the other five compared networks including YOLOv3, SSD, Faster-RCNN, EfficientDet and RetinaNet.     

面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.     

结合深度特征迁移与融合的两阶段船牌定位算法

获取运河过往船只的身份信息具有重要意义,快速、准确地定位船牌是实现船只身份自动化识别的首要任务.为提升对小尺度船牌的检测性能,提出一种结合深度特征迁移与融合的两阶段船牌定位算法.首先在船只检测阶段,通过迁移学习构建船只检测模型,获取图片中船只区域的位置信息;然后在船牌定位阶段,提出基于特征融合策略的多尺度船牌定位网络,在上一阶段的基础上对船牌进行定位.在SLPLOC船牌定位数据集上的实验结果表明,相比其他算法,该算法能够有效地减少误差,提升精度值和召回率.     

车辆牌照检测关键算法研究

对车牌识别系统中的图像预处理和车牌定位等环节涉及到的关键技术、算法进行了分析、设计和改进,提出了一种简单高效的车牌检测算法。     

基于改进Faster R-CNN及YOLO的大角度车牌识别算法

随着大数据时代的到来,智慧城市等一系列概念的提出,人工智能开始在城市各个角落得到广泛应用。其中,车牌识别作为城市道路交通重要的一环,也取得了重大突破。基于深度学习的车牌识别一经提出,各类算法应用于车牌检测及识别上,对比于传统的车牌识别,大大提高了识别的速率和准确率。然而,在非限制条件下,如大角度车牌识别准确率仍有提升的空间。提出了一种改进的FasterR-CNN与YOLO的深度学习车牌识别算法,将对大角度下的车牌识别准确率达到了99.7%。由于是轻量型的框架,为后续的移动设备部署工作提供了便利。     

利用综合特征的车牌定位方法

车牌定位是车牌识别系统的关键技术之一.提出利用结构特征、纹理特征和颜色特征的车牌定位新方法.首先,利用顶帽变换抑制背景;其次,进行垂直边缘检测和形态滤波,通过结构特征进行车牌粗定位;再次,对候选区域的垂直投影应用一维小波分解滤噪,然后重构垂直投影,计算纹理统计量并构造纹理特征向量,应用BP神经网络识别车牌的字符纹理进行车牌的再定位;最后,对候选区域进行基于边缘颜色对的彩色边缘检测,根据其水平投影值进行车牌的精定位.对各种条件下拍摄的314幅含有车牌的车辆图像应用本算法,定位准确率达到98.7%.     

基于Faster-RCNN的车牌检测

车牌识别是智能交通中非常重要的应用,而车牌检测又是车牌识别的关键。针对现有的车牌识别系统在遇到复杂条件,例如暗光、遮挡、多车牌、能见度低等情况时,难以有效地定位车牌,提出了基于Faster-RCNN目标检测模型与ZF、VGG-16以及ResNet-1013种卷积神经网络分别结合的方法。由于车牌没有公开的数据库,在自己准备的12740张车牌图像上进行实验,结果显示基于Faster-RCNN与ResNet-101结合的模型的准确率达到了97.2%,高于其余两种结合模型,明显优于传统的车牌检测方法,并避免了复杂的预处理,具有较好的实用性。