基于注意力机制与多尺度融合学习的车辆重识别方法

在车辆重识别任务中,通常会出现相机角度变化和场景变化等情况,导致重识别准确率降低,为此提出了一种基于注意力与多尺度融合学习的车辆重识别方法,在多尺度下提取并融合浅层细节信息和深层语义信息。首先,构造一种深度学习网络,通过注意力机制学习车辆图像的显著性特征;然后,在多个尺度下对描述车辆身份的信息进行提取,将浅层表达的细节信息和深层表达的语义信息相融合构造空间特征;其次,对空间特征进行分解与重组,得到具有空间鲁棒性的局部特征,并与全局特征融合,构造车辆身份重识别特征;最后,利用该特征计算不同车辆图像间相似度,判断是否具有相同的身份。实验结果表明:在VeRi-776数据集上测试得到的Rank-1指标达到了94.0%,mAP指标达到了72.2%,表明该方法在相机角度变化、场景变化等情况下可以有效提高车辆重识别的准确率。     

注意力机制的SAR图像车辆目标检测网络

在SAR图像车辆目标检测过程中,车辆轮廓定位不仅能够提供车辆位置信息,而且还能够为车辆状态分析提供依据,是SAR图像理解的关键步骤。但SAR图像中乘性斑点噪声会对轮廓定位造成干扰,增加车辆目标检测的难度。针对这一问题,提出了一种注意力机制的SAR图像像素级车辆目标检测网络。该网络由目标筛选、目标定位和轮廓细化三个模块构成。目标筛选在一个轻量级的特征提取网络中采用通道注意力和自注意力机制,在抑制噪声影响的同时对包含目标图像进行快速筛选,并提供稳定的定位热力图;目标定位利用掩码交叉注意力机制根据定位热力图优化粗尺度特征细化目标定位,并融入细尺度信息改善目标轮廓细节;轮廓细化通过轮廓点筛选消除上采样及噪声带来的轮廓不确定点获取准确的轮廓像素点置信度。对MSTAR数据集进行车辆像素级标注,建立SAR图像车辆数据集及大场景图像数据集用于网络测试。实验结果表明,该网络具有良好的像素级检测性能,可实现大场景SAR图像中车辆目标的快速精确检测。     

基于深度学习的电网监控视频中工作人员检测与识别

针对电网监控视频场景多样,电网工作人员姿态变化严重影响工作人员识别精度的问题,提出了一种基于深度学习的电网监控视频中工作人员检测与识别算法.该算法使用Res Net50网络提取行人特征,Faster-Rcnn检测方法快速、精确地检测出电网中的工作人员,识别网络对检测出的工作人员进行身份确认,并使用各种组合损失来训练检测与识别网络.在电网监控视频数据集上的测试结果表明,所提出的方法具有更高的检测和识别精度,且对遮挡及低光照图片具有较好的鲁棒性.     

基于旋转损失函数RCIoU的SAR图像舰船目标检测方法

提出一种合成孔径雷达(synthetic aperture radar,SAR)图像旋转舰船检测方法,以提高SAR图像中旋转舰船的检测精度.从先验框设计和边界框回归公式对YOLOv4-CSP目标检测网络进行改进,加入旋转角度使其适用于基于旋转框的检测场景;提出一种基于旋转边界框外接圆和交并比的损失函数,该函数不仅考虑预...     

基于大边距度量学习的车辆再识别方法

在目前的车辆再识别方法中,车辆在拍摄过程中的多视角会导致特征嵌入空间中决策边界附近样本较难区分. 针对该问题,提出通过最大化边界距离提升车辆再识别准确率. 在特征表示阶段,设计了大边界损失度量函数,可以有效处理相似车辆的混淆问题;采用入侵叛逃采样策略,可以在训练样本中找出更容易混淆的难样本以更有针对性地训练网络,并加快网络的训练速度. 在车辆检索阶段,提出基于核函数的重排序方法,可以提高车辆再识别的准确率. 在3个公共数据集上的实验结果显示,车辆再识别的准确率得到提高,同时训练和推理效率得到改善. 理论分析和实验表明,大边距度量学习通过挖掘决策边界的难样本,可以有效解决车辆再识别中的多视角问题.     

基于Transformer的低质场景字符检测算法

为了提升低质场景文本图像的文字检测和识别性能,提出一种基于Transformer的字符级场景文本检测算法。依据场景文本行中的字符顺序,设计基于Transformer的编码-解码结构,能够输出每个字符检测框的坐标以及排序预测。根据匈牙利算法的思想,设计了基于字符检测框坐标及排序损失的损失函数,以提高匹配检测结果的准确性。在3个字符级标注的场景文本数据集上的场景字符检测、场景字符识别的相关实验结果表明,所提算法能够取得较好的性能,在多个评价指标上均优于对比算法。     

一种基于场景合成和锚点约束的SAR目标检测网络

随着深度学习方法在计算机视觉领域的崛起,如何将其应用于具有全天时、全天候等优点的SAR图像也成为一大研究重点.相较于传统图像,SAR图像由于其难判读、应用人群较少等原因难以获得大量标注数据.本文提出一种基于场景合成和锚点约束的SAR图标检测方法.通过区域生长算法和阈值法对SAR车辆目标及其阴影进行分割,然后随机嵌入SAR复杂场景中的合理区域来合成目标检测数据集.针对SAR车辆目标的几何特性、图像分辨率参数,对Faster-RCNN中的锚点大小进行约束,减少不符合SAR车辆目标检测框尺寸的候选框,大量约简冗余计算,提升训练、测试效率及精度.     

基于改进YOLOv5s的桥梁螺栓缺陷识别方法

针对现有算法在检测桥梁螺栓缺陷时因螺栓背景复杂和尺寸较小而导致的特征提取不充分、目标定位不精确问题,提出了一种基于改进YOLOv5s的桥梁螺栓缺陷识别方法。该方法在骨干网络中引入注意力机制以提升模型对螺栓特征的提取能力并加深对螺栓全局特征的关注度;优化空间金字塔池化结构以减少螺栓特征信息流失;采用MPDIoU作为边界框回归损失函数,提高螺栓边界框的回归精度;将YOLO检测头解耦以消除目标检测中分类任务和回归任务共享检测头对边界框位置回归的负面影响。在螺栓锈蚀、螺栓松动、螺栓脱落和螺母脱落4类典型缺陷螺栓以及正常螺栓的3810张自制螺栓图像数据集上进行训练和测试,实验结果表明：本文算法对螺栓缺陷的检测精度达到90.8%,相较于YOLOv5s提升了3%,均值平均精度达到92.6%,相较于YOLOv5s提升了4.3%,可以应用于桥梁螺栓的缺陷智能识别。     

基于YOLOv5s和Android部署的电气设备识别

针对变电站多种电气设备实时检测的需求,提出了一种基于改进YOLOv5s的电气设备识别方法,并设计基于Android部署的电气设备识别APP,以便对电气设备进行识别与学习。以电力变压器、绝缘子串等6种常见变电站电气设备为例构建图像数据集。数据集进行图像预处理后对YOLOv5s算法进行改进。通过引入C2f模块提高小目标检测精度,采用Soft-NMS提高检测框筛选能力,减少漏检和误检的情况,使用改进后的算法对数据集进行模型训练。将训练好的识别网络模型通过TensorFlow Lite框架进行模型部署,设计电气设备识别APP。经验证,改进后的变电站电气设备识别网络模型mAP稳定在91.6%,与原模型相比提高了3.3百分点。部署后的APP具有设备识别和设备介绍等界面,使用移动端进行识别时每张图片识别时间都小于1 s,具有较快的识别速度和较高的识别精度,可以高效地实现变电站电气设备的实时检测与设备学习。     

基于特征细化的多标签学习无监督行人重识别

针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module, MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module, MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。     

聚焦难样本的区分尺度的文字检测方法

针对卷积神经网络中间特征层信息利用不充分,以及不区分尺度和难易样本的学习所导致的文字检测精度难以提高的问题,提出基于多路精细化特征融合的聚焦难样本的区分尺度的自然场景文字检测方法. 构建多路精细化的卷积神经网络融合层提取高分辨率特征图;按照文字标注矩形框的较长边的尺寸,将文字实例划分为3种尺度范围,并分布到不同的候选框提取网络中提取相应的候选框;设计聚焦损失函数对难样本进行重点学习以提高模型的表达能力并得到目标文字框. 实验表明,所提出的多路精细化特征提取方法在COCO-Text数据集上的文字召回率较高,聚焦难样本的区分尺度的文字检测方法在ICDAR2013、ICDAR2015标准数据集上的检测精度分别为0.89、0.83,与CTPN、RRPN等方法相比,在多尺度多方向的自然场景图像中具有更强的鲁棒性.     

基于改进YOLOv3的复杂场景车辆分类与跟踪

针对天气条件和车辆间相互遮挡对车辆分类与跟踪准确性和稳定性的影响,提出一种基于改进YOLOv3与匹配跟踪的混合模型。改进的YOLOv3网络参照密集连接卷积网络的设计思想,将网络中的残差层替换为密集卷积块并改变网络的设计结构,利用Softmax分类器将密集卷积块与卷积层中融合的特征进行分类。根据单帧图像的检测结果,设计目标匹配函数解决视频序列中车辆的跟踪问题。在KITTI数据集的测试中,改进算法的平均准确率为93.01%,帧率达到48.98帧/s,在自建的数据集中平均识别率为95.79%。试验结果表明,本研究方法在复杂场景中能够有效的区分车辆种类且准确性更高,车辆跟踪的算法具有较高准确性和鲁棒性。     

短边顶点回归网络:新型自然场景文本检测器

近年来许多基于通用目标检测框架的文本检测方法相继被提出,这些方法往往是直接预测文本的整个边界框,受网络感受野的限制而难以有效检测长文本。为改进长文本难以有效检测的问题,提出了基于短边顶点回归网络的文本检测方法。该方法将文本区域划分为3类区域,即两条短边附近的区域及中间区域,采用分离再组合的方式检测文本,不再直接预测文本的整个边界框。首先,在一个融合多层特征的残差网络上预测分割3类文本区域,同时还将在每个短边区域的像素点处预测与之邻近的一条短边的两个顶点。然后,在后处理过程中,利用文本中间区域与短边区域相邻的关系将文本两类短边区域进行组合,两类短边区域预测的短边顶点将随之结合,便能产生完整精确的文本检测结果。在一个长文本检测数据集和公开的MSRA-TD 500,ICDAR 2015及ICDAR 2013自然场景文本检测数据集上进行测试比较,该方法的精度与速度超过目前绝大部分方法。实验结果表明,该方法在文本检测,尤其是长文本检测,具有一定的优越性。     

车辆颜色和型号识别算法研究与应用

针对目前基于机器学习的车辆颜色和型号识别方法的识别准确率低问题, 提出基于卷积神经网络的车辆颜色和型号识别方法。该方法使用Darknet网络中YOLOv3(You Only LookOnce Version 3)算法对车辆图片的车脸进行检测与定位, 再对车脸区域使用车辆颜色和型号识别算法同时识别车辆颜色和型号, 这是对车辆多属性同时识别的方法, 不同于车辆单一属性识别的方法。在公开车辆数据集(Peking University Vehicle Datasets, PKU-VD)上进行实验, 实验结果表明, 车辆颜色和型号同时识别准确率为93.75%, 车辆颜色单一属性识别准确率为94.98%, 车辆型号单一属性识别准确率98.38%, 明显优于基于机器学习的车辆属性识别算法, 从而验证该算法是可行且有效的。最后将车辆颜色和型号识别技术应用在智能停车场收费系统中。     

基于残差单发多框检测器模型的交通标志检测与识别

针对现有目标检测方法仅适用于大尺寸、少量特定种类交通标志的检测,且对复杂交通场景图像检测效果不佳的问题,以抗退化性能较强的ResNet101为基础网络,增加若干卷积层构建残差单发多框检测器（SSD）模型,对高分辨率的交通图像进行多尺度分块检测。为了加快检测速度,采取由粗到精的策略,省略对纯背景图像块的预测. 利用中等尺度图像块的初检结果缩小目标范围;对目标范围内的其他图像块进行检测;将所有图像块结果映射回原图像,并结合非极大值抑制实现精准识别。实验结果表明,该模型在公开的交通标志数据集Tsinghua-Tencent 100K上取得了94%的总体准确率和95%的总体召回率,对多分辨率图像中不同大小和形态的交通标志都具有良好的检测能力,鲁棒性较强。     

基于深度卷积神经网络的车型识别方法

针对现有车辆车型视觉识别技术中的检测精度不高、难以适应天气环境变化、难以从视频图像中准确提取出用于识别的车辆图像、难以对车辆车型子类进行识别分类、难以兼顾识别精度和检测效率等不足,将深度卷积神经网络引入车辆目标定位、识别和分类（子类）问题中.利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从道路复杂背景中提取出感兴趣区域;利用softmax分类器训练特征实现车型识别;为了优化softmax在深度卷积神经网络分类过程中出现的类内间距大的问题,引入中心损失函数对softmax损失函数进行优化,提高类间分散性与类内紧密性.在BIT-Vehicle车型数据集中的实验结果显示,提出方法的平均精度为89.67%,检测和识别时间为159 ms;与传统的分类方法相比,识别精度提高约20%,效率提高10倍以上,检测鲁棒性有明显提升;与未改进前的深度卷积神经网络相比,检测精度提高0.6%,速度提高0.29倍.     

Algorithm for foggy-image pedestrian and vehicle detection

In order to improve the accuracy of the foggy-image pedestrian and vehicle detection, a novel and practical Foggy-image pedestrian and vehicle detection network (FPVDNet) based on the Faster R-CNN is proposed. First, a foggy-density discriminating module (FDM) is proposed to influence the density of the foggy images. In this way, the prediction from the FDM could determine the subsequent operations for different densities of the fog (No-fog, Light fog, and Dense fog). Then, the squeeze and excitation module (SE Module) is designed to use the attention mechanism to improve the feature extraction capability of the network. Meanwhile, the method of the deformable convolution network is applied to add offsets and learn the offsets from target tasks to enhance the transformation modeling capacity of CNNs. Finally, for lack of the annotated fog image dataset, it is necessary to generate a simulated fog image training dataset through the atmospheric scattering model. The simulated foggy image inherits the annotation of the clear image and increases the information on the fog density. Experiments by the proposed FPVDNet are carried out on the 1, 500 real-fog images and 500 real-clear images, with experimental results showing that, compared with the original Faster R-CNN, the mean average detection accuracies are improved 2%~4% by using the FPVDNet.     

自适应权值卷积特征的鲁棒目标跟踪算法

针对传统基于固定权值卷积特征的深度学习跟踪算法在部分视频跟踪失败的问题,提出一种新颖的基于响应图和熵函数的评估各卷积神经网络层跟踪性能的方法. 该方法能根据评估结果自动调整各层的权值系数;同时引入边界框检测机制,当跟踪响应最大值小于给定阈值时,采用滑动窗口采样一定数量的边界框,并对边界框进行评估,生成初始建议边界框;最后在初始建议边界框的基础上进行相关滤波跟踪,并给出模型更新策略。 将文中算法与其他9种算法在OTB-2013视频数据库上进行跟踪仿真,实验结果表明,所提算法具有较高的中心点距离准确率和跟踪成功覆盖率。     

基于姿态表示的航空影像旋转目标检测网络

由于航空影像复杂多变的视角, 目标呈现出拥挤、聚集及旋转等特点, 传统目标检测中的水平边框难以契合地表示目标的几何轮廓及位置信息。本文提出了单阶段基于姿态表示的旋转目标检测网络。该网络将不同旋转角目标表示成不同姿态, 通过检测目标的中心位置及回归4个顶点相对坐标来实现旋转目标的检测。同时使用了自适应特征金字塔网络, 利用可学习权重自动从多尺度特征中选择更具判别性的特征。针对航空影像高分辨率的特点, 提出选择性采样策略以提高网络训练效率和缓解网络正负样本不平衡问题。本方法在DOTA遥感数据集旋转目标检测任务上的平均精度(mean Average Precision, mAP)达到74.9%, 超过了现有单阶段甚至部分双阶段的方法。定性与定量的对比实验表明, 基于姿态表示的旋转目标检测网络具有设计简单、检测性能更高的优势。