融合停车线方向的端到端停车位检测网络

智能汽车自动泊车功能的基本要求之一是能够快速准确地检测出未被占用的停车位。针对这一问题,设计了一种融合停车线方向与全局特征的端到端可训练的停车位检测网络。首先提取出车位关键点的坐标以及关键点对应停车线的方向,并从图像全局特征中使用关键点的坐标提取出局部特征。将关键点信息、局部特征、全局特征使用交叉注意力机制融合,利用入口线鉴别器推断出关键点的停车位构成关系。根据关键点的停车位构成关系以及停车线方向,裁剪出停车位的区域图像并送入定制的车位占用分类网络进行分类,得到车位的占用信息。本文提出的方法在公共基准数据集PS2.0上进行了实验,其中该方法对矩形停车位的检测精度为99.65%,对倾斜停车位的检测精度为99.04%,在单块GPU上能够达到80 fps的检测速率。经验证,所提出的方法可以实时高精度的检测停车位位置、方向以及占用情况。     

基于多任务对齐的密集行人检测算法研究

行人检测是深度学习目标检测领域的重要分支，但密集场景中存在严重遮挡问题，给行人检测带来巨大挑战。为了缓解该问题，在 CenterNet多任务学习模型上提出目标检测和姿态关键点检测任务对齐方法，改进后的模型为Center_tood。首先提出分离模块：该模块将原始特征分离得到更加关注各个任务的特征；在此基础上提出任务对齐方法：通过设计对齐度量来约束损失，使模型在梯度上更大程度地向着多任务对齐的方向优化，同时利用一致性约束，使模型学习到不同任务之间的共性信息，从而对齐不同任务的特征。实验部分采用CrowdPose数据集训练和测试。本算法的目标检测AP值为743%，提高了115%；人体姿态关键点AP值为558%，提高了96%。实验结果验证了提出的多任务学习算法在密集场景行人检测上的有效性。     

基于光场 EPI 图像栈的 6D 位姿估计方法

光场相机单次拍摄可以同时记录光线的强度与方向信息,相较于RGB相机能够更好地揭示场景的三维结构和几何特征,在目标6D位姿估计领域具有独特优势。针对现有RGB位姿估计方法存在复杂场景下检测精度低、鲁棒性差的问题,本文首次提出了一种基于光场图像的端到端卷积神经网络目标位姿估计方法。该方法首先利用双路EPI编码模块实现高维光场数据的处理,通过重构出光场EPI图像栈和引入水平和垂直EPI卷积算子,提高对光场空间角度信息关联的建模能力,并由双分支孪生网络进行光场图像的浅层特征提取。其次,设计了带跳跃连接的特征聚合模块,对串联后的水平和垂直方向光场EPI浅层特征进行全局上下文聚合,使网络在逐像素关键点位置预测时有效结合全局和局部特征线索。针对光场数据不足问题,本文使用Lytro Illum光场相机采集真实场景,构建了一个丰富且场景复杂的光场位姿数据集——LF-6Dpose。在光场位姿数据集LF-6Dpose上的实验结果表明,该方法在ADD-S和2D Projection指标下平均位姿检测精度分别为57.61%和91.97%,超越了其他基于RGB的先进方法,能够更好地解决复杂场景下的目标6D位姿估计...     

基于自适应关键点融合的人员穿戴属性度量分析方法研究

大多数人员穿戴属性研究使用图像整体特征构建多分类问题,存在空间信息耦合和对穿戴款式扩展支持不好的问题。提出了一种基于自适应关键点融合的人员穿戴属性度量分析方法。该方法由特征提取网络和特征向量度量学习结构两部分组成,特征提取网络包含3部分模块:基于HRNet网络的行人关键点热力特征图模块、自适应关键点与图像特征融合模块、带注意力机制的残差网络特征映射模块。基于该网络的自适应机制实现头部、上衣、下装3个属性识别分支的特征向量的映射。针对每个属性识别分支穿戴的不同状态或款型,利用基于arcface的度量学习方法,实现穿戴属性识别。结果表明,提出的方法在精细标注的穿戴款式数据集上识别精度为94.2%。在某实际场景工装数据集上,仅通过训练集入库,工装穿戴识别精度达到86.6%。研究可为人员穿戴状态和款型分析提供参考。     

改进 KAPAO 的人体关键点检测

针对人体关键点检测存在检测精确度低的不足,在KAPAO(keypoints and pose as objects)网络的基础上进行改进。使用PoseTrans(pose transformation)进行数据增强,提高网络的泛化性;针对特征融合能力的不足,设计融合注意力机制的BiFPN(Bi-directional feature network)模块充分融合不同语义特征,提高网络对深层语义信息和浅层语义信息的融合能力;在网络输出阶段设计自适应扩张卷积模块,将不同扩张率的输出分支进行自适应融合,有效获得图像的全局信息;在网络的后处理部分设计SDR-NMS(soft DIOU relocation non-maximum suppression)替代传统的NMS,保留最优的关键点预测框。实验结果表明,网络的AP分数提高了4.8%,AP为68.6%,检测速度为19.1 ms。网络精确度和检测速度均具有较好的表现性。     

基于改进YOLOv5的密集场景行人检测方法研究

当前的研究中密集场景行人检测精度较低,为提高检测精度,提出一种基于YOLOv5网络的改进方法V-YOLO,采用加权双向特征金字塔网络(bi-directional feature pyramid network, BiFPN)改进原始网络中的路径聚合网络(path aggregation network, PANet),加强多尺度特征的融合能力,提高对行人目标的检测能力。为了保留更多的特征信息,提高主干网络的特征提取能力,添加残差结构VBlock;引入SKNet(select kernel networks)注意力机制,动态融合不同感受野的特征图,提高对不同行人特征的利用率。使用CrowdHuman数据集进行训练和测试,实验结果表明,所提出算法比原始网络的精确度、召回率和平均精度值分别提高1.8%、2.3%和2.6%,验证了所提出算法能有效的提高密集场景下行人目标检测的准确率。     

基于多尺度特征融合与混合注意力的云检测算法

针对传统云检测方法对特殊场景识别效果较差而造成的边缘信息丢失和薄云、碎云误判等问题，提出了一种基于多尺度特征融合与混合注意力的高精度云检测MSHA-DeepLab算法。首先，在原始DeepLabV3+算法的基础上引入注意力模块，提高重要特征权重，增强网络对局部特征的感受能力。其次，使用深度可分离卷积提取不同尺度的语义信息，减少网络参数量。最后，进行逐级上采样和特征融合，减少特征信息丢失。选择多种方法与改进算法对比，使用不同场景、不同波段组合的数据集进行测试。结果表明，改进后算法的精确率达到了86.376 9%,召回率达到了85.895 9%,特异性达到了96.915 6%,交并比达到了82.846 7%,精确度达到了94.600 8%,相比原始算法和其他方法有明显提高。验证了提出算法能在不同条件下实现高精度的云检测。     

融合自注意力与缺陷凸显的缺陷检测方法

针对无监督缺陷检测中重建网络在抑制异常重建的同时无法保留正常区域细节信息的问题,提出了一种融合自注意力 与缺陷凸显的缺陷检测方法。 首先,在重建网络中引入离散小波变换(DWT)进行下采样, 并使用离散小波逆变换( IDWT)进 行上采样。 相较于传统重建网络,这种方法能减少细节信息的丢失,并对特征进行频率分解。 同时,在跳连接中加入自注意力 模块对特征重新编码,使其重点关注正常区域的细节信息。 此外,设计了一个缺陷区域凸显模块,利用正常样本特征构建特征 库,将从测试图像提取的特征与特征库中特征对比得到异常图,将异常图与重建差值图相结合来改善缺陷定位结果。 在工业缺 陷检测数据集 MVTec AD 上进行测试,在图像级 AUROC 上取得了 99. 3%的结果,同时在像素级 AUROC 上取得了 98. 3%的结 果,在无监督缺陷检测中具有较高的检测精度和鲁棒性。     

基于共性与特性信息融合的遥感场景图像分类

由于遥感场景图像类内差距大即同一类别图像的特性信息相差较大,仅仅依靠特性信息分类的准确率不高,而现有遥感场景图像分类方法忽视了同一类别所具有的相同的共性信息也可以辅助图像识别,对此本文提出一种基于共性与特性信息融合的遥感场景图像分类方法。首先,图像通过卷积网络较浅层与深层得到的简单特征图与复杂特征图相叠加,可认为是此图像注意力集中的特征图,提取此特征图的手工特征LBP作为共性信息。之后与卷积网络提取的特性信息融合并进行分类。本文使用经贝叶斯优化优化超参数的SVM分类器,使其性能达到最佳来消除分类器对实验的影响。在两个数据集UC Merced和AID上的实验,验证其分类精度分别达到了98.80%和96.06%,表明该方法能有效地提升遥感场景图像准确率。在国防,城市规划,地质勘查等领域有重要意义。     

基于深度学习的交通标志文字信息检测与识别方法

为解决无人驾驶汽车外界环境感知系统对交通标识文字信息检测问题,提出一种在自动驾驶场景下对交通标识的文本信息进行检测并识别的两阶段方法,实现了自动驾驶信息精细化采集。首先使用YOLO检测器检测交通标识,同时使用本文改进的DB检测网络对场景内文本进行检测,将交通标识检测结果与场景文本检测结果进行交集运算得到待识别文本区域;最后使用轻量化CRNN网络对待识别区域文本进行识别。使用CSCT-1600数据集和MTWI-2018数据集分别进行训练和测试。实验结果表明,交通标识信息定位算法在召回率为92.98时精确度为94.95%,交通标识信息识别算法在F1为77.2%时识别速度为25帧。     

结合注意力机制和密集连接网络的车辆检测方法

为提高算法对车辆检测的准确性,解决原有算法在复杂交通场景下对车辆检测效果不佳的问题,提出一种基于注意力机制和改进密集连接网络结构的车辆检测方法。首先在过渡层中使用SoftPool整合密集块之间的特征信息;其次通过轻量化通道注意力机制加强有效通道特征的表达,将其作为Darknet-53的深层特征提取层;引入CIOU损失作为模型的边界框位置预测损失项,使用深度可分离卷积缩减模型体积;与原算法相比mAP值提高2.6%,模型体积缩减为原来的42%,实验证明本算法在复杂交通场景下具有良好的检测性能。     

基于改进YOLOv5m的轻量化车脸检测方法

为解决车检站车辆检测中需要对车辆前照灯快速准确定位，同时防止车辆代检的问题，建立了一个车脸检测数据集Car-Data。针对车检站场景中车辆检测问题，提出了一种基于YOLOv5m的轻量化车脸检测方法。首先，将原网络的卷积块替换为改进型跨阶段深度可分离卷积块，以减少网络整体的参数量和计算量。其次，提出增强感受野的空间金字塔扩张卷积模块代替YOLOv5m的主干提取网络中的空间金字塔池化模块，从而提升网络的目标检测精度。最后，在颈部特征增强网络中修改上采样方法，并提出上下层特征融合模块，以减少特征信息的损失。在Car-Data数据集上进行的实验结果表明，改进后的算法相较于原YOLOv5m模型大小减少了48%，每秒检测帧数提高了约10帧，且平均检测精度仍提升了2.02%。因此该改进算法可以满足车检站车辆检测场景中车脸检测的需求。     

基于生成对抗网络的自动装卸目标物标注数据集生成方法

针对建立无人起重装卸目标检测深度学习标注数据耗时问题,设计了货物图像检测生成对抗网络,构成准确的含语义标注和关键点标注的数据集,该数据集可用于有监督深度学习语义分割模型的训练。通过融合StyleGAN与DatasetGAN的生成对抗网络,对实际应用中存在的语义特征变形问题进行改进,将生成器的样本归一化层进行修改,去除均值操作,修改噪声模块和样式控制因子的输入方式;对纹理特征单一的物体的空间位置编码能力弱的问题,将生成网络的常数输入替换为傅里叶特征,并提出一个融合非线性上下采样的模块;最后引入WGAN-GP对目标函数进行改进。应用实验生成标签数据集,使用Deeplab-V3作为评价网络,以DatasetGAN方法作为基线,在语义标签生成任务上,Deeplab-V3输出mIOU值提高14.83%,在关键点标签生成任务上,L2损失平均降低0.4×10^(-4),PCK值平均提高5.06%,验证了改进的生成对抗网络生成语义及关键点标注数据的可行性和先进性。     

基于自监督特征增强的 CNN-BiLSTM 网络入侵检测方法

针对网络入侵检测中攻击样本和流量特征不足的问题,提出一种基于自监督特征增强的 CNN-BiLSTM 网络入侵检测方 法,实现在流量数据中检测异常网络流量的目标。 通过分析流量特征数据分布差异,采用 IQR 异常值处理方法进行数据预处 理,使用自编码器对攻击样本进行数据增强,构建 CNN-BiLSTM 神经网络和自编码器组成半自监督模型,分别提取高维流量特 征和自监督特征,将组合特征作为最终特征输入到分类模型中进行预测分类,实现网络入侵检测。 实验结果表明,与其他入侵 检测方法相比,所提方法在准确率和 F1 分数上分别达到了 85. 7%和 85. 1%,能够有效提高网络入侵的检测精度以及对未知攻 击的检测能力。     

面向密集场景结合TC-YOLOX的小目标检测方法

密集场景下小目标的高效精确检测是目标检测领域的关键问题。为了解决环境的多样性和小目标自身复杂性存在着特征难以提取、检测精度低等问题，提出一种面向密集场景结合TC YOLOX的小目标检测方法。首先，通过在CSPNet中引入Transformer Encode模块，不断更新目标权重实现增强目标特征信息，提高网络的特征提取能力；其次，在特征金字塔网络中增加卷积注意力机制模块，关注重要特征并抑制不必要特征，提高不同尺度目标的检测准确度；然后，采用CIoU代替IoU作为回归损失函数，使得模型训练过程中网络收敛更快，性能更好；最后在PASCAL VOC 2007数据集上验证。实验结果表明，所设计的TC YOLOX模型能够有效的检测出多样化场景中正常、密集、稀疏、黑暗条件下的小目标物体，mAP和检测速度可以达到946%和38 fps，与原始模型相比提升了109%和1 fps，对多种密集场景下的小目标检测任务均具有较好的适用性。     

基于自适应校准和多分支注意力的遥感目标检测

面向复杂多变的遥感场景下目标检测易受干扰的问题,提出了结合自校准模块和D_Triplet Attention的任意方向目标检测模型SD-Centernet。该方法在网络结构中引入旋转角度,为检测框提供角度信息。在Dlanet特征提取网络中引入self-Calibrated模块,通过自适应校准操作融合来自两个不同空间尺度的信息,增大输出特征的感受野。同时为了加强图像局部信息的聚焦,引入D_Triplet Attention,更好的解决了跨维度交互问题。SD-Centernet在HRSC-2016数据集上的检测精度达到86.25%,检测速度达到14.9帧/秒,有效提高了遥感航拍中多方位目标的检测效果。     

基于卷积神经网络的车道线语义分割算法

针对车道线检测环境复杂,光照变化复杂等特点,提出了一种新型车道线检测方法。首先运用可变形卷积神经网络提取特征,然后通过对白天、夜晚、雨天等复杂光照条件下的KITTI道路数据集进行联合训练,端到端获取车道线上下文信息。建立结构化道路车道线网络模型,进而对车道线进行图像语义分割,并判断车道线类型。该模型预测车道线像素所属的场景语义类别,实现车道线实时检测。实验结果表明,该方法具有较好的准确性和实时性,在多场景结构化道路上的车道线识别率可达96.83%。     

基于偏振信息图像增强的多目标检测

偏振是光的重要特性之一,偏振成像技术能够获取场景中目标的强度信息和偏振信息,偏振信息能够反映出目标物体表面的材质特征。本文针对雾霾天气状况下道路场景中常见目标识别结果的准确性要求,提出了两种基于偏振信息的图像增强方案。首先经过多次采集实验,经过数据清洗、图像标注构建偏振数据集,共4 649张图像和31 877个标签。针对雾霾轻度污染的场景,通过区域自动生长算法分割出偏振强度图像中的天空区域,根据天空区域的偏振度和偏振角信息以及大气物理散射模型反演出目标反射光,从而实现图像去雾。针对雾霾重度污染的场景,使用小波变换的方式对图像进行增强,利用偏振度图像来增强强度图像中的目标轮廓。使用图像灰度方差和图像信息熵作为图像质量评价指标,使用YOLO v5s深度学习网络进行目标检测。实验结果表明,雾霾轻度污染的情况下,图像质量和目标检测准确性均有所提升,图像信息熵提升了3.36%,灰度方差提升了40.27%,目标检测mAP达到了76.40%,提升了12.69%;雾霾重度污染的情况下,目标检测mAP提升约1.69%。     

基于神经网络的密集人群视频异常检测

人群场景分析是当今智能监控技术研究领域关注的一个热点,尤其在拥挤的环境中,行人间严重的遮挡、光照分布不均以及人群分布的多样性,使其具有很大的挑战性.本文针对视频的特点,提出了两种描述人群运动信息的、适用于卷积神经网络的输入特征图,用于检测密集人群场景中的异常事件.首先,以提取的光流场为基础,分别构建出堆叠光流图和脉线图.其次,将不同类型的输入特征图作为训练样本分别送入卷积神经网络进行训练.接着,将训练出的模型作为异常检测器来判断相应类型特征图的测试样本的正异常情况.最后,通过实验比较分析不同类型特征图的优劣,并且证明了该方法可以有效的检测异常事件.     

基于Yolo＿ES的垃圾分类目标检测模型

垃圾分类问题目前已被政府和社会广泛关注，面对分拣过程中对垃圾类别实时性和准确性判断的需求，提出了一种Yolo＿ES目标检测算法。该算法以Yolov4为基础网络，首先使用EfficientNet作为主干特征提取网络，实现算法的轻量化；其次通过注意力机制ECA对MBConv模块进行重构，筛选出高质量的信息，增强模型的特征提取能力并降低了参数量；同时针对最大池化易丢失细节信息的问题，使用SoftPool对SPP模块中的MaxPool层进行替换，保留更多细粒度特征信息。在自制的HPU＿WASTE垃圾分类数据集上进行实验，结果表明，Yolo＿ES模型相比于Yolov4基础网络mAP从91.81%提升到了96.06%,模型大小压缩了75.45%同时每张图片处理时间为58ms;与其他目标检测网络相比，该模型具有更好的鲁棒性和更佳检测性能。