基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法（英文）

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳。为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法。首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像。然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像。最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测。实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6%,在Faster R-CNN网络下mAP值提升了5.0%,从而有效提升了雾霾环境下卷积神经网络的目标识别能力。     

基于目标图像组合算法的改进YOLOv5模型

针对YOLOv5目标检测模型训练时间长、检测精度偏低问题,提出一种目标图像组合算法,考虑必要的图像背景及图像覆盖对目标图像进行分割,设计减少图像失真的重组策略提高单张训练集图像内目标个数,降低模型训练时长。改进先验框生成策略,以绝对差值作为距离函数,对训练集目标边框的长和宽分别进行一维K-means聚类,提高先验框对训练集的适应度。提出多层并列卷积结构,对输入特征经过三层并列卷积后的输出进行融合,增强特征表征能力。以VOC2007和VOC2012训练集和验证集作为训练图像,采用目标图像组合算法,模型训练时间减少30%以上,改进先验框生成策略使先验框对训练集的适应度达到0.735。在VOC2007测试数据集上测试,改进YOLOv5模型平均准确率均值（mAP）由79.1%提升至80.3%。     

改进YOLOv2卷积神经网络的多类型合作目标检测

针对大型构件三维精密测量中构件结构复杂、测量环境变化等导致的合作目标检测精度低的问题,提出一种改进YOLOv2卷积神经网络的多类型合作目标检测方法。首先,利用WGAN-GP生成对抗网络扩增合作目标图像样本数量;其次,采用卷积层密集连接代替YOLOv2基础网络的逐层连接增强图像特征信息流,引入空间金字塔池化汇聚图像局部区域特征,构建改进YOLOv2卷积神经网络的多类型合作目标检测方法;最后,采用增强的目标图像样本数据集训练改进YOLOv2卷积神经网络的多类型合作目标检测模型,实现多类型合作目标检测。实验结果表明:采用多类型合作目标图像数据集测试,多类型合作目标检测精度达到90.48%,目标检测速度为58.7 frame/s。该方法具有较高的检测精度和速度,鲁棒性好,满足大型构件三维精密测量中多类型合作目标检测的要求。     

改进YOLOv3的轮毂焊缝缺陷检测

为了实现轮毂焊缝缺陷的智能化检测,本文对深度学习目标检测算法(You Only Look Once version3,YOLOv3)进行改进,得到YOLOv3-MC算法用于轮毂焊缝缺陷的检测。首先,使用工业相机采集轮毂焊缝图像,然后标注图像制作数据集,并且通过数据增强方法扩充数据集。接着,为了提高算法检测精度,使用Mish激活函数替换YOLOv3主干网络中的激活函数。修改算法的损失函数,使用完备交并比(Complete Intersection over Union,CIoU)的计算方法提升算法检测的定位精度。最后使用训练集训练算法模型,再使用验证集和测试集图像数据进行检测试验,结果表明,YOLOv3-MC的最优模型在验证集上的平均准确率(Mean Average Precision,mAP)达到了98.94%,F1得分值为0.99,平均交并比(Average Intersection over Union,AvgIoU)为80.92%,检测速度为76.59帧/秒,模型大小234MB。该模型在测试集上的检测正确率达到了99.29%。相较于传统机器视觉检测方法,该方法提高了检测精度,满足轮毂生产企业的焊缝实时在线检测需求。     

基于神经网络的车辅系统障碍物识别技术研究

针对因雾霾、夜间等视线不佳环境下难以识别行人、车辆、涵洞和隧道等各类障碍物的难题,提出了一种基于神经网络的车辅系统障碍物识别技术。第1步进行深度神经网络设计,首先应用了单步目标检测算法框架进行算法设计,然后通过多尺度预测解决热源体目标尺寸差异问题,最后进行目标位置回归估计。第2步进行覆盖目标的全部特征训练数据集制备。第3步进行网络训练和推理、模型迁移。第4步针对嵌入式的平台进行神经网络模型轻量化设计,解决量化误差并实现计算精度,实现驾驶人员在雾霾、夜间等环境下对路况障碍物准确识别并清晰显示告警。通过实际测试,该方法提升了在雾霾、夜间等环境下路况障碍物识别的准确性和实时性,保障了驾驶安全。     

基于YOLOv3的装配零件多目标实时检测

为实现装配零件图像的多目标检测任务,提出基于深度学习的目标检测算法,将目标检测模型YOLOv3应用于零件的识别检测。将基于迁移学习思想的预训练权重引入网络模型的训练过程,加速网络训练过程,损失函数快速收敛,加速模型建立过程。将训练模型应用于零件检测,实验结果表明,所提出的多目标检测方法识别10类零件的mAP为99.8%,识别周期小于1s,检测结果准确。研究结果对生产线的自动化分拣、零件的装配定位有参考价值。     

基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究

为了实现汽车轮辋生产装备自动化与智能化,提升汽车轮辋的生产效率,降低人工成本,本文提出了一种基于YOLOv5s算法的多尺寸汽车轮辋焊缝检测与定位系统。首先,由图像采集装置拍摄实际生产中的多尺寸轮辋焊缝图像,构建轮辋焊缝数据集,使用K-means算法重新生成数据集锚定框,提升网络的收敛速度和特征提取能力;其次,引入CBAM(Convolutional Block Attention Module)混合域注意力机制,提高模型对于轮辋焊缝关注度,减少背景干扰;然后,采用EIOU(Efficient Intersection Over Union Loss)边框位置回归损失函数,提高轮辋焊缝识别框的准确率;最后,增加了ASFF(Adaptively Spatial Feature Fusion)自适应特征融合网络,使目标检测模型对多个级别的特征进行空间滤波。实验结果表明,改进后的算法准确率和mAP0.5分别达到了98.4%和99.2%,相比于原YOLOv5s算法分别提高了4.5%和3.7%。训练好的模型采用推理加速框架TensorRT进行加速部署在工控机上,搭配视觉检测软件与工业触摸屏形成交互...     

面向 AR-HUD 的多任务卷积神经网络研究

汽车上AR-HUD已经得到了广泛应用,其环境感知模块需完成目标检测、车道分割等多个任务,但是多个深度神经网络同时运行会消耗过多的计算资源。针对这一问题,本文提出一种应用于AR-HUD环境感知的轻量级多任务卷积神经网络DYPNet,其以YOLOv3-tiny框架为基础,融合金字塔池化模型、DenseNet的密集连接结构、CSPNet网络模型的思想,在精度未下降的情况下大幅减少了计算资源消耗。针对该神经网络难以训练的问题,提出了一种基于动态损失权重的线性加权求和损失函数,使子网络损失值趋于同步下降,且同步收敛。经过在公开数据集BDD100K上训练及测试,结果表明该神经网络的检测mAP和分割mIOU分别为30%,77.14%,使用TensorRt加速后,在Jetson TX2上已经可以达到15 frame·s~(-1)左右,已达到AR-HUD的应用要求,并成功应用于车载AR-HUD。     

改进多尺度特征融合的工业现场目标检测算法

为了提高工业现场等复杂场景下的小目标检测的准确率,降低工业现场的安全事故发生率,基于 YOLOv3 提出了一种改进多尺度特征融合方法。该方法增加了Inception _ shortcut 模块,优化网络的输出宽度,使用工业现场的监控视频作为数据集以及利用 k-means 算法对检测目标重新聚类,引入了 PANet 多尺度特征融合结构,精简了 YOLOv3 的网络检测输出层。在创建工业现场安全帽、安全绳数据集 FHPD 、FSRPD 以及 PASCAL VOC2007 数据集上的实验结果表明,改进算法的 mAP 比原始 YOLOv3 提高了许多。改进的多尺度特征网络融合增加了参数,但检测速度仍满足算法的实时性要求。     

基于LAM-Net的轨道侵入界异物自主检测系统

针对轨道入侵异物对行车安全造成的极大威胁,而现有的轨道目标检测算法难以平衡检测精度和速度、易受复杂环境影响以及难以部署于嵌入式设备等问题,提出了一种轻量型自适应多尺度卷积神经网络,其通过特征图线性变换简化特征提取过程,使用自适应多尺度特征融合优化特征表达能力,并通过设计轻量型注意力进一步提升异物检测精度;同时,结合NVIDIA Jetson TX2嵌入式平台,研制了轨道入侵异物自主检测系统。实验结果表明,本文提出的模型很好地平衡了检测速度和精度,在NVIDIA GeForce GTX1080Ti的GPU平台上对轨道数据集的检测速度为297 FPS,检测精度为92.96%,比YOLOv4-tiny高7.72%,实现了在轨道交通复杂场景下高精度、高速度以及高鲁棒性的检测入侵异物。     

基于三级级联架构的接触网定位管开口销缺陷检测

针对高铁接触网定位管开口销在列车长期运行振动中容易松脱并且松脱样本数量匮乏的问题,本文提出一种基于深度卷积生成对抗网络(DCGAN),扩充缺陷样本集后,再训练卷积神经网络(CNN)检测开口销缺陷的三级级联架构。该架构首先采用中心点法提取训练需要的相同规格开口销图像。然后通过改进的DCGAN生成模拟缺陷样本,并搭建轻量级CNN网络对生成的模拟缺陷样本进行筛选。最后将添加了模拟缺陷样本的扩充缺陷样本集与正样本集输入优化后的VGG16卷积神经网络中,以训练分类模型,检测开口销缺陷。实验结果表明,本文所提方法检测接触网定位管开口销缺陷的准确率高达99%。     

基于Faster R-CNN的工件螺纹孔目标检测

为了提高螺纹孔目标检测的准确率,结合双相机视觉系统与Hough变换圆检测算法,提出了一种基于Faster R-CNN的螺纹孔目标检测方法。首先建立了由双相机组成的图像获取系统,通过安置在高处的工业相机采集工件整体图像,利用Hough变换圆检测算法初步筛选出工件上的疑似螺纹孔的位置,并驱动第二个工业相机逐个在近处采集经Hough变换检测出的疑似螺纹孔的局部精确图像。然后,在自建的螺纹孔数据集上训练以ResNet50为基础网络的Faster R-CNN目标检测模型。最后,将螺纹孔处局部图像输入训练好的Faster R-CNN目标检测模型进一步识别并进行定位。实验结果表明,该方法能有效地避免螺纹孔小目标检测,相对于单独使用Hough变换方法或者Faster R-CNN目标检测方法检测螺纹孔,具有更高的识别和定位精度。     

基于深度学习的光场加密图像恢复技术

光场技术可以将图像加密从二维提升到三维,加强加密的安全性。采用重聚焦算法实现图像解密时会引入图像间的干扰。以深度学习技术为框架,分析图像干扰的规律性,构造模拟光场数据集,创建了一个7层的全卷积神经网络,以模拟光场数据集作为输入,原图作为标签,训练一个全卷积神经网络,将真实光场解密图像输入得到结果。实验结果表明,利用全卷积神经网络可以有效改善光场解密图像的干扰问题,改善解密后的图像质量。     

大数据样本与半监督环境下基于生成对抗网络的故障诊断

在大故障样本条件下,提出一种基于生成对抗网络模型的故障诊断方法研究.构建生成对抗网络模型,保证模型判别器输出数据的总体分布与原始故障集趋同,并基于空间测量工具对梯度函数进行优化,降低损失;采用故障集图像转换方式实现对原始信号的降维处理,利用判别器的神经网络结构训练输入数据,并提取出机械故障数据集中的故障特征点.实验结果表明,提出方法具有良好的分类诊断性能,故障诊断精度能够达到９９．４５％.     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

一种远距离行人小目标检测方法

远距离行人小目标成像像素少、缺乏纹理信息,深度卷积神经网络难以提取小目标细粒度特征,难以准确识别与检测。本文提出一种远距离行人小目标检测方法。首先,在YOLOv4的基础上引入浅层特征改进特征金字塔,提取行人小目标细粒度特征,提出引力模型特征自适应融合方法,增加多层次语义信息之间的关联度,防止小目标特征信息流失。然后,采用增强型超分辨率生成对抗网络增加行人小目标特征数量,提高行人小目标检测准确率。最后,选取图像像素中占比范围为0.004%～0.026%的行人小目标建立试验数据集,通过与Faster RCNN、ION、YOLOv4对比实验验证。结果表明,本文方法mAP_0.5提高了25.2%、26.3%、11.9%,FPS达到24,研究成果在远距离安防监测监控领域具有重要应用价值。     

Application of convolutional neural network to acquisition of clear images for objects with large vertical size in stereo light microscope vision system

For an object with large vertical size that exceeds the certain depth of a stereo light microscope (SLM), its image will be blurred. To obtain clear images, we proposed an image fusion method based on the convolutional neural network (CNN) for the microscopic image sequence. The CNN was designed to discriminate clear and blurred pixels in the source images according to the neighborhood information. To train the CNN, a training set that contained correctly labeled clear and blurred images was created from an open‐access database. The image sequence to be fused was aligned at first. The trained CNN was then used to measure the activity level of each pixel in the aligned source images. The fused image was obtained by taking the pixels with the highest activity levels in the source image sequence. The performance was evaluated using five microscopic image sequences. Compared with other two fusion methods, the proposed method obtained better performance in terms of both visual quality and objective assessment. It is suitable for fusion of the SLM image sequence.