基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于循环生成对抗网络的图像去雾算法

大气散射模型与有雾图像及对应清晰图像间的映射模型不适配,导致使用大气散射模型进行图像去雾处理时,图像存在颜色偏差、纹理细节粗糙等问题。基于模拟生物视觉系统的反馈原理,提出一种端到端的循环生成对抗网络算法,以解决误差累积造成的去雾图像低质的问题。通过生成模块将循环神经网络的隐藏状态作为反馈信息,以指导低级模糊特征信息生成更加丰富的高级特征。循环结构能够保证先前的网络层可以使用到后面网络层的高级特征信息,从而减少误差累积。此外,该算法能够根据判别模块的损失来评估重建图像的质量。实验结果表明,与GCANet算法相比,所提算法在SOTS测试集上的平均峰值信噪比和结构相似性,在室内分别提升3.41%和0.57%,在室外分别提升3.48%和1.39%,且在真实世界的数据集上进行图像去雾后,在视觉上避免了颜色失真和光晕问题。     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。     

改进YOLOV5目标检测模型的实时抽烟检测方法

抽烟目标的实时检测难以在实际场景中应用,主要原因是终端设备成本低,能够承载的模型计算量十分有限,难以同时兼顾精度与速度。为此,本文使用改进的YOLOV5目标检测模型,将其双向特征融合网络(FPN+PAN)替换为加权双向特征金字塔网络(BiFPN),增强网络的特征传递能力。实验结果表明,替换特征网络之后的YOLOV5s-BiFPN目标检测模型精度更高,AP_0.5达到91.7%,且模型的参数量、计算量以及FPS基本不变,满足应用在实际场景中进行实时抽烟检测的条件。     

基于跳跃连接金字塔模型的小目标检测

随着深度学习的发展,目标检测已经获得了较高的精度和效率。但是小目标的检测仍然是一个挑战。小目标检测准确率较低的重要原因是没有充分利用高层特征的语义信息和低层特征的细节信息之间的关系。针对上述问题,本文提出一种基于跳跃连接金字塔模型的小目标检测方法。与其他的目标检测方法不同,本文提出利用跳跃连接金字塔结构来融合多层高层语义特征信息和低层特征图的细节信息。而且为了更好地提取不同尺度物体对应的特征信息,在网络模型中采用不同大小的卷积核和不同步长的空洞卷积来提取全局特征信息。在PASCAL VOC和MS COCO数据集上进行了实验,验证了算法的有效性。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

提高图像篡改检测区域选取性能的FCR-CNN模型

图像篡改检测不同于目标检测,篡改检测更加关注篡改伪像这一目标而非图像内容本身,需要学习更加丰富的特征.为提高图像篡改检测区域选取性能,提出一种将特征金字塔网络(feature pyramid networks,FPN)模型与级联区域卷积神经网络(cascade region-convolutional neural n...     

一种新颖的单目视觉深度学习算法:H_SFPN

针对单目视觉目标检测,提出了一种基于single-stage深度学习的H_SFPN算法。该算法与现有的YOLOv3和CenterNet算法相比,在保证实时性能的条件下,可有效提高小目标检测的准确度。首先设计了一种新的网络架构(backbone),这种架构通过改进的沙漏(Hourglass)网络模型来提取特征图,以便充分利用底层特征的高分辨率以及高层特征的高语义信息。然后在特征图融合阶段提出了基于SFPN的特征图加权融合方法。最后,H_SFPN算法对目标位置和大小的损失函数进行了改进,可有效降低训练误差,并加快收敛速度。由MSCOCO数据集上的实验结果可知,所提H_SFPN算法明显优于Faster-RCNN,YOLOv3以及EfficientDet等现有的主流深度学习目标检测算法,其中对小目标的检测指标AP s最高,达到了32.7。     

Enhanced SSD with interactive multi-scale attention features for object detection

Single Shot MultiBox Detector (SSD) method using multi-scale feature maps for object detection, showing outstanding performance in object detection task. However, as a one-stage detection method, it’s difficult for SSD methods to quickly notice significant areas of objects in the image. In the SSD network structure, feature maps of different scales are used to independently predict object, and there is a lack of interaction between low-level feature maps and high-level feature maps. In this paper we propose an enhanced SSD method using interactive multi-scale attention features (MA-SSD). Our method uses the attention mechanism to generate attention features of multiple scales and adds it to the original detection branch of the SSD method, which effectively enhances the feature representation ability and improves the detection accuracy. At the same time, the feature of different detection scales interacts with each other, and all the detection branches in our method have a parallel structure, which ensures the detection efficiency. Our proposed method achieves competitive performance on the public dataset PascalVOC.

     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

融合SPP和改进FPN的YOLOv3交通标志检测

针对交通标志目标检测尺寸较小、分辨率低、特征不明显问题,提出一种改进的YOLOv3网络模型。在利用颜色增强方法对交通标志进行数据增强后,改进原网络中的FPN结构,保留原网络中52×52的大尺度预测,然后利用YOLOv3网络中第二次下采样输出的特征图建立108×108的更大尺度预测。为了解决图像尺寸和失真的问题,在检测层前使用固定分块大小为5、9、13的池化操作,再将输出的特征与原来的特征图进行融合,从而实现对不同尺寸的输入得到相同大小的输出。最后,利用K-means聚类算法对TT100K交通标志数据集进行聚类分析,重新定义网络的初始候选框,使用YOLOv3网络模型和改进的YOLOv3网络模型以及其他小目标检测算法在TT100K数据集上进行对比实验。实验结果表明,改进后的YOLOv3网络模型能更有效的检测交通标志,其检测的平均精确度在三个尺度下相对原YOLOv3网络模型分别提升8.3%、6.1%、4.3%,在FPS变化不大的情况下,召回率和准确率都有明显提升,同时,改进后的YOLOv3算法相对其他小目标检测算法具有更好的检测精度和实时性。     

基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。     

多通道区域建议的多尺度X光安检图像检测

针对安检X光图像检测中的违禁品尺度差异问题,对Faster RCNN网络进行改进,提出一种基于多通道区域建议网络（muiti-channel region proposal network,MCRPN）。考虑到不同层卷积特征在视觉语义上的互补性,进行多层特征提取,融合VGG16高层较丰富的语义特征和低层较浅的边缘特征;修改多通道RPN中的锚框参数,将生成的多尺度候选目标区域分别映射到对应的特征图上,构建多尺度违禁品检测网络;在多通道上引入膨胀卷积,设计一种多分支膨胀卷积模块（dilated convolutions module,DCM）,增大感受野,增强不同尺度的特征。将改进的算法在自制数据集SIXray_OD上进行实验,检测的平均精度达到84.69%,测性能较原网络提高了6.28%。实验结果表明,改进算法的识别精度有一定提高。     

基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

基于多尺度卷积特征融合的肺结节图像检索方法

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题,提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题,然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化,最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求,将距离计算及排序过程部署到Spark分布式平台上。实验结果表明,基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息,在肺结节预处理数据集LIDC上能够达到84.48%的准确率,检索精度高于其他检索方法,而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。     

隔级融合特征金字塔与CornerNet相结合的小目标检测

为弥补CornerNet中小目标语义信息弱的缺陷,提出隔级融合特征金字塔的方法,提高小目标平均准确率。 对骨干网络后半部分融合后的4个特征图进行提取,将尺寸较小的特征图进行2次卷积,得到2个新的特征图;运用上下融合、隔级融合和旁路连接的思想,生成融合后的特征图并将其组成特征金字塔。将改进后的算法与当前主流CornerNet、Faster RCNN、RetinaNet算法在MS COCO数据集上进行比较,结果表明,改进后算法在对小目标进行检测时,小目标平均准确率有较大提高。隔级融合特征金字塔在CornerNet上能有效融合高低层特征图,使融合后的特征图有较强的语义信息,提高CornerNet网络的小目标平均准确率。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.