一种新型的基于深度学习的单幅图像去雨方法

雨滴严重影响了图像的视觉效果和后续的图像处理应用。目前,基于深度学习的单幅图像去雨方法能够有效挖掘图像的深度特征,其去雨效果优于传统方法;然而,随着网络深度的增加,网络容易出现过拟合的现象,使得去雨效果遇到瓶颈。文中在继承深度学习优点的基础上,学习有雨/无雨图像之间的残差,然后将残差与源图像进行重构,从而获得无雨图像。该方式大幅增加了网络深度,并加快了算法的收敛速度。分别利用通过不同方式获取的雨滴图像对所提方法进行实验验证,并将该方法与当前最新的去雨滴方法作比较,结果表明所提算法的去雨效果更好。     

基于生成对抗网络去除单张图像中的雨滴

本次研究主要源自于单张图像中的雨滴去除问题。由于附着在玻璃窗或者相机镜头上的雨滴会严重降低图像的质量,因而使用生成对抗网络将带有雨滴的退化图像转换为干净的图像来解决此问题。文章的主要思想是将视觉注意力机制引入到生成网络中,提出新的残差U-Nets处理注意力图,并使用判别网络进行甄别图像的真实性,同时使用新的感知损失作为损失函数,从而使网络可以更加关注雨滴区域及其周围的环境。这样处理不但可以使恢复的图像具有更高的质量,同时也能具有更加优秀的视觉效果。文章采用峰值信噪比和结构相似性作为模型的数值评价标准,图像的细节展示作为视觉评价标准。实验表明,这种方法无论在视觉效果,还是数值结果上都具有不错的表现。     

基于自注意力机制的单幅图像去雨滴方法

在数字图像中去除雨滴的干扰,对恢复图像质量有较大应用意义.随着深度学习图像去噪技术的发展,针对目前大多数去雨滴的方法恢复质量低、计算量大等问题,提出了一种基于自注意力机制的轻型图像去雨滴算法.该算法建立了一个轻量级的级联稠密残差网络(cascaded dense residual network),用于恢复被雨滴覆盖的...     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

雨滴实地拍摄基准图像数据集及评估

在雨天透过玻璃窗拍摄时，附着在玻璃表面的雨滴通常会出现在图像中，这不仅降低了图像的可见度，还会使许多计算视觉算法无法正常工作。图像雨滴去除研究，是指从这类雨天图像中去除雨滴的具体科研研究。该研究领域面临着很大的挑战，主要原因是自然界中的雨滴形态多种多样、各不相同，不同透明度的雨滴也会影响背景图像的成像质量，从而增加了识别并去除雨滴的困难度，对去雨滴算法的性能提升造成了负面影响。为了方便研究者全面了解该领域，将从以下两个方面详尽介绍单幅图像去雨滴研究：单幅图像去雨滴算法和单幅图像联合去雨算法；同时也对该领域的所有算法进行了总结与评估。在基于深度学习的方法中，算法的性能往往受限于数据集的质量，但现有的雨滴数据集中均存在雨滴图像质量不高、图像数量不足等常见情况。为此，建立了雨滴实地拍摄基准图像数据集(HEMC),在拍摄过程中，尽量避免相机抖动、窗户反射和其他外界条件的干扰，从而提高了数据集中训练集的图像质量和测试集的精准度，进而间接提升了算法性能。同时，利用主观视觉效果以及客观指标对数据集进行了多方面的评估，实验结果展现了HEMC数据集中图像的多样性以及客观指标的稳定性。此外，通过对雨滴数据...     

基于编码—解码结构的多阶段图像去雨滴方法

针对附着镜头或玻璃表面的雨滴会造成图像退化的问题,提出了一种多阶段渐进式图像去雨滴方法。整个去雨滴过程被分解为多个更易于实现的阶段。首先在每个阶段设计多尺度融合的编码—解码网络以学习雨滴特征,通过构建带有门控循环单元的多尺度扩张卷积来细化内部传递的空间特征。然后引入无降维的通道注意力机制对特定空间特征下的通道信息进行提取。最后为加强每个阶段各部分之间的信息交换,采用跨阶段特征融合机制,在每个阶段的编码—解码网络之间加入横向连接,以实现特征信息的横向传递。在每个阶段之间加入监督注意模块,以增强不同阶段之间的信息传递,最终渐进地实现雨滴的去除。实验表明该方法能够有效地去除雨滴。     

基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部-全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU (Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR (Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。     

基于轻量级特征融合卷积网络的图像分类算法

传统卷积神经网络存在卷积核单一、网络结构复杂和参数冗余的问题。提出一种轻量级特征融合卷积神经网络MS-FNet。在融合模块中采用多路结构以增加卷积神经网络的宽度,通过不同尺寸的卷积核对输入特征图进行处理,提高网络在同一层中提取不同特征的能力,并在每次卷积后采用批归一化、ReLU等方法去除冗余特征。此外,使用卷积层代替传统的全连接层,从而加快模型的训练速度,缓解因参数过多造成的过拟合现象。实验结果表明,MS-FNet可在降低错误率的同时,有效减少网络参数量。     

视频图像中雨滴检测与去除方法研究

本文根据雨滴的物理光学模型,首先分析了雨滴对视频中单帧图像的光强影响,引入了Nayar的时差法来检测视频中的雨滴,并对其进行了改进以适应雨点更密集的情况。另一方面,针对像素灰度直方图的全局特性,根据雨滴的时域特性,利用K-means聚类的方法进行分类。最后对两种方法的实时性和针对不同情况的优劣进行了比较,实验证明了这两种方法的有效性。     

用于自动驾驶的轻量级语义分割神经网络

图像语义分割在自动驾驶领域有十分重要的应用,可以让机器人在环境中分割出语义信息,从而对下游的控制动作做出决策。但大部分的深度学习模型都比较大,需庞大的计算资源,很难在移动设备中使用。为了解决这个问题,提出了一种用于语义分割的轻量级神经网络模型,采用编码-解码型与二分支型相结合的网络架构,利用分组卷积、深度可分离卷积、多尺度特征融合模块与通道混洗技术减少网络参数量,提升模型预测精度。该模型训练结合Adam训练法与随机梯度下降法,使用Cityscapes数据集,设置1 000个训练周期。经测试,该模型参数量为3.5×10⁶,在单张显卡Nvidia GTX 1070Ti上的运算速度为每秒103帧图片,达到实时计算标准。在模型评估指标中,平均交并比为61.3%,像素准确率为93.4%,性能均优于Seg Net和ENet两种模型。     

高效多尺度卷积自注意力单幅图像除雨方法

雨天作为较常见的一种自然天气情况,会极大地影响户外视觉系统所拍摄到的图像和视频数据的成像质量并制约后续高级计算机视觉任务的性能;针对目前除雨算法存在伪影残留、细节丢失等问题,为了充分提取图像特征,有效去除雨条纹,提高除雨效率,提出一种新颖的单阶段深度学习除雨方法;采用高效卷积和跨尺度自注意力相结合的方式,弥补纯卷积网络无法满足的全局特征建模能力;嵌入多尺度空间特征融合模块,有效增加网络的感受野,增强网络对不同分布的雨条纹特征的学习能力;设计了一种混合损失函数,利用各损失函数的优势来弥补单一损失函数表现出来的缺陷;经过在不同类型数据集上的大量实验证明,该算法不仅能够有效去除雨条纹,充分保留背景细节,而且处理速度也有显著的提升。     

Single Image Rain Removal Using Image Decomposition and a Dense Network

Removing rain from a single image is a challenging task due to the absence of temporal information. Considering that a rainy image can be decomposed into the low-frequency (LF) and high-frequency (HF) components, where the coarse scale information is retained in the LF component and the rain streaks and texture correspond to the HF component, we propose a single image rain removal algorithm using image decomposition and a dense network. We design two task-driven sub-networks to estimate the LF and non-rain HF components of a rainy image. The high-frequency estimation sub-network employs a densely connected network structure, while the low-frequency sub-network uses a simple convolutional neural network (CNN). We add total variation (TV) regularization and LF-channel fidelity terms to the loss function to optimize the two subnetworks jointly. The method then obtains de-rained output by combining the estimated LF and non-rain HF components. Extensive experiments on synthetic and real-world rainy images demonstrate that our method removes rain streaks while preserving non-rain details, and achieves superior de-raining performance both perceptually and quantitatively.      

基于轻量级深层卷积神经网络的花卉图像分类系统

为解决深层卷积神经网络（Deep convolutional neural network, DCNN）模型在算力弱、存储成本高的AI边缘计算设备上难以高效应用的现实问题,本文利用重量级网络辅助训练轻量级网络,设计了一种基于轻量级神经网络的花卉图像分类系统。首先利用重量级DCNN并结合迁移学习、爬虫技术与最大连通区域分割方法,构建了适用于轻量级网络训练的扩充花卉数据集。然后基于Tiny-darknet与Darknet-reference两种网络及扩充后的花卉数据集训练得到两种面向弱算力设备的轻量级DCNN模型。训练得到的两种花卉分类网络在Oxford102花卉数据集上的平均分类准确率可达98.07%与98.83%,模型大小分别为4 MB与28 MB,在AI边缘计算设备中具有较好的应用前景。     

多分辨率上下文聚合网络的单幅图像去雨方法

雨天等恶劣天气将造成图像质量的严重退化,进而影响计算机视觉算法的准确性.为了更好地提取多尺度雨痕特征,恢复图像含有的重要细节信息,提出一种基于多分辨率上下文聚合网络的单幅图像去雨方法.首先利用混洗操作将单一分辨率输入图像转化为多空间分辨率的输入图像,在低空间分辨率中使网络迅速扩大接受场,而在高空间分辨率下提取更加精细的...     

基于CNN的轻量级神经网络单幅图像超分辨率研究

为了将低分辨率图像增强为高分辨率(HR)图像并最终得到超分辨率(SR)图像,提出了具有混合残差和密集连接结构的轻量级神经网络(LNN)来提高单幅图像超分辨率(SISR)性能,构建了层间SR-LNN(SR-ILLNN)和简化SR-LNN(SR-SLNN)两种LNN。SR-ILLNN采用基于部分卷积的填充方案来避免边界信息...     

面向刻蚀图像分割的轻量可变形编解码网络

通过分割刻蚀图像计算驱油率是目前衡量油藏驱替技术的重要手段。由于刻蚀图像边缘模糊、噪声大且水油像素分散,目前主流的图像分割网络分割精度低、分割速度慢,难以获得较好的分割结果。提出一种用于刻蚀图像分割的轻量可变形编解码网络（LDNet）。在特征编码阶段利用偏移量学习水油目标形状和边缘特征,改善网络的特征表达能力,并通过深度卷积和逐点卷积有效降低网络参数量。在特征融合阶段设计协同耦合注意力模块,将通道注意力进行分解,并分别沿2个空间方向聚合特征,将特征图编码为方向和位置感知的特征图,从而将位置信息嵌入到通道注意力中,提升模型的鲁棒性。实验结果表明,LDNet网络的分割精度为89.94%,模型大小仅为16.63×10⁶,在资源受限的设备中有效提高刻蚀图像的分割精度,降低驱油率误差,加快模型的推理速度。     

双回归网络的单图像超分辨率重建

现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,产生适应性问题。忽视残差分支的高频层次特征。针对上述问题,提出双重回归方案。除了学习从LR到HR图像的原始回归映射之外,额外学习一个对偶回归映射来估计下采样核并重建LR图像,形成一个闭环提供额外的监督,并在残差结构上引入了傅里叶变换,增强模型对高频信息的表达能力。相比其他先进模型以更少的参数重建HR图像,且拥有丰富的高频纹理细节。     

改进的轻量型网络在图像识别上的应用

针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为...     

面向轻量化的地基云图分割技术研究

云是气象领域比较重要的要素之一,准确快速获取云量,在天气预报、飞行安全、气候研究等方面均具有积极意义,因此为了快速准确地获得云量,就需要精准地分割云图。但是现有云图分割网络存在分割效果差、运算复杂度高、参数量大等问题,为了解决这些问题,提出一种轻量化的地基云图分割网络模型LGCSegNet。该模型利用Encoder-Decoder网络模型框架进行设计,利用通道拼接思想在通道深度上实现不同层次图像特征融合,避免损失特征边界,实现精确地分割地基云图,可获取准确的云量信息。在地基云图数据集HBMCD和HBMCD_GT上进行实验,经多组对比实验证明所提出的网络对云的表征能力更强,分割准确率比较高,可达到96.83%,分割的平均交并比可以达到86.00%,为实际应用提供了一定的理论基础。