融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于小波变换和稀疏表示的图像去噪

传统小波阈值去噪在对图像进行去噪时,并不能很好地保留图像的细节纹理等边缘信息部分.针对这一不足,结合了稀疏表示相关的理论,提出了一种基于小波变换和正交匹配算法相结合的图像去噪算法.首先选取小波函数对含噪图像进行处理,分离出图像的高频和低频小波系数,然后对高频系数结合正交匹配追踪算法,通过多次反复迭代求得高频稀疏分量,再结合低频分量,用逆小波变换得到恢复图像.实验结果表明,在相同的噪声条件下,该算法能取得较好的峰值信噪比(PSNR),获得更好的视觉效果.     

小波变换在视频图像文本定位中的应用研究

该文提出一种基于小波变换和数学形态学的视频图像文本定位算法。该算法首先对输入的灰度图像进行小波变换,在对垂直方向高频分量图进行二值化、形态学操作和连通分量分析以及先验知识的限制后,定位出文本区域。     

小波变换在视频图像文本定位中的应用研究

该文提出一种基于小波变换和数学形态学的视频图像文本定位算法。该算法首先对输入的灰度图像进行小波变换．在对垂直方向高频分量图进行二值化、形态学操作和连通分量分析以及先验知识的限制后,定位出文本区域。     

基于小波神经网络的人脸识别

利用最近在小波变换、人工神经网络和证据理论上取得的进展来进行人脸图像的识别.由于小波变换在时间和频率空间具有良好的定位特性,使小波神经网络可对输入、输出数据进行多分辨的学习训练.将小波变换和反向传播神经网络理论结合,设计一种小波神经网络结构,介绍了神经网络的数学框架和该网络的学习算法,把此算法用到人脸识别中, 实验结果证明小波神经网络在人脸识别中收敛速度快、识别率高.     

一种矿井低照度图像增强算法

针对小波变换在图像边缘保持和细节处理方面无法保持平衡及多尺度Retinex算法易造成图像出现光晕伪影和噪声污染严重等问题,将小波变换与基于多尺度引导滤波的多尺度Retinex算法相结合,提出了一种矿井低照度图像增强算法。该算法首先将低照度图像进行小波分解得到高频分量和低频分量;然后对图像高频分量采用三段式阈值函数进行小波去噪,对图像低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替传统多尺度Retinex算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升图像边缘细节保持效果;最后对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,解决图像泛灰问题。实验结果表明,该算法具有很强的噪声抑制能力,可有效提升图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影、颜色失真等现象。     

基于奇异值加权的图像复制粘贴伪造盲检测

提出了一种基于小波变换和奇异值分解的盲检测算法来识别图像的复制粘贴伪造。该算法用小波变换降低计算量,用奇异值表示图像特征。图像经过小波变换,提取出低频分量和高频分量。因低频部分保留图像的纹理信息,高频部分保留图像的轮廓信息,该算法分别从低频部分和高频部分提取图像奇异值,并把提取出的奇异值进行加权处理,以加权值作为图像块的特征。图像块之间做两两比较,根据图像块的特征相似度,判断是否存在图像复制粘贴伪造区域。在丰富层次和清晰细节轮廓的图像中,该算法能达到比较理想的检测效果,准确率较高。     

基于小波分频和二次均衡的图像增强算法

传统的图像增强算法在增强图像的同时也增强了图像的噪声信号,导致信息熵下降.结合小波变换多尺度、多分辨率的特点和直方图均衡的优势,提出一种基于小波分频和二次均衡的高亮度图像增强算法.首先利用小波变换将图像分解为低频分量和高频分量,然后仅对低频分量作直方图均衡处理,再由均衡后的低频分量与各高频分量进行小波重构,最后对重构的图像再次进行直方图均衡处理.实验结果表明,该算法对于亮度较高的灰度图像有较好的增强效果.     

融合小波变换与改进PCNN的图像增强算法研究

为了解决方向对纹理图像细节增强的限制问题,提出一种融合小波变换与改进脉冲耦合神经网络（PCNN）的图像增强算法。该算法首先对图像进行二维离散小波变换,提取图像的高频分量图。然后将图像像素的局部梯度值作为链接强度系数,在动态阈值函数中加入侧抑制信号来改进脉冲耦合神经网络;并用改进的脉冲耦合神经网络对高频分量图进行增强。最后使用中值滤波对小波重构后的图像进行非线性平滑,实现纹理图像细节的增强。实验结果表明,该算法能够有效地减少图像细节增强时方向的限制。增强后,纹理图像的细节更加丰富,整体对比度也有一定的提高。     

基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

以双目图像互为监督的相容解迭代优选算法

在计算机视觉领域的双目立体匹配方向, 基于神经网络的深度学习算法需要场景数据集进行训练, 泛化能力差. 针对这两个问题, 根据神经网络能够模拟函数的特点, 提出一种无需在数据集上训练, 以双目图像互为监督的深度场景相容解迭代优选算法. 该算法使用场景位置猜测网络模拟关于当前双目图像的深度场景相容位置空间, 用与该网络匹配的互监督损失函数通过梯度下降法指导该网络在输入双目图像上迭代学习, 搜索深度场景相容位置空间中的可行解, 整个算法过程无需在数据集上训练. 与CREStereo、PCW-Net、CFNet等算法在Middlebury标准数据集图像上的对比实验表明, 该算法在非遮挡区域的平均误匹配率为2.52%, 在所有区域的平均误匹配率为7.26%, 比对比实验中的其他算法有更低的平均误匹配率.     

基于脉冲耦合神经网络的异源图像融合方法

针对基于主成分分析与二代小波变换的图像融合算法中鲁棒性不高、融合图像质量较低的问题,提出了基于鲁棒性主成分分析与脉冲耦合神经网络的融合方法.所提出的算法将可见光与红外图像进行二代小波变换,转换为高频与低频信号,接着采用不同的融合策略针对低频和高频信号进行融合.针对低频信号,利用鲁棒性主成分分析法还原低秩矩阵并采用加权平均的融合策略进行融合;针对高频信号,将其送入至脉冲神耦合神经网络中进行融合得到融合后的小波系数.将融合后的小波系数进行逆变换,得到最终融合图像.实验结果表明,相比于基于主成分分析与二代小波变换的图像融合算法,利用所提出的出算法得到的融合图像中熵指标、空间频率指标、结构相似度指标和峰值信噪比指标均得到了不同程度的提升.因此,所提出的算法能够更好地提取目标信息,使融合图像中目标的轮廓边缘更加清晰,同时将提升小波分解出的高频信息利用PCNN进行融合,更加突出细节信息.     

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。     

一种新型的基于深度学习的单幅图像去雨方法

雨滴严重影响了图像的视觉效果和后续的图像处理应用。目前,基于深度学习的单幅图像去雨方法能够有效挖掘图像的深度特征,其去雨效果优于传统方法;然而,随着网络深度的增加,网络容易出现过拟合的现象,使得去雨效果遇到瓶颈。文中在继承深度学习优点的基础上,学习有雨/无雨图像之间的残差,然后将残差与源图像进行重构,从而获得无雨图像。该方式大幅增加了网络深度,并加快了算法的收敛速度。分别利用通过不同方式获取的雨滴图像对所提方法进行实验验证,并将该方法与当前最新的去雨滴方法作比较,结果表明所提算法的去雨效果更好。     

FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法

在大数据时代,图像检索技术在大规模数据上的应用是一个热门的研究领域。近年来,大规模图像检索系统中, 图像哈希算法 由于具备提高图像的检索效率同时减少储存空间的优点而受到广泛的关注。现有的有监督学习哈希算法存在一些问题,主流的有监督的哈希算法需要通过图像特征提取器获取人为构造的图像特征表示,这种做法带来的图像特征损失影响了哈希算法的效果,也不能较好地处理图像数据集中语义的相似性问题。随着深度学习在大规模数据上研究的兴起,一些相关研究尝试通过深度神经网络进行有监督的哈希函数学习,提升了哈希函数的效果,但这类方法需要针对数据集人为设计复杂的深度神经网络,增大了哈希函数设计的难度,而且深度神经网络的训练需要较多的数据和较长的时间,这些问题影响了基于深度学习的哈希算法在大规模数据集上的应用。针对这些问题,提出了一种基于深度卷积神经网络的快速图像哈希算法,该算法通过设计优化问题的求解方法以及使用预训练的大规模深度神经网络,提高了哈希算法的效果,同时明显地缩短了复杂神经网络的训练时间。根据在不同图像数据集上的实验结果分析可知, 与现有的基准算法相比,提出的算法在哈希函数训练效果和训练时间上都具有较大的提高。