特征融合生成对抗网络的水下图像增强

针对水下图像对比度低和颜色失真等问题,提出一种特征融合生成对抗网络的水下图像增强算法.首先,对水下退化图像进行颜色校正,并以卷积神经网络提取颜色校正后图像的特征;其次,以基于U-Net的特征提取网络提取水下退化图像特征,并将其与颜色校正图像的特征融合;最后,通过卷积神经网络完成融合特征到增强图像的重构.在Underwa...     

基于图像融合的低光照水下图像增强

水下机器人可用于水产养殖动态监测和水下拍摄,然而摄像机在水下抓拍的海洋图像呈现蓝绿色调、对比度低、细节模糊、亮度暗等问题,严重影响水下目标识别与检测的准确率。为此,本文提出了一种基于图像融合的低照度水下图像增强方法。首先,利用灰度世界算法对图像颜色进行校正,有效去除水下图像的蓝(绿)色基调;然后,对颜色校正后的图像分别进行锐化处理和HSV颜色空间下的亮度增强,分别得到细节增强图像和亮度增强图像;最后,将细节增强图像和亮度增强图像进行多尺度融合,得到最后的增强图像。实验结果表明,该算法不仅有效地解决了水下图像呈现蓝绿色的问题,而且增强了图像的整体亮度,使得细节更加清晰,提高了水下机器人的视觉感知能力。     

基于人工欠曝光融合和白平衡技术的水下图像增强算法

获得清晰准确的水下图像是人类探索水下世界的重要前置条件。然而与平常图像相比,水下图像往往具有对比度低、细节保留不足及颜色失真等问题,这导致其视觉效果不佳。针对上述问题,提出了基于人工欠曝光融合和白平衡技术（AUF+WB）的水下图像增强算法。首先,利用调节伽马值的方式对原始水下图像进行操作,从而生成5幅相应的欠曝光图像;然后,以对比度、饱和度及良好曝光度作为融合权重,并结合多尺度融合来生成融合图像;最后,将各类颜色通道补偿后的图像分别结合灰色世界假设白平衡生成相应的白平衡图像,再利用水下彩色图像质量评价指标（UCIQE）及水下图像质量评价标准（UIQM）对得到的白平衡图像进行评价。通过选取不同类型的水下图像作为实验样本,将AUF+WB算法与现存先进的水下图像去雾算法进行比较,结果表明AUF+WB算法在图像质量定性、定量两方面分析中和对比算法相比均有更好的表现。所提出的AUF+WB算法可矫正水下图像的颜色失真,并增强其对比度、恢复其细节,有效提升了水下图像的视觉质量。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

矿井图像超分辨率重建研究

受井下粉尘大、照度低等环境影响,矿井图像存在分辨率低、细节模糊等问题,现有的图像超分辨率重建算法应用于矿井图像时,难以获取不同尺度图像信息、网络参数过大而影响重建速度,且重建图像易出现细节丢失、边缘轮廓模糊、伪影等问题。提出了一种基于多尺度密集通道注意力超分辨率生成对抗网络（SRGAN）的矿井图像超分辨率重建算法。设计了多尺度密集通道注意力残差块替代SRGAN原有的残差块,采用2路并行且卷积核大小不同的密集连接块,可充分获取图像特征;融入高效通道注意力模块,加强对高频信息的关注度;采用深度可分离卷积对网络进行轻量化,抑制网络参数的增加;利用纹理损失约束网络训练,避免网络加深时产生伪影。在井下数据集和公共数据集上对提出的矿井图像超分辨率重建算法和经典超分辨率重建算法BICUBIC,SRCNN,SRRESNET,SRGAN进行实验,结果表明：所提算法在主客观评价上总体优于对比算法,网络参数较SRGAN减少了2.54%,峰值信噪比与结构相似度较经典算法指标均值分别提高了0.764 dB和0.053 58,能更好地关注图像的纹理、轮廓等细节信息,重建图像更符合人眼视觉。     

基于改进SIFT特征的水下图像拼接技术研究

针对水下图像存在颜色失真、对比度较低等问题,而传统的图像拼接算法直接用于水下图像拼接是不奏效的,文中选用暗通道先验去雾算法来对水下图像进行增强,再运用白平衡算法来校正水下图像的颜色,并用主观评价和客观评价来判断预处理的好坏。然后,选取尺度不变特征变换(SIFT)算法来进行特征点的提取。由于水下图像纹理信息较丰富,因此在进行特征点描述时添加图像的纹理信息,使其能够进行更精确的特征点描述。实验结果表明,改进后的算法能够降低误匹配率,改善水下图像拼接效果。     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

基于图像融合的自适应水下图像增强

针对水下图像对比度低及细节模糊的问题,提出一种基于图像融合的自适应水下图像增强方法,实现不同类型水下图像的增强效果。基于颜色校正方法对水下图像进行颜色均衡化预处理;对亮度分量L进行Gamma校正,获得对比度提升的亮度图像;对两个亮度分量进行三层小波分解,提出对分解所得的低频分量及高频分量分别采用线性融合和自适应融合策略进行融合。多尺度融合保证了增强图像细节的丰富性,自适应融合策略体现了融合过程的可控性。实验结果表明,增强的水下图像呈现出高对比度和清晰的细节。     

基于结构重参数化的太阳斑点图像弱监督去模糊方法

针对云南天文台拍摄的模糊太阳斑点图像使用有监督学习模型进行重建时容易产生伪像、训练时间长、重建结果过分依赖参考图像等问题,提出一种基于结构重参数化与多分支模块相结合的弱监督去模糊方法重建太阳斑点图。首先,结合单尺度与多尺度网络设计去模糊模型,在模型中构造多分支模块提取不同尺度的特征,增强细节信息,减少伪像生成;其次,对每个分支结构进行重参数化,使得结构参数的重用贯穿整个特征提取过程,节省计算时间;之后,将去模糊模型分别嵌入退化学习与逆退化学习的弱监督训练中,先对模糊图像进行等级划分,利用退化模型分别学习不同等级的退化,构成对应等级的配对数据集,再使用去模糊模型对数据集进行逆退化,实现太阳斑点图的重建。实验结果表明,该方法与现有深度学习去模糊方法相比,模型训练效率更高,对参考图像的依赖较小,能够满足太阳斑点图像高分辨率重建要求。     

基于多尺度生成对抗网络的大气湍流图像复原

大气湍流会导致图像发生畸变和模糊,为对单幅大气湍流退化图像进行复原,提出一种基于多尺度生成对抗网络（GAN）的图像复原方法。采用GAN框架,在生成器网络中添加多尺度注意力特征提取单元与多层次特征动态融合单元,从而提升模型的感受野范围。在此基础上,引入特征融合机制以实现湍流退化图像复原。实验结果表明,相比标准GAN、SIU-Net模型,多尺度GAN能显著提高图像的视觉质量,有效降低图像的模糊和几何畸变程度。     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构。在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合。通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图像的分辨率及其语义特征相互融合,实现有效的人脸图像修复。在CelebA数据集上的实验结果表明,该方法的峰值信噪比、相似性结构、L1损失指标均优于区域归一化方法,取得了较好的视觉效果。     

基于Laplacian算法的水下偏振图像复原

为了解决船舶航行过程中水下图像质量退化的问题,开展了基于偏振成像的图像对比度提高技术和图像增强算法的研究。该技术中提出了基于偏振信息将不同角度的融合图像分解为多尺度的金字塔图像序列,通过高斯卷积和Laplacian Pyramid算法进行图像融合,结合权重融合系数算法实现对偏振图像的细节特征增强处理;并与小波变换图像融合算法进行对比,可以得出该算法明显改善了水下图像的SNR值和SSIM值。实验表明,该水下偏振系统在衰减系数为2.1的海水环境中,水下成像距离达到6 m,能清晰识别水中物体及其特征识别,且系统运行稳定。     

结合细节信息的自适应Retinex算法水下图像增强

针对Retinex算法应用于水下图像增强中,常出现颜色失真与图像细节增强相矛盾的现象,提出了结合细节信息的自适应多尺度Retinex水下图像增强算法。分析包含不同细节信息的水下图像对Retinex算法增强中卷积函数尺度大小的选择要求;采用图像梯度作为调节因子,自适应调整多尺度Retinex算子的权重,用于适应包含不同细节信息的水下图像对对比度增强的要求,有效地缓和了水下图像增强在颜色失真和细节对比度提升之间的矛盾。多组实验验证了该算法在去除水下图像的蓝绿背景、避免颜色失真、消除非均匀光照和图像细节增强等方面均优于传统多尺度和颜色保真的多尺度Retinex算法。     

基于感知生成对抗网络的图像压缩感知重建

现有的深度压缩感知重建算法在低采样率下，由于使用像素损失指导优化的网络会使得重建的图像无法有效地提取出原始图像的纹理细节，导致重建图像视觉观感较差。针对上述问题，提出了基于感知生成对抗网络的图像压缩感知重建算法，用感知损失代替像素损失，使得重建图像细节和纹理特征保留。通过对比实验表明，提出的基于感知生成对抗网络的图像压缩感知重建算法在低采样率下重建出的图像具有更强的视觉效果和真实性。     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于自适应残差的运动图像去模糊

针对当前运动图像去模糊网络忽略了运动模糊图像的非均匀性,不能有效地恢复图像的高频细节及去除伪影等问题,在对抗网络基础上提出一种基于自适应残差的运动图像去模糊方法.在生成网络中构造由形变卷积模块和通道注意力模块组成的自适应残差模块.其中,形变卷积模块学习运动模糊图像特征的形变量,可以根据图像的形变信息动态调整卷积核的形状和大小,提高网络适应图像形变的能力.通道注意力模块对所提取的形变特征进行通道调整,获取更多的图像高频特征,增强恢复后图像的纹理细节.在公开的GOPRO数据集上进行实验,实验结果表明,该算法的峰值信噪比(PSNR)有较大的提升,能够重建出纹理细节丰富的高质量图像.     

基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率重建算法

目前深度学习模式下的图像超分辨率重建存在对纹理感知不够精确、重建图像不够真实等问题,为了改善重建图像质量,提出一种基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率算法.首先,利用多感受野特征提取、可分离拉普拉斯滤波和复合残差密集块构建生成网络,使网络提取更全面的图像信息;其次,利用多维软标签对抗网络,可使生成对抗网络更容易训练且重建图像纹理更加丰富;最后,网络预训练采用L1损失函数和VGG低层特征,使重建图像获取整体特征,训练使用VGG高层特征、Charbonnier损失和生成损失,使重建结果更加精细,纹理更加充分.实验使用Div2k和Flickr2K进行模型训练,使用Set5等数据集进行测试.结果表明,该算法比USRNet等相关算法的网络规模减小40％,感知指数比USRNet平均降低0.76％,图像重建结果具有更多细节且真实性更强.     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.