基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

多尺度梯度对抗样本生成网络

传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始...     

基于卷积神经网络的多尺度葡萄图像识别方法

葡萄品种质量检测需要识别多类别的葡萄，而葡萄图片中存在多种景深变化、多串等多种场景，单一预处理方法存在局限导致葡萄识别的效果不佳。实验的研究对象是大棚中采集的15个类别的自然场景葡萄图像，并建立相应图像数据集Vitis-15。针对葡萄图像中同一类别的差异较大而不同类别的差异较小的问题，提出一种基于卷积神经网络（CNN）的多尺度葡萄图像识别方法。首先，对Vitis-15数据集中的数据通过三种方法进行预处理：旋转图像的数据扩增方法、中心裁剪的多尺度图像方法以及前两种方法的数据融合方法；然后，采用迁移学习方法和卷积神经网络方法来进行分类识别，迁移学习选取ImageNet上预训练的Inception V3网络模型，卷积神经网络采用AlexNet、ResNet、Inception V3这三类模型；最后，提出适合Vitis-15的多尺度图像数据融合的分类模型MS-EAlexNet。实验结果表明，在同样的学习率和同样的测试集上，数据融合方法在MS-EAlexNet上的测试准确率达到了99.92%，相较扩增和多尺度图像方法提升了近1个百分点，并且所提方法在分类小样本数据集上具有较高的效率。     

基于多尺度生成对抗网络的大气湍流图像复原

大气湍流会导致图像发生畸变和模糊,为对单幅大气湍流退化图像进行复原,提出一种基于多尺度生成对抗网络（GAN）的图像复原方法。采用GAN框架,在生成器网络中添加多尺度注意力特征提取单元与多层次特征动态融合单元,从而提升模型的感受野范围。在此基础上,引入特征融合机制以实现湍流退化图像复原。实验结果表明,相比标准GAN、SIU-Net模型,多尺度GAN能显著提高图像的视觉质量,有效降低图像的模糊和几何畸变程度。     

基于多尺度分割的图像识别残差网络研究

深度卷积神经网络能够解决复杂的计算机视觉问题,被广泛应用于图像识别任务中。在基于深度卷积神经网络的图像识别过程中,增加网络的深度和宽度能够产生丰富的特征信息,使用多尺度分割方法能够有效减少冗余的特征信息。然而,增加网络的深度和进行多尺度分割都会影响识别速度。如何在保证精度的同时提高识别速度,成为设计高效网络的关键问题。通过增加网络宽度的方法对ResNet残差网络进行改进,在保证精度的基础上提升识别速度。使用ResNet-D中的残差结构并减少网络长度,得到长度只有7层的残差网络,同时对HS-ResNet中的多尺度分割方法进行优化,只保留最后一次连接合并操作,得到图像识别残差网络SSRNet。在CIFAR 10和CIFAR 100数据集上的实验结果显示,SSRNet速度最高较ResNet网络提升7倍多,同时错误率最高下降8.81%,表明缩短网络长度可大幅加快图像识别速度,同时结合多尺度分割方法能够有效提升识别精度。     

基于自适应多尺度图卷积网络的多标签图像识别

利用一阶谱图卷积探索类别标签间关系是目前多标签图像识别常用的手段,但是,较多的图卷积层数易出现过度平滑现象,使得该方法存在局限性.为此,提出一种基于自适应多尺度图卷积网络的多标签图像识别方法,主要思路为:采用块Krylov子空间形式的谱图卷积来挖掘类别标签间的相关性,在每个图卷积层中拼接多尺度信息并扩展到深层结构,并在自适应标签关系图模块所构建的关系图上学习分类器,从而更加有效地进行多标签图像识别.通过两个公开数据集PASCAL VOC 2007和MS-COCO 2014上的实验结果验证了所提出方法的有效性.     

用于迁移学习的多尺度领域对抗网络

深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集（源域）来对未知标签的数据集（目标域）进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络（Multi-scale domain adversarial network, MSDAN）模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。     

基于中层细微特征提取与多尺度特征融合细粒度图像识别

在细粒度视觉识别领域,由于高度近似的类别之间差异细微,图像细微特征的精确提取对识别的准确率有着至关重要的影响。现有的相关热点研究算法中使用注意力机制提取类别特征已经成为一种趋势,然而这些算法忽略了不明显但可区分的细微部分特征,并且孤立了对象不同判别性区域之间的特征关系。针对这些问题,提出了基于中层细微特征提取与多尺度特征融合的图像细粒度识别算法。首先,利用通道与位置信息融合中层特征的权重方差度量提取图像显著特征,之后通过通道平均池化获得掩码矩阵抑制显著特征,并增强其他判别性区域细微特征的提取;然后,通过通道权重信息与像素互补信息获得通道与像素多尺度融合特征,以增强不同判别性区域特征的多样性与丰富性。实验结果表明,所提算法在数据集CUB-200-2011上达到89.52%的Top-1准确率、98.46%的Top-5准确率;在Stanford Cars数据集上达到94.64%的Top-1准确率、98.62%的Top-5准确率;在飞行器细粒度分类（FGVCAircraft）数据集上达到93.20%的Top-1准确率、97.98%的Top-5准确率。与循环协同注意力特征学习网络PCA-Net(...     

基于生成对抗网络的图像识别

随着深度学习的迅速发展,图像识别技术也在日益提高.但在日常的人脸识别、物体识别的应用中常有识别内容错误、识别准确率过低的问题.对此,提出了一种基于生成对抗网络的图像问答模型(GAN-QA).首先生成对抗网络显示出了强大的图像识别能力,通过生成对抗网络的生成器、判别器原理可以更好地提取图像特征,显著提高了图像识别的准确率...     

基于对抗学习和多尺度特征融合的前列腺MR图像分割

前列腺MR图像的自动分割已被广泛应用于前列腺癌的诊断和治疗过程中,然而,由于前列腺的形状变化显著且与相邻组织的对比度低,传统的分割方法仍存在精度低、速度慢等缺点.生成对抗网络GAN在计算机视觉任务中展示出了优越的性能,因此提出了一种使用对抗学习的概念来训练分割网络的方法,实现前列腺MR图像端到端的自动分割.模型框架主要由分割网络和判别网络构成,分割网络生成分割预测图,判别网络判断输入来自真实标签还是分割预测.同时,在分割网络中集成了感受野模块RFB来获取和融合深度特征的多尺度信息,提高特征的识别率和鲁棒性,以提升网络的分割性能.在PROMISE12数据集上的验证结果显示,该模型的DSC和HD分别为89.56％ 和7.65 mm.     

雾天交通场景中单幅图像去雾

目的 针对雾天交通场景中通常含有大片天空区域,传统去雾方法在复原这些图像时容易产生光晕、色彩失真等现象。提出一种基于天空区域分割和暗通道先验理论的图像去雾方法。方法 首先提出一种基于最大类间方差法（OTSU）的图像分割算法来自动分离天空区域,然后将天空区域的平均强度值作为大气光值,从而改进场景传输率的估计。结果 本文方法不仅有效地解决了图像去雾后出现光晕和色彩失真等问题,与He Kaiming以及Fattal的方法相比,本文方法去雾后的图像更加真实、自然、平滑。结论 实验结果表明,本文方法能够很好地完成对雾天交通图像的复原,可为道路交通监管提供一种有效的理论基础和技术支撑。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于游程特征的文本图像识别方法

提出了一种基于游程特征的中英文本图像识别方法,用游程统计特征提供的图像信息作为图像模式识别的描述特征,在此基础上利用神经网络来训练分类器。实验结果表明,该方法的识别精度较高,具有一定的容错能力。     

基于图像风格迁移的人脸识别域适应方法

监控场景下的带标签人脸数据难以获取,尽管可以利用已有的公开数据集或合成数据,但这些数据与真实的监控人脸数据在图像风格上存在较大的域间差异。针对该问题,不同于基于特征或公共子空间的域适应方法,提出一种基于图像风格迁移的解决方法。具体地,基于CycleGAN网络改进得到Face-CycleGAN,在保持身份属性的前提下,对现有带标签数据进行风格迁移,使其在背景、光照、皮肤材质等方面与监控场景更接近,并进一步通过联合滤波对迁移图像进行后处理。最后,利用迁移得到的数据优化人脸识别算法,减小域间差异带来的负面影响。提出的方法在公开数据集EK-LFH和自建数据集3DProj-Sur上进行了实验评估,分别取得了21.93%和4.77%的识别率提升,证明了该方法在解决域适应问题上是有效的。     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

甲状腺超声影像的元优化多级对抗域适应网络

目的 计算机辅助诊断是临床诊断中一种重要的辅助手段。然而在多机型超声影像的应用现状中,单一深度卷积神经网络面临难以从不同数据源中提取样本特征的问题,导致模型在区分多源数据方面性能欠佳。为提升单一深度模型在多源数据的泛化能力,本文提出一种无监督域自适应网络。方法 将深度对抗域适应方法应用于多源甲状腺超声影像分类任务,通过生成对抗思想提取源域图像与目标域图像的域不变特征,提出一种多级对抗域自适应网络(multi-level adversarial domain adaptation network, MADAN)。将元优化(meta-optimized)策略引入对抗域适应的学习中,将域对齐目标和样本分类目标以协调的方式联合优化,提升了模型对无标记目标域数据的分类性能。结果 在包含4种域的甲状腺超声影像数据集上实验,与7种经典域自适应方法比较。实验结果表明,MADAN在全部迁移任务中取得90.141%的目标域样本平均分类准确率,优于残差分类网络和多种经典域自适应分类网络。融合元优化训练策略后的MADAN在目标域的测试平均准确率提升约1.67%。结论 本文提出的元优化多级对抗域适应网络一方面通...     

面向图像识别的卷积神经网络鲁棒性研究进展

卷积神经网络是目前人工智能领域在图像识别与处理相关应用中的关键技术之一,广泛的应用使对其鲁棒性研究的重要性不断凸显。以往对于卷积神经网络鲁棒性的研究较为笼统,且多集中在对抗鲁棒性方面。这难以更深入地研究神经网络鲁棒性的发生机制,已经不适应人工智能的发展。引入神经科学的相关研究,提出了视觉鲁棒性的概念,通过研究神经网络模型与人类视觉系统的相似性,揭示了神经网络鲁棒性的内在缺陷。回顾了近年来神经网络鲁棒性的研究现状,并分析了神经网络模型缺乏鲁棒性的原因。神经网络缺乏鲁棒性体现在其对于微小扰动的敏感性,其原因在于神经网络会更倾向于学习人类难以感知的高频信息用于计算和推理。而这部分高频信息很容易被扰动所破坏,最终导致模型出现判断错误。传统鲁棒性的研究大多关注模型的数学性质,无法突破神经网络的天然局限性。视觉鲁棒性在传统鲁棒性的概念上进行拓展。传统鲁棒性概念衡量模型对于失真变形的图像样本的辨识能力,失真样本与原始干净样本在鲁棒模型上都能保持正确的输出。视觉鲁棒性衡量模型与人类判别能力的一致性。这需要将神经科学和心理学的研究方法、成果与人工智能相结合。回顾了神经科学在视觉领域的发展,讨论了认知心理...     

基于边缘学习的低分辨率图像识别算法

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。     

基于多尺度特征融合的SAR图像分割

由于存在相干斑噪声的影响,给SAR图像分割造成很大的困难,提出一种基于多尺度特征融合的SAR图像分割方法。该方法利用快速离散curvelet变换提取图像的纹理特征,利用平稳小波变换提取图像的统计特征,将两种多尺度特征融合成高维的特征向量,采用模糊C均值聚类的方法进行分割。在仿真SAR图像和真实SAR图像的分割实验结果表明,提出的方法优于单独采用小波变换进行SAR图像分割的方法,在消除均质区内碎块的同时,使得边界更为精准和平滑。