基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

基于自注意力特征融合的半监督生成对抗网络用于SAR目标识别

与具有大量标注数据的光学图像相比,合成孔径雷达(Synthetic Aperture Radar,SAR)图像缺乏足够的标记样本,限制了监督学习的SAR目标识别算法的性能.而无监督识别方法又难以满足实际需求,因此本文提出了基于自注意力特征融合的半监督生成对抗网路.首先,在构建生成器和判别器时引入自注意力层,克服卷积算子...     

基于多尺度特征增强卷积神经网络遥感目标检测算法

随着技术的不断发展,遥感技术被广泛应用于地图绘制、资源勘探以及灾害预警等领域。遥感目标检测是进行遥感图像解译的关键步骤。传统的目标检测算法在对遥感目标进行检测的过程中存在目标漏检、检测精度低以及无法解决小目标检测等问题。提出一种基于多尺度特征增强卷积神经网络(MSFE-CNNs)的遥感目标检测算法,通过对不同卷积层特征进行增强和融合,使得模型具有更快的训练速度和更高的检测精度。所提算法结合特征提取模块、特征增强模块、自注意力机制和金字塔特征注意力机制。特征提取模块对输入的海量遥感数据进行特征提取,获取不同类别目标的多尺度特征;特征增强模块用于增强不同卷积层特征相关性,强化模型的学习能力和特征之间的非线性关系;自注意力机制和金字塔特征注意力机制主要解决传统卷积神经网络无法获取小尺度目标特征的问题。为了验证所提算法的有效性,在DOTA数据集上进行不同方法对比,实验结果表明所提算法在检测精度和训练速度上均优于现有基于深度学习的目标检测算法。     

基于改进哈希算法的图像检索方法

当前主流图像检索技术所采用的传统视觉特征编码缺少足够的学习能力,影响学习得到的特征表达能力。此外,由于视觉特征维数高,会消耗大量的内存,因此降低了图像检索的性能。文中基于深度卷积神经网络与改进的哈希算法,提出并设计了一种端到端训练方式的图像检索方法。该方法将卷积神经网络提取的高层特征和哈希函数相结合,学习到具有足够表达能力的哈希特征,从而在低维汉明空间中完成对图像数据的大规模检索。在两个常用数据集上的实验结果表明,所提出的哈希图像检索方法的检索性能优于当前的一些主流方法。     

基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

基于深度哈希的图像检索技术研究

本文提出的方法基于深度卷积神经网络和哈希算法,该方法对VGG16网络模型进行了改进：模型中全连接层保留FC6和FC7,去掉的FC8用哈希层替换,构建哈希函数获得哈希编码,在损失层对损失函数做了优化计算,微调模型初始化参数。图像检索过程主要包括模型训练和检索图像两个阶段,实验数据集采用CIFAR-10和NUS-WIDE。和其他几种典型的传统哈希算法和深度哈希算法进行对比分析,实验结果表明,本文所提方法能有效提高图像检索性能。     

基于深度哈希算法的极光图像分类与检索方法

面对形态万千、变化复杂的海量极光数据,对其进行分类与检索为进一步研究地球磁场物理机制和空间信息具有重要意义。该文基于卷积神经网络(CNN)对图像特征提取方面的良好表现,以及哈希编码可以满足大规模图像检索对检索时间的要求,提出一种端到端的深度哈希算法用于极光图像分类与检索。首先在CNN中嵌入空间金字塔池化(SPP)和幂均值变换(PMT)来提取图像中多种尺度的区域信息;其次在全连接层之间加入哈希层,将全连接层最能表现图像的高维语义信息映射为紧凑的二值哈希码,并在低维空间使用汉明距离对图像对之间的相似性进行度量;最后引入多任务学习机制,充分利用图像标签信息和图像对之间的相似度信息来设计损失函数,联合分类层和哈希层的损失作为优化目标,使哈希码之间可以保持更好的语义相似性,有效提升了检索性能。在极光数据集和 CIFAR-10 数据集上的实验结果表明,所提出方法检索性能优于其他现有检索方法,同时能够有效用于极光图像分类。     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

基于卷积神经网络和监督核哈希的图像检索方法

当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利用卷积神经网络的学习能力挖掘训练图像内容的内在隐含关系,提取图像深层特征,增强特征的视觉表达能力和区分性;然后,利用监督核哈希方法对高维图像深层特征进行监督学习,并将高维特征映射到低维汉明空间中,生成紧致的哈希码;最后,在低维汉明空间中完成对大规模图像数据的有效检索.在ImageNet-1000和Caltech-256数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,提高图像检索效率,优于当前主流方法.     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

基于兴趣目标的图像检索

当前图像检索算法通常针对整体图像提取特征以完成检索任务.然而,在很多情况下用户只会关注图像的一部分,即他们的兴趣目标.此时,从整体图像提取的特征一部分是有效的,另一部分则是无效的且会对检索过程带来消极影响.为此,本文提出基于兴趣目标的图像检索方案,并借助于现有的显著性检测、图像分割、特征提取等技术实现一款有效的图像检索算法.首先采用HS （Hierarchical Saliency,分层显著性）检测算法分析用户的兴趣目标并应用SC （Saliency-based Image Cut,基于显著性的图像分割）算法将其分割,然后针对兴趣目标提取HSV （Hue、Saturation、Value,色调、饱和度、明度）颜色特征、SIFT （Scale Invariant Feature Transform,尺度不变特征变换）局部特征和CNN （Convolutional Neural Network,卷积神经网络）语义特征,最后计算其与数据库图像的相似度并根据相似度排序返回检索结果.仿真实验结果表明,本文算法在解决"这是什么东西"这类图像检索任务时明显优于现有的图像检索算法.     

深度学习和迭代量化在图像检索中的应用研究

基于内容的图像检索的关键在于对图像进行特征提取和对特征进行多比特量化编码 。近年来,基于内容的图像检索使用低级可视化特征对图像进行描述,存在“语义鸿沟”问题;其次,传统量化编码使用随机生成的投影矩阵,该矩阵与特征数据无关,因此不能保证量化的精确度。针对目前存在的这些问题,本文结合深度学习思想与迭代量化思想,提出基于卷积神经网络VGG16和迭代量化(Iterative Quantization, ITQ)的图像检索方法。使用在公开数据集上预训练VGG16网络模型,提取基于深度学习的图像特征;使用ITQ方法对哈希哈函数进行训练,不断逼近特征与设定比特数的哈希码之间的量化误差最小值,实现量化误差的最小化;最后使用获得的哈希码进行图像检索。本文使用查全率、查准率和平均精度均值作为检索效果的评价指标,在Caltech256图像库上进行测试。实验结果表明,本文提出的算法在检索优于其他主流图像检索算法。      

融合注意力分支特征的甲烷泄漏红外图像分割

甲烷是现代化工业生产和社会生活的重要能源之一,实现其有效探测与分割对于及时发现甲烷泄漏事故并识别其扩散范围具有重要意义。针对红外成像条件下甲烷气体图像的轮廓模糊、泄漏的甲烷气体与背景对比度较低、形状易受大气流动因素影响等问题,本文提出一种融合注意力分支特征的红外图像分割网络（Attention Branch Feature Network,ABFNet）实现甲烷气体泄漏探测。首先,为增强模型对红外甲烷气体图像的特征提取能力,设计分支特征融合模块将残差模块1和残差模块2的输出特征与残差模块3以逐像素相加的方法融合,获取红外甲烷气体图像丰富细致的特征表达以提高模型识别精度。其次,为进一步加快模型的推理速度,将标准瓶颈单元中的3×3卷积替换为深度可分离卷积,大幅度减少参数量达到实时检测甲烷气体泄漏。最后,将scSE注意力机制嵌入到分支特征融合模块,更多地关注扩散区域边缘和中心语义信息以克服红外甲烷气体轮廓模糊对比度低等问题提高模型的泛化能力。实验结果表明,本文提出的ABFNet模型AP50@95、AP50、AP60定量分割精度分别达到38.23%、89.63%和75.33%,相比于原始YOL...     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于注意力机制特征融合网络的SAR图像飞机目标快速检测

针对合成孔径雷达(Synthetic Aperture Radar,SAR)图像中飞机目标散射点离散化程度高,周围背景干扰复杂,现有算法对飞机浅层语义特征表征能力弱等问题,本文提出了基于注意力特征融合网络(Attention Feature Fu-sion Network,AFFN)的SAR图像飞机目标检测算法.通过引入瓶颈注意力模块(Bottleneck Attention Module,BAM),本文在AFFN中构建了包含注意力双向特征融合模块(Attention Bidirectional Feature Fusion Module,ABFFM)与注意力传输连接模块(Attention Transfer Connection Block,ATCB)的注意力特征融合策略并合理优化了网络结构,提升了算法对飞机离散化散射点浅层语义特征的提取与判别.基于自建的Gaofen-3与TerraSAR-X卫星图像混合飞机目标实测数据集,实验对AFFN与基于深度学习的通用目标检测以及SAR图像特定目标检测算法进行了比较,其结果验证了AFFN对SAR图像飞机目标检测的准确性与高效性.     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

用于攻击深度哈希图像检索模型的双分支自编码器网络

由于其强大的表示学习能力和高效的计算能力,基于深度学习的哈希（深度哈希）方法在大规模图像检索中被广泛应用。然而,对深度哈希模型的安全性研究较少。提出了双分支自编码器网络（DBAE）来研究这种检索的目标攻击。DBAE的主要目标是生成难以察觉的对抗样本作为查询图像,使深度哈希模型检索的图像在语义上与原始图像无关,与目标图像相关。大量实验证明,DBAE可以成功地生成具有小扰动的对抗样本来误导深度哈希模型,验证了这些扰动在各种设置下的可迁移性。     

用于跨模态舰船图像检索的判别性对抗哈希变换器

针对当前主流的基于卷积神经网络(CNN)范式的跨模态图像检索算法无法有效提取舰船图像细节特征,以及跨模态“异构鸿沟”难以消除等问题,该文提出一种基于对抗机制的判别性哈希变换器(DAHT)用于舰船图像的跨模态快速检索。该网络采用双流视觉变换器(ViT)结构,依托ViT的自注意力机制进行舰船图像的判别性特征提取,并设计了Hash Token结构用于哈希生成;为了消除同类别图像的跨模态差异,整个检索框架以一种对抗的方式进行训练,通过对生成哈希码进行模态辨别实现模态混淆;同时设计了一种基于反馈机制的跨模加权5元组损失(NW-DCQL)以保持网络对不同类别图像的语义区分性。在两组数据集上开展的4类跨模态检索实验中,该文方法相比次优检索结果分别取得了9.8%, 5.2%, 19.7%, 21.6%的性能提升(32 bit),在单模态检索任务中亦具备一定的性能优势。     

残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建

为了改善计算机断层扫描（CT）影像重建质量不高的问题，提出一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率CT重建方法。多特征下采样提取模块（MFDEB）通过平均池化、最大池化和卷积运算完成多特征下采样提取，在多特征融合后嵌入通道学习注意力（CLA）和空间学习注意力（SLA），同时并入前级融合特征提取图像的浅层特征。CLA、SLA分别引入通道权重特征学习以及激活函数1+tanh（）完成特征提取。残差注意力聚合模块（RAAB）通过CLA嵌入残差网络构成的残差通道学习注意力模块（RCLAB）与SLA构成的空间特征融合模块（SFFB）联合提取图像的深层特征。原始网络在浅层特征与通过亚像素卷积放大的深层特征进行特征融合后完成重建。对偶网络进一步约束重建映射函数的解空间。实验表明，所提算法在重建图像的峰值信噪比（PSNR）和结构相似度（SSIM）上都得到了较好的提升。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...