基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络（IVRNBDS）。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失（HC Loss）函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification）和Reg DB(Dongguk Body-based person Recognition）上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1）指标和平均精度均值（m AP）指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。     

非局部注意力双分支网络的跨模态赤足足迹检索

目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法。方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以Res Net50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异。结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法 FGC(fine-grained cross-model)和跨模态行人重识别方法 HC(hetero-cente...     

双粒度特征融合网络的跨模态行人再识别

目的 可见光—红外跨模态行人再识别旨在匹配具有相同行人身份的可见光图像和红外图像。现有方法主要采用模态共享特征学习或模态转换来缩小模态间的差异,前者通常只关注全局或局部特征表示,后者则存在生成模态不可靠的问题。事实上,轮廓具有一定的跨模态不变性,同时也是一种相对可靠的行人识别线索。为了有效利用轮廓信息减少模态间差异,本文将轮廓作为辅助模态,提出了一种轮廓引导的双粒度特征融合网络,用于跨模态行人再识别。方法 在全局粒度上,通过行人图像到轮廓图像的融合,用于增强轮廓的全局特征表达,得到轮廓增广特征。在局部粒度上,通过轮廓增广特征和基于部件的局部特征的融合,用于联合全局特征和局部特征,得到融合后的图像表达。结果 在可见光—红外跨模态行人再识别的两个公开数据集对模型进行评估,结果优于一些代表性方法。在SYSU-MM01(Sun Yat-sen University multiple modality 01)数据集上,本文方法 rank-1准确率和平均精度均值（mean average precision,mAP）分别为62.42%和58.14%。在RegDB(Dongguk body-base...     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

利用局部监督的跨模态行人重识别研究

跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光图像转换成与红外图像更为接近的灰度图像,在图像层面缓解跨模态的差异,并使用共享参数的双流网络,提取具有判别性的共享特征,在特征层面缓解跨模态差异;其次,设计了局部监督网络,增强了对背景、遮挡等噪声的鲁棒性,缓解了模态内部差异;最后,设计了跨模态分组损失、联合身份损失对网络进行约束。实验结果显示,在SYSU-MM01数据集上,评价指标rank-1和mAP分别达到了53.31%、50.88%;在RegDB数据集上,达到了73.51%、68.55%,实验结果优于同类方法,验证了该方法的有效性和先进性。     

基于语义引导自注意力网络的换衣行人重识别模型

针对换衣行人重识别（ReID）任务中有效信息提取困难的问题，提出一种基于语义引导自注意力网络的换衣ReID模型。首先，利用语义信息将图像分割出无服装图像，和原始图像一起输入双分支多头自注意力网络进行计算，分别得到衣物无关特征和完整行人特征。其次，利用全局特征重建模块（GFR），重建两种全局特征，得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征，使得全局特征中的显著性信息更突出；利用局部特征重组重建模块（LFRR），在完整图像特征和无服装图像特征中提取头部和鞋部局部特征，强调头部和鞋部特征的细节信息，并减少换鞋造成的干扰。最后，除了使用行人重识别中常用的身份损失和三元组损失，提出特征拉近损失（FPL），拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上，与基于衣物对抗损失（CAL）模型相比，所提模型的平均精确率均值（mAP）分别提升了4.6和0.9个百分点；在Celeb-reID和Cele...     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。     

基于注意力机制学习域内变化的跨域行人重识别方法

针对行人重识别任务跨域迁移时性能严重衰退的问题,提出了一种基于注意力机制学习域内变化的跨域行人重识别方法。首先,以ResNet50为基础架构并对其进行调整使其适合行人重识别任务,并引入实例-批归一化网络（IBN-Net）以提高模型的泛化能力,同时增加区域注意力分支以提取更具鉴别性的行人特征。对于源域的训练,将其作为分类任务,使用交叉熵损失进行源域的有监督学习,同时引入三元组损失来挖掘源域样本的细节,从而提高源域的分类性能。对于目标域的训练,通过学习域内变化来适应源域和目标域间的数据分布差异。在测试阶段,以ResNet50 pool-5层的输出作为图像特征,并计算查询图像与候选图像间的欧氏距离来度量两者的相似度。在两个大规模公共数据集Market-1501和DukeMTMC-reID上进行实验,所提方法的Rank-1准确率分别达到80.1%和67.7%,平均精度均值（mAP）分别为49.5%和44.2%。实验结果表明,所提方法在提高模型泛化能力方面性能较优。     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

改进U-Net3+与跨模态注意力块的医学图像融合

目的 针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+ and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法 结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果 将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^AB/F)、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^AB/F较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%, SCD较DDcGAN提高了14.48%。结论 UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。     

基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash,DCMH）可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度。针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络（HX＿MAN）,将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明：HX＿MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确...     

胸部X线影像和诊断报告的双塔跨模态检索

针对现有胸部X线影像和诊断报告跨模态方法重点聚焦全局信息对齐,忽视影像和诊断报告间的细粒度语义关联,导致检索精度低、匹配度差的问题,提出全局和局部联合对齐的胸部X线影像和诊断报告双塔跨模态检索方法（CDTCR）。具体来说,针对细粒度语义表征,提出由残差网络组成的影像编码器学习影像的细粒度特征和由Transformer构成的BERT模型学习诊断报告的细粒度语义特征;针对细粒度语义关联问题,设计影像对句子和区域对词组两个不同粒度的模态间信息对齐策略,解决了不同模态间细粒度语义关联不足的问题。大型医学数据集MIMIC-CXR上的实验结果表明,CDTCR比现有的跨模态检索方法,检索精度更高、可解释性更强。     

基于深度特征学习的复杂环境下陌生人脸匹配算法研究

复杂环境下的陌生人脸匹配,即在人脸存在光照、姿态干扰时,判断两张在训练集中从未出现过的人脸照片是否代表同一个人。在预处理阶段,采用多尺度视皮层算法,降低光照的影响,提出并采用基于PCA-SIFT特征的图片融合算法无监督地对齐人脸,降低人脸姿态的影响。在识别阶段,提出并采用半随机池化方法优化了局部卷积限制波尔兹曼机网络的稳定性,习得深度特征后采用基于信息熵的度量学习算法计算马氏距离并通过SVM分类识别。实验结果显示,提出的方法在LFW数据集上取得了78%的识别率,相比于采用相同训练模式的经典度量学习方法取得了7%的提高,验证了所提方法的有效性。     

花卉图像色彩信息灰阶串扰量化方法仿真

图像颜色的完善匹配可以更有效率地提高整体视觉效果,但目前针对图像颜色的完善匹配,需提取出部分颜色分量的数据因子,以便于在完成匹配后,让目标图像拥有与初始图像相同的色彩,为了确保可以直观的评价出在立体显现中的串扰现象,提出花卉色彩信息灰阶串扰量化方法。提取花卉图像色彩信息特征,构建其2RGB模型,以减小光照和阴影对处理结果的影响。将图像的内容做灰阶串扰数值量化处理,选择出几张拥有特殊性的立体图像并对其提出平均灰阶转换概念。量化实验结果表明:所提方法可以有效完善串扰现象、提升整体视觉舒适度,其量化针对于评价显示器的灰阶串扰拥有优秀的适用性与便捷性。     

结合双流网络和双向五元组损失的跨人脸-语音匹配

面部视觉信息和语音信息是人机交互过程中最为直接和灵活的方式,从而基于智能方式的人脸和语音跨模态感知吸引了国内外研究学者的广泛关注.然而,由于人脸-语音样本的异质性以及语义鸿沟问题,现有方法并不能很好地解决一些难度比较高的跨人脸-语音匹配任务.提出了一种结合双流网络和双向五元组损失的跨人脸-语音特征学习框架,该框架学到的...     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

面向视觉问答的跨模态交叉融合注意网络

为了提高视觉问答(VQA)模型回答复杂图像问题的准确率,提出了面向视觉问答的跨模态交叉融合注意网络(CCAN).首先,提出了一种改进的残差通道自注意方法对图像进行注意,根据图像整体信息来寻找重要区域,从而引入一种新的联合注意机制,将单词注意和图像区域注意结合在一起;其次,提出一种"跨模态交叉融合"网络生成多个特征,将两...