基于大脑磁共振成像的多模态多层次信息融合方法

通过多层次特征计算对MCCA+jICA(multimodal canonical correlation analysis+joint independent component analysis)融合技术进行改进,提出一种基于无监督的多模态多层次大脑磁共振图像融合方法(multilevel MCCA+jICA,MMC...     

一种基于多模态特征融合的垃圾邮件过滤方法

近年来,垃圾邮件制造者为了逃避基于文本的垃圾邮件过滤系统的检测,将垃圾信息嵌入到图像中,并将其附着在邮件正文中进行传播。传统的基于文本的过滤方式无法处理此类包含垃圾信息的邮件图像。为了应对这种同时包含文本和图像的垃圾邮件,本文提出了一种基于多模态特征的融合文本、图像等多媒体信息的过滤方法。首先通过抽取邮件的文本特征和图像特征构建多个分类器,然后采用多分类器融合技术对各分类器的输出结果进行综合。通过对TREC垃圾邮件语料集的测试实验表明,本文提出多模态特征融合的方法获得了比单个分类器更好的效果,准确率达到90%以上。     

基于多模态融合和竞争力的视频场景分割算法

针对视频分割中底层特征与高层语义之间的“语义鸿沟”问题,提出了一种基于多模态融合和镜头间竞争力的场景分割算法,对视频帧的图像、文本、音频等模态进行特征提取,用欧式距离、余弦距离计算出同种模态数据的相似性,用典型相关分析法计算出不同模态数据的相关度,分别对各模态数据的相似性和相关度进行融合得到镜头之间的相似度和相关度,采用镜头间竞争力的方法分别对相似镜头和相关镜头进行场景分割并对分割出的两个场景边界集合取交集得到最终的场景边界,从而实现对视频的场景分割。实验结果表明,该方法在场景分割中具有较高的性能,查全率和查准率分别达到82．1％和86．7％。     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性,提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制,利用双重注意力建立文本与图像之间的关联以增强文本语义;在图像语义增强模块引入保留强度和更新强度,控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估,实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于混合融合的突发事件多模态情感分析

为了提升突发事件中网民情感分析的准确率和稳定性,提出一种基于混合融合的突发事件网民多模态情感分析模型。对于突发事件中的多模态信息,利用双向LSTM和VGG并结合注意力模型,分别提取文本情感特征和图像情感特征,利用中层融合的方式学习不同模态特征之间的交互关系,通过基于逻辑回归的决策层融合模型充分学习不同模态之间的相关性,最后通过全连接层输出情感预测结果。在构建的“新冠疫情”数据集上进行对比验证实验,结果表明,所构建的模型相较于基准模型具有一定的优越性。     

基于GP算法的多模态门电路设计

多模态电路是与传统基于开关切换或者可重构实现方式的多功能电路不同的一种新颖的多功能电路,它在电路结构不发生改变的情况下,由电路某种参数（温度、电源电压、控制信号）的变化实现电路的多种功能。作为一种新的电路类型,多模态电路设计还没有标准的设计准则,针对现有的设计方法存在元件冗余,电路结构不合理的缺点,提出了用GP（遗传程序设计）算法来设计多模态门电路,并实现了一个控制信号控制的与／异或门,电路的分析结果说明了该设计方法的可行性。     

一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

视频广告中多模态的隐喻认知建构

在认知语言学隐喻认知角度分析广告文本研究的基础上，本文加入了多模态的分析方法，认为图像、声 音等模态的引入使从隐喻角度分析视频广告成为可能。文章通过对视频广告香奈儿可可小姐香水广告的多模态隐 喻认知分析，证明了该分析方法是一种有效的了解动态文本认知建构过程的方法。     

基于手掌几何学的多模态生物特征识别系统的设计

针对目前生物特征识别中存在的不足,充分利用生物特征的优势,通过对掌形图像的特征提取及图像预处理、特征提取与比对技术,开展多模态生物特征融合的识别机制研究,目的在于提出一种更为实用的、多级别安全设置的多模态生物特征融合识别机制,提出基于ARM11硬件的实施方案,设计一种适合不同应用场景的安全生物特征识别系统,满足目前身份认证系统的需要。     

基于多模态进化计算的特征选择策略

特征选择是数据预处理的重要环节,可以提高数据质量,简化数据结构,降低后续环节计算成本.目前,许多研究将进化计算应用到特征选择领域,目的是求解数据集的一条最优特征子集.但是由于现实问题的复杂性,数据集中的最优特征子集存在不唯一的情况,并且用单个特征子集表征数据信息具有一定的片面性.因此,提出了一种基于多模态进化算法的特征...     

公益广告手势的多模态隐喻研究

手势是公益广告的重要模态形式之一,对隐喻的动态构建发挥着重要的作用。基于多模态隐喻理论,结合公益广告的语类特点,手势在多模态隐喻意义建构过程中有三种运作机制,即手势直接激活源域、手势通过转喻间接激活源域或目标域以及手势同时激活源域和目标域。公益广告中,目标域可以不呈现或者通过转喻间接呈现;手势既可以直接构建单模态隐喻,也可协同图像、语言(言语、文字)、声音等模态构建多模态隐喻;手势传达广告创作者的注意焦点。     

多模态特征融合的中文谣言检测

相较于纯文本的网络谣言,图文并茂的网络谣言形式更容易取得信任,同时也增加了谣言检测的难度。针对此类谣言形式,提出了一种融合多模态特征的中文谣言检测方法。首先,通过深度学习模型分别提取待检测信息中的文本词特征、文本的句子特征、文本的情感倾向特征、图像视觉特征和视觉特征语义向量;然后,通过注意力机制融合文本的词特征和视觉特征语义向量得到语义一致性特征;最后,将文本的句子特征、文本的情感倾向特征、图像视觉特征和语义一致性特征拼接起来得到多模态特征用于谣言检测。实验结果表明,本文提出的方法在微博多模态数据集上的准确率和F1值分别达到了89.9%和89.8%,提高了谣言检测的效果。     

一种基于决策层融合的多模态情感识别方法

设计了一种软硬结合的多模态情感识别系统,使用语音和面部表情两个模态,通过梅尔频率倒谱系数与卷积神经网络对情感进行识别和分类,同时将语音情感识别迁移到神经网络计算棒以降低环境负载. 在模态融合时,采用决策层融合的方式来提高识别准确率. 实验结果表明,系统拥有较高的识别准确率,且能够在性能较差的运行环境中保持运行速度.     

一种基于多模态模型的随机子空间分类集成算法

分类是当前机器学习的重要研究内容之一,已取得了一定的进展.现有的文本分类方法大多基于VSM模型,而VSM未能有效地利用隐含在文本中的结构信息.同时,VSM下的样本空间常常是高维的,单一的降维策略可能会丢失有用信息.为改进现有算法的不足,提出了一种基于多模态模型的随机子空间分类集成算法MMRFSEn,有效地利用文本中的结构信息（单词分布位置的均值和标准差）,且各基分类器是由随机选择的子空间构建而成.实验结果表明,该方法是有效可行的.     

多模态文本在大学英语阅读教学中的应用研究

在新课改下,纯文字文本正逐渐被图像、印刷版式、色彩等与文字符号交互的多模态文本所代替,多模态文本对于英语阅读教学具有深刻意义。以多模态符号学和知识可视化表征为基础,把多模态文本引入大学英语阅读教学之中,从而提高阅读教学效果、学生的多模态识读能力及外语教学的质量。以《大学体验英语综合教程》第三册Unit 2中的passage A为例,探讨多模态文本在大学英语阅读教学中的必要性和具体应用过程。     

脸耳多模态稀疏表示融合识别方法比较

将稀疏表示应用于脸耳多模态身份辨识,比较和分析采用不同融合方法的多模态稀疏表示识别算法的准确性和鲁棒性,为多模态稀疏表示融合识别算法设计提供理论和方法指导。结合多模态融合层次理论与稀疏表示分类的技术特点,提出3种多模态稀疏表示识别方法:直接特征融合法、间接特征融合法和匹配层融合法。从多模态融合角度看,3种方法的不同在于融合层次或融合策略不同;从稀疏表示角度看,它们的主要区别在于稀疏表示时脸和耳特征耦合的程度不同。在3个多模态数据库上的实验结果表明:所提3种方法在识别准确率和鲁棒性上远优于采用NN、NFL和SVM等分类器的融合识别方法;当脸耳图像中噪声不显著时, 3种方法性能相当,当噪声严重时,匹配层融合识别方法优于特征层融合方法。     

多模态语言表达的实际应用

以Halliday的功能语言学为理论基础,用Kress和van Leeuwen的多模态和符号理论学为依据,以两本杂志的封面为例,从其版式、字体排印风格和图像及颜色的选用来分析,意在发现以视觉图像语法框架为基础的多模态语言表达的实际应用和构建意义,进而证明系统功能语言学在视觉图像分析上的可行性以及多模态的实际识读作用。     

基于膜计算的多模态图像配准算法研究

图像配准是图像融合的前提,具有重要的研究价值。传统的基于智能进化的优化算法在进行图像配准时,存在配准精度低,收敛速度慢的问题。利用膜计算的并行协同进化特性,提出一种在膜计算框架下的多模态图像配准算法,即GA-MCIR算法。设计一种细胞型P系统的膜结构,细胞膜中1个对象表示1组浮动图像变换参数,每个基本膜采用遗传算法进化对象获得最优变换参数,并将最优对象转运到上层膜中,同时所有基本膜之间随机进行最优对象转运操作。通过以上2种转运操作,上层膜保留本膜中本次进化的全局最优对象,并将其转运到各子膜中,参与各子膜的进化。最终,整个P系统的最优变换参数保留在表层膜中。将CT脑部图像和可见光与红外光图像等多模态图像进行配准实验,其结果表明,所提算法相比于基于GA和PSO的图像配准算法具有更高的配准精度、更好的全局收敛性。       

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明：该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。