基于多头注意力机制的多模态帕金森病安全检测系统

在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病语音和步态双模态数据,在传统卷积神经网络后融合多头注意力机制与多层感知机,有效提高模型的特征提取、融合与识别能力;为了保证数据传输过程的安全性,使用基于余弦混沌的差分隐私加噪方式扰动随机拆分的数据编号,提高帕金森病数据传输安全性;通过两模态消融实验和对比实验结果表明,提出的基于多头注意力机制的帕金森病多模态远程检测模型实际测试准确率达到0.913,且模型的各项评估指标和收敛速度等均高于传统模型,具备良好的帕金森病智能辅助检测效果,能够满足帕金森病早期智能安全筛查与诊断需求。     

基于时序卷积网络的早期帕金森多模态检测系统

帕金森病是最常见的神经退行性疾病之一,其临床特征与其他神经退行性疾病有重叠,且缺乏明确的病理机制,导致早期诊断检测困难、误诊率高等问题;为了研究有效的早期帕金森病检测方法,深入探索帕金森病发展的时间特征规律,并提高早期帕金森病预测、分析和诊断决策的准确性,设计了一种基于时序卷积网络的早期帕金森病多模态检测系统,为及时发现早期帕金森病提供辅助诊断依据;该系统利用语音、步态和受试者自测数据,采用多元线性池化方法进行多模态融合,结合时间卷积网络和参数共享方式,以提高系统的检测精度并降低过拟合风险;实验测试结果显示,基于时序卷积网络的早期帕金森病检测系统的准确率达到96.22%,在多项评估指标上优于传统的帕金森检测模型,展现出良好的早期帕金森联合检测效果。     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

基于YOLO的多模态特征差分注意融合行人检测

针对可见光模态与热红外模态间的差异问题和如何充分利用多模态信息进行行人检测,本文提出了一种基于YOLO的多模态特征差分注意融合行人检测方法.该方法首先利用YOLOv3深度神经网络的特征提取主干分别提取多模态特征;其次在对应多模态特征层之间嵌入模态特征差分注意模块充分挖掘模态间的差异信息,并经过注意机制强化差异特征表示进而改善特征融合质量,再将差异信息分别反馈到多模态特征提取主干中,提升网络对多模态互补信息的学习融合能力;然后对多模态特征进行分层融合得到融合后的多尺度特征;最后在多尺度特征层上进行目标检测,预测行人目标的概率和位置.在KAIST和LLVIP公开多模态行人检测据集上的实验结果表明,提出的多模态行人检测方法能有效解决模态间的差异问题,实现多模态信息的充分利用,具有较高的检测精度和速度,具有实际应用价值.     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

多模态情绪识别研究综述

本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一重难点问题,从数据级融合、特征级融合、决策级融合、模型级融合4种融合层次下的主流高效信息融合策略进行了介绍。然后从多种行为表现模态混合、多神经生理模态混合、神经生理与行为表现模态混合这3个角度分别列举具有代表性的多模态混合实例,全面合理地论证了多模态相较于单模态更具情绪区分能力和情绪表征能力,同时对多模态情绪识别方法转为工程技术应用提出了一些思考。最后立足于情绪识别研究现状的分析和把握,对改善和提升情绪识别模型性能的方式和策略进行了深入的探讨与展望。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型。首先,使用卷积神经网络（CNN）、双向门控循环神经网络（BiGRU）和多头自注意力（MHSA）实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,添加额外的情感极性分类和情感强度回归任务作为辅助,从而提升情感评分回归主任务的综合性能。实验结果表明,相较于多模态分解模型,所提模型的二分类准确度指标在CMU-MOSEI和CMU-MOSI多模态数据集上分别提高了7.8个百分点和3.1个百分点。该模型适用于多模态场景下的情感分析问题,能够为商品推荐、股市预测、舆情监控等应用提供决策支持。     

基于多任务学习的多模态命名实体识别方法

针对传统多模态命名实体识别方法无法有效融合图文模态信息且不能区分易混淆实体等问题，提出一种基于多任务学习的多模态命名实体识别方法，通过对比融合辅助任务促进图文模态信息的融合，通过实体聚类辅助任务提升模型对易混淆实体的判断能力。利用BERT预训练语言模型和ResNet模型分别对原始文本和图片进行特征映射获得相应的特征向量，并利用跨模态Transformer结构融合图文模态信息。在多模态命名实体识别任务基础上，增加对比融合辅助任务促进图文模态信息融合，增加实体聚类辅助任务学习实体类别之间的差异，提升模型对易混淆实体的区分能力。最后，利用条件随机场层学习上下文转移概率，并输出最优预测结果。实验结果显示，在国际公开数据集Twitter-2017上，所提方法相较于基线方法取得了更高的准确率、召回率和F1值，其中F1值可达85.59%，表明对比融合辅助任务和实体聚类辅助任务能够促进模型对实体的识别效果。     

U-型电子步道系统：帕金森病运动障碍评估

为了实现帕金森病（PD）运动障碍全面而准确地量化评估和帕金森病的辅助诊断,设计一种新的用于量化步态分析的U-型电子步道系统,该系统包括U-型电子步道和数字诊疗系统。利用U-型电子步道系统获取传感器信号,并采用数字诊疗系统提取受试者直行和转弯状态下运动障碍相关的步态运动学特征。在测试阶段,采用支持向量机（SVM）分类算法识别帕金森病患者步态模式。实验结果表明基于U-型电子步道系统提取的步态运动学特征,构建的模型能实现帕金森病患者识别,同时提取的转弯步态特征能够大幅提高帕金病患者的准确率。     

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.     

多模态网络融合在轻度认知障碍分类中的应用

针对早期轻度认知障碍（MCI）根据医学诊断认知量表评估极有可能无法判断的问题,提出了一种多模态网络融合的MCI辅助诊断分类方法。基于图论的复杂网络分析方法在神经影像领域的应用已得到广泛认可,但采用不同模态的成像技术研究脑部疾病对大脑网络拓扑结构属性的影响会产生不同结果。首先,使用弥散张量成像（DTI）与静息态功能磁共振成像（rs-fMRI）数据构建大脑结构和功能连接的融合网络。然后,融合网络的拓扑属性被施以单因素方差分析（ANOVA）,选择具有显著差异的属性作为分类特征。最后,利用支持向量机（SVM）留一法交叉验证对健康组和MCI组分类,估算准确率。实验结果表明,所提方法的分类结果准确率达到94.44%,相较单一模态数据法的分类结果有明显提高。所提方法诊断出的MCI患者在扣带回、颞上回以及额叶和顶叶部分区域等许多脑区表现出显著异常,与已有研究结果基本一致。     

融合多模态数据的小样本命名实体识别方法

作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样...     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

基于多模态表示学习的阿尔兹海默症诊断算法

阿尔茨海默症是一种典型的涉及多种致病因素的神经系统退行性疾病.然而,阿尔茨海默症的病因尚不明确,病程不可逆转,且无治愈方法,因此其早期诊断和治疗一直是人们关注的重点.受试者的神经影像数据对于该疾病的诊断具有重要的辅助作用,而结合多个模态的数据可进一步提高诊断效果.目前,联合该疾病的多模态数据进行辅助诊断逐渐成为一个新兴的研究领域.在此提出了一种基于自编码器的多模态表示学习方法,用于阿尔茨海默症的诊断.首先将多个模态的数据进行初步融合,得到初级的共同表示;然后将其送入自编码器网络,学习隐空间中的共同表示;最后对隐空间中的共同表示进行分类,得到疾病的诊断结果.在国际公开ADNI数据集上,所提算法对患病和健康受试者的诊断准确率达到88.9％,与同类算法相比取得了最好的诊断效果.实验结果验证了所提算法对阿尔茨海默症诊断的有效性.     

自编码器动态主导融合的多模态情感分析

多模态情感分析过程中,对情感判定起主导作用的模态常常是动态变化的。传统多模态情感分析方法中通常仅以文本为主导模态,而忽略了由于模态之间的差异性造成不同时刻主导模态的变化。针对如何在各个时刻动态选取主导模态的问题,提出一种自编码器动态主导融合的多模态情感分析方法。该方法首先对单模态编码并获得多模态融合特征,再利用自编码器将其表征到共享空间内;在此空间内衡量单模态特征与融合模态特征的相关程度,在各个时刻动态地选取相关程度最大的模态作为该时刻的主导模态;最后,利用主导模态引导多模态信息融合,得到多模态鲁棒性表征。在多模态情感分析基准数据集CMU-MOSI上进行广泛实验,实验结果表明提出方法的有效性,并且优于大多数现有最先进的多模态情感分析方法。     

可靠多模态学习综述

近年来多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一,并成功应用于诸多现实场景,如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练,进而提升单模态及集成的性能.而开放环境下,受数据缺失及噪声等因素的影响,多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失,从而导致“模态表示强弱不一致”、“模态对齐关联不一致”两大挑战,而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题,可靠多模态学习被提出并进行了广泛研究,本文系统地总结和分析了目前国内外学者针对可靠多模态学习取得的进展,并对未来研究可能面临的挑战进行展望.     

基于GA的步态特征与SVM参数协同优化研究

为了辅助医生对帕金森病患者进行更好的诊断,采用遗传算法对患者步态特征和支持向量机参数进行协同优化。在特征选择部分将步态特征和支持向量机参数使用二进制编码的方式生成染色体,同时输入到遗传算法中。考虑到遗传算法的搜索性能和运行时间,针对算法中的种群大小和进化代数这两个参数进行了寻优,找出合适的种群大小和进化代数。实验结果显示平均准确率为85.11%,相对于其他特征选择算法,准确率最高高出14%。表明使用该方法后对帕金森病患者的步态特征进行了有效去除,有利于患者的诊断。     

关联模态补偿的视频动作识别算法

随着深度摄像机的发展,不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述,如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态,以3D骨架数据为辅助模态,利用源模态和辅助模态高层特征空间的关联性,补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络,对源模态数据和辅助模态数据进行时空域特征建模.在此基础上,提出了基于残差子网络的模态适应模块,通过统一源模态特征和辅助模态特征的数据分布,实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况,设计了多层次模态适应算法,以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助,在测试过程中可以仅根据源模态数据进行动作的识别,极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明,相比于现有动作识别算法,该算法取得了更加优越的性能.     

基于步态分析的帕金森病辅助诊断方法综述

针对现有的帕金森病（PD）的诊断方法,对基于步态分析的PD的辅助诊断方法进行了综述。在临床上,常见的步态评估PD的诊断方法是基于量表的,该方法虽然简单方便,但主观性强,且对医生的临床经验要求较高。而计算机技术的发展为步态分析提供了更多的方法。首先,总结了PD以及它在步态上的异常表现。然后,回顾了基于步态分析的PD辅助诊断的常用方法,这些方法大致可分为基于可穿戴设备的和基于非可穿戴设备的：可穿戴设备体积小、辅助诊断准确率高,可长时间监测患者的步态状况;非可穿戴设备则是通过微软Kinect等视频传感器捕捉人体步态数据,避免了穿戴相关设备以及对患者行动的限制。最后,指出了现有的步态分析方法中存在的不足并探讨了未来可能的发展趋势。     

自监督对比特征学习的多模态乳腺超声诊断

超声图像的乳腺癌自动诊断具有重要的临床价值。然而,由于缺乏大量人工标注数据,构建高精度的自动诊断方法极具挑战。近年来,自监督对比学习在利用无标签自然图像产生具有辨别性和高度泛化性的特征方面展现出巨大潜力。然而,采用自然图像构建正负样本的方法在乳腺超声领域并不适用。为此,本文引入超声弹性图像(elastography ultrasound, EUS),利用超声图像的多模态特性,提出一种融合多模态信息的自监督对比学习方法。该方法采用同一病人的多模态超声图像构造正样本;采用不同病人的多模态超声图像构建负样本;基于模态一致性、旋转不变性和样本分离性来构建对比学习的目标学习准则。通过在嵌入空间中学习两种模态的统一特征表示,从而将EUS信息融入模型,提高了模型在下游B型超声分类任务中的表现。实验结果表明本文提出的方法能够在无标签的情况下充分挖掘多模态乳腺超声图像中的高阶语义特征,有效提高乳腺癌的诊断正确率。