多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法

收集421名鼻咽癌患者头颈部水平位T1加权（T1W）、T2加权（T2W）以及T1增强（T1C）三种模态MR图像,并由2名经验丰富的临床医生对图像中的肿瘤区域进行勾画,将其中346位患者的多模态图像及其标签作为训练集,将剩余75位患者的多模态图像及其标签作为独立测试集;分别构建单模态多维信息融合、两模态多维信息融合以及多模态多维信息融合（MMMDF）的卷积神经网络（CNN）,并对模型进行训练和测试;使用Dice、豪斯多夫距离（HD）与面积差占比（PAD）评估3种模型的性能,结果表明,多模态多维融合模型的性能最优,两模态多维信息融合模型性能次之,单模态多维信息融合模型性能最差. 结果证明,多模态二维与三维特征融合的深度卷积网络能够准确有效地分割鼻咽癌MR图像中的肿瘤.     

动态调整语义的词性加权多模态情感分析模型

为更好地利用单词词性包含的语义信息和伴随单词出现时的非自然语言上下文信息,提出动态调整语义的词性加权多模态情感分析（part of speech weighted multi-modal sentiment analysis model with dynamic semantics adjustment, PW-DS）模型．该模型以自然语言为主体,分别使用基于Transformer的双向编码器表示（bidirectional encoder representation from Transformers, BERT）模型、广义自回归预训练（generalized autoregressive pretraining for language understanding, XLNet）模型和一种鲁棒优化的BERT预训练（robustly optimized BERT pretraining approach, RoBERTa）模型为文本模态做词嵌入编码;创建动态调整语义模块将自然语言和非自然语言信息有效结合;设计词性加权模块,提取单词词性并赋权以优化情感判别．与张量融合网络和低秩多模态...     

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明：该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。     

基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法(EFFC)融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和(SSE)由传统的2. 009降至0. 388 6,验证了该方法的有效性.     

多模态命名实体识别方法研究进展

为了解决多模态命名实体识别(MNER)研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,多模态命名实体识别方法相继被提出。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,结果表明：多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。建议在MNER的未来研究中,着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。     

胶质母细胞瘤多模态磁共振图像自动分割

针对大多数传统胶质母细胞瘤（GBM）多模态磁共振（MR）图像分割算法未能将整个肿瘤细分为不同子区域的问题,提出基于混合特征和先验知识的GBM多模态MR图像自动分割算法. 配准GBM多模态MR图像,将头部区域方位调整到近似未旋转位置,并利用N4ITK法进行偏置场校正. 在提取GBM多模态MR图像局部位置特征、强度特征、纹理特征、对称特征和上下文特征后,应用随机森林分类器初步分割GBM多模态MR图像. 考虑GBM肿瘤解剖结构先验知识,移除小区域和中值滤波后得到最终分割结果. 以Dice相似性系数作为评价指标,利用所提出的算法对TCGA-GBM和CH-GBM数据库中整个肿瘤进行分割,获得的平均Dice相似性系数分别为0.871、0.882. 结果表明,该算法能以较高的准确率分割GBM多模态MR图像,适用于临床GBM多模态MR图像分割任务.     

基于混合融合的突发事件多模态情感分析

为了提升突发事件中网民情感分析的准确率和稳定性,提出一种基于混合融合的突发事件网民多模态情感分析模型。对于突发事件中的多模态信息,利用双向LSTM和VGG并结合注意力模型,分别提取文本情感特征和图像情感特征,利用中层融合的方式学习不同模态特征之间的交互关系,通过基于逻辑回归的决策层融合模型充分学习不同模态之间的相关性,最后通过全连接层输出情感预测结果。在构建的“新冠疫情”数据集上进行对比验证实验,结果表明,所构建的模型相较于基准模型具有一定的优越性。     

结合PCM和MIE的多模态图像配准方法

针多模态图像配准问题,提出了一种基于相位一致性模型（PCM）和互信息熵（MIE）的配准方法.通过相位一致性模型同时提取多模态图像的角点和边缘特征,在边缘图上取角点的邻域,依据邻域间互信息熵的最小值在估计区域搜索匹配特征,利用RANSAC算法去除错配,进而确定待配准图像间的变换参数.实验表明：该方法达到了像素级配准精度、求解稳定,对多模态引起的非线性灰度变化、光照变化、噪声等都具有较强的鲁棒性;计算精度较基于同类特征的配准方法高,角点、边缘等几何特征综合运用在多模态图像配准中效果良好.     

应用实正交多项式的多模态辨识迭代算法

针对在实验模态分析中系统多模态整体参数辨识的系数方程易病态问题,对传统正交多项式频域模态参数辨识方法进行了改进.应用部分分式实正交多项式构建频响函数幅值平方的分析模型规避了原有复正交多项式的复杂计算.应用模态隔离方法将原多模态整体参数辨识的过程拆分为由分步单模态参数辨识实现,减轻了系数方程的病态,并且放宽了对所辨识模态数量的限制.经多次的迭代提高分步单模态参数辨识的精度.数值结果表明,该算法的参数辨识精度高且结果收敛迅速.     

基于无监督深度学习的红外图像与可见光图像融合算法

红外和可见光图像表征了互补的场景信息. 现有的基于深度学习的融合方法大多通过独立提取网络分别提取两个源图像特征,从而丢失了源图像之间的深度特征联系. 基于此,提出了一种新的基于无监督深度学习的红外图像与可见光图像融合算法,针对不同模态的特点采用不同的编码方式提取图像特征,利用一个模态的信息补充另一个模态的信息,并对提取到的特征进行融合,最后根据融合特征重建融合图像. 该算法可在两个模态的特征提取路径之间建立交互,不仅可预融合梯度信息和强度信息,且能增强后续处理的信息. 同时设计了损失函数,引导模型保留可见光的细节纹理,并保持红外的强度分布. 将所提算法与多种融合算法在公开数据集上进行对比实验,结果表明,所提算法获得了良好的视觉效果,客观指标评价方面对比现有的优秀算法也有一定的提升.     

Deep multimodal learning for municipal solid waste sorting

Automated waste sorting can dramatically increase waste sorting efficiency and reduce its regulation cost. Most of the current methods only use a single modality such as image data or acoustic data for waste classification, which makes it difficult to classify mixed and confusable wastes. In these complex situations, using multiple modalities becomes necessary to achieve a high classification accuracy. Traditionally, the fusion of multiple modalities has been limited by fixed handcrafted features. In this study, the deep-learning approach was applied to the multimodal fusion at the feature level for municipal solid-waste sorting. More specifically, the pre-trained VGG16 and one-dimensional convolutional neural networks (1D CNNs) were utilized to extract features from visual data and acoustic data, respectively. These deeply learned features were then fused in the fully connected layers for classification. The results of comparative experiments proved that the proposed method was superior to the single-modality methods. Additionally, the feature-based fusion strategy performed better than the decision-based strategy with deeply learned features.

     

基于背景和前景交互传播的图像显著性检测

为了更精确地提取图像中的显著性区域,提出一种新的基于背景和前景交互传播的图像显著性检测计算模型。通过建立一个新的模型来寻找图像中的显著性元素,用一种交互式特征传播方法来扩散显著性特征。采用不同参数对图像进行分割,得到多个尺度下的超像素;在单一尺度下通过背景和前景交互传播获得超像素的显著值;对多个显著值进行加权平均融合,并采用平滑机制进行优化得到最终显著图。在公开图像数据库进行的试验结果表明,该模型提高了对图像显著目标大小的适应性,不仅较好地抑制了噪声,还使得显著目标更均匀地凸显出来,结果优于同类的算法。     

基于HOG-SIFT融合优化的多人脸特征提取方法

针对昏暗光线及复杂背景下人脸特征提取效果易受环境因素干扰影响的问题,在进行人脸图像预处理过程中引入双边滤波处理,进一步研究基于自商图像理论的人脸图像光照干扰抑制方法; 结合HOG特征较好的全局性以及SIFT特征对复杂背景影响较好的适应性,提出一种基于HOG-SIFT融合优化的多人脸特征提取方法. 试验结果表明,该方法可有效实现昏暗光线环境及复杂背景下多人脸特征提取功能.     

PCA-CCA在红外与可见光图像特征融合中的应用

针对红外与可见光图像特征级融合提出一种基于PCA-CCA的融合方法.分别提取红外与可见光图像的特征,由于当特征维数较高时,基于CCA方法的目标函数会面临协方差矩阵奇异的问题,无法进行求解,因此首先利用PCA方法进行降维,然后在低维空间中利用CCA方法求解融合特征.通过实验证明,本文的方法能够有效地提取融合特征,并且识别效果高于单一的CCA融合方法.     

基于Gabor滤波器和深度学习的图像检索方法

针对图像数据库日渐庞大的问题,研究了将特征提取与深度学习相结合进行图像检索的方法,提出了基于Gabor小波变换和受限玻尔兹曼机(RBM)的特征提取和降维模型.将整幅图像划分成局部图像块,利用Gabor滤波器组提取图像特征,通过RBM对特征进行学习和编码,从而实现图像特征的降维处理.采用基于深度信念网络(DBN)和Softmax分类器的图像检索算法,利用Corel图像库进行新方法的图像检索实验,并与其他两种方法进行比较.结果表明,本文方法在准确率、查全率和检索时间上均具有较好的性能,能得到更好的图像检索结果.     

一种基于分块的虹膜识别方法（研究生论坛）

为了解决低质量虹膜图片识别效果不好的问题,提出了一种基于分块的虹膜识别算法。该方法并不像常规算法一样对整个图片进行识别,而是首先将虹膜区域均等地分割为无重叠的分块,然后对每一个分块提取低秩矩阵作为特征,接着使用稀疏分类器进行分类,最后依据稀疏浓度指数,将各分块识别结果进行贝叶斯融合,由于虹膜图片不同区域的质量不一样,该方法能够降低质量不好的虹膜区域对最终识别结果的影响。在标准虹膜数据库CASIA-Iris-Interval 和 IIT Delhi V1上的实验结果显示该算法拥有较高的正确识别率,且对于低质量的虹膜图片具有较强的鲁棒性,对分块和训练图片数量的研究表明,将虹膜区域分为8个分块较为合适,使用7张训练图片就能够很好的表示一类。     

脸耳多模态稀疏表示融合识别方法比较

将稀疏表示应用于脸耳多模态身份辨识,比较和分析采用不同融合方法的多模态稀疏表示识别算法的准确性和鲁棒性,为多模态稀疏表示融合识别算法设计提供理论和方法指导。结合多模态融合层次理论与稀疏表示分类的技术特点,提出3种多模态稀疏表示识别方法:直接特征融合法、间接特征融合法和匹配层融合法。从多模态融合角度看,3种方法的不同在于融合层次或融合策略不同;从稀疏表示角度看,它们的主要区别在于稀疏表示时脸和耳特征耦合的程度不同。在3个多模态数据库上的实验结果表明:所提3种方法在识别准确率和鲁棒性上远优于采用NN、NFL和SVM等分类器的融合识别方法;当脸耳图像中噪声不显著时, 3种方法性能相当,当噪声严重时,匹配层融合识别方法优于特征层融合方法。     

脉冲涡流红外热成像缺陷特征提取方法

基于脉冲涡流红外热成像技术的缺陷特征提取与分析是无损检测领域的研究热点之一。该文提出一种新的脉冲涡流红外热图像特征提取算法并用于强化缺陷信息。该算法主要包括基于熵梯度的显著热图像选择、局部稀疏图像分离以及局部稀疏图像融合3个部分。对比于常用的两种脉冲涡流红外热成像数据特征提取算法——独立成分分析算法和鲁棒主成分分析算法,实验结果表明,该算法可以更好地强化有意义的缺陷信息并抑制包含噪声的背景区域。     

非凸稀疏低秩约束的高光谱解混方法

针对高光谱混合像元的丰度矩阵具有行稀疏特性,提出一种非凸稀疏低秩约束的高光谱解混方法．首先,建立高光谱图像非凸稀疏低秩约束模型,将丰度系数矩阵的非凸p范数作为稀疏约束,并将丰度系数矩阵奇异值的非凸p范数作为低秩约束;其次,构建联合低秩性先验与稀疏性先验的非凸极小化模型,并提出求解的增广拉格朗日交替极小化算法,将复合正则化问题分解成多个单一正则化问题,交替迭代求解．实验仿真结果表明,该算法比贪婪算法和凸优化算法能获得更高的解混精度,并且适用于信噪比较高的高光谱数据．