利用跨模态轻量级YOLOv5模型的PET/CT肺部肿瘤检测

多模态医学图像可在同一病灶处提供更多语义信息,针对跨模态语义相关性未充分考虑和模型复杂度过高的问题,该文提出基于跨模态轻量级YOLOv5(CL-YOLOv5)的肺部肿瘤检测模型。首先,提出学习正电子发射型断层显像(PET)、计算机断层扫描(CT)和PET/CT不同模态语义信息的3分支网络;然后,设计跨模态交互式增强块充分学习多模态语义相关性,余弦重加权计算Transformer高效学习全局特征关系,交互式增强网络提取病灶的能力;最后,提出双分支轻量块,激活函数簇(ACON)瓶颈结构降低参数同时增加网络深度和鲁棒性,另一分支为密集连接的递进重参卷积,特征传递达到最大化,递进空间交互高效地学习多模态特征。在肺部肿瘤PET/CT多模态数据集中,该文模型获得94.76%mAP最优性能和3 238 s最高效率,以及0.81 M参数量,较YOLOv5s和EfficientDet-d0降低7.7倍和5.3倍,多模态对比实验中总体上优于现有的先进方法,消融实验和热力图可视化进一步验证。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标(Acc2,F 1)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在C...     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示.然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks...     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

半配对的多模态询问哈希方法

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence, NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。     

基于深度卷积神经网络的多元医学信号多级上下文自编码器

多元医学信号的典型代表有多模态睡眠图和多通道脑电图等，采用无监督深度学习表征多元医学信号是目前健康信息学领域中的一个研究热点。为了解决现有模型没有充分结合医学信号多元时序结构特点的问题，该文提出了一种无监督的多级上下文深度卷积自编码器(mCtx-CAE)。首先改进传统卷积神经网络结构，提出一种多元卷积自编码模块，以提取信号片段内的多元上下文特征；其次，提出采用语义学习技术对信号片段间的时序信息进行自编码，进一步提取时序上下文特征；最后通过共享特征表示设计目标函数，训练端到端的多级上下文自编码器。实验结果表明，该文所提模型在两种应用于不同医疗场景下的多模态和多通道数据集(UCD和CHB-MIT)上表现均优于其它无监督特征学习方法，能有效提高多元医学信号的融合特征表达能力，对提高临床时序数据的分析效率有着重要意义。     

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。      

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_β、平均绝对误差(MAE)、S_m分数分别为0.917 6,0.009 5和0.919 9。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。     

基于混合学习模式的多模态学习分析机制探究

教育信息化的飞速发展促进了混合学习的应用与推广，推动了教学模式的革新，同时也产生了海量的多模态学习数据。通过对混合学习的多模态学习分析数据来源、数据特征和应用场景的分析，结合数据采集、处理和分析技术，构建了混合学习的多模态学习分析流程，分析了多模态数据与学习测量任务之间的关系，以实现对学习者学习过程的全面分析和精准评价，帮助教师和学习者更好地调整教学计划和学习策略，提高教与学的效率，并为后续相关研究的开展提供理论参考。     

基于跨模态空间匹配的多模态肺部肿块分割网络

现有多模态分割方法通常先对图像进行配准,再对配准后的图像进行分割.对于成像特点差异较大的不同模态,两阶段的结构匹配与分割算法下的分割精度较低.针对该问题,该文提出一种基于跨模态空间匹配的多模态肺部肿块分割网络(MMSASegNet),其具有模型复杂度低和分割精度高的特点.该模型采用双路残差U型分割网络作为骨干分割网络,...     

标签敏感的多重集正交相关特征融合方法

典型相关分析(CCA)作为一种经典的特征融合方法,广泛用于模式识别领域,其目标是学习相关投影方向使两组变量间的相关性最大,但其没有考虑样本的类标签信息和样本间的信息冗余(MDOCCA),从而影响了融合后特征的监督敏感性和鉴别力。为此,该文提出一种标签敏感的多重集正交相关特征融合方法,该方法在典型相关分析理论基础上,将类标签信息嵌入到特征融合框架,同时加入正交约束确保融合特征最大限度的不相关,减少特征信息冗余,提高鉴别力。在不同图像数据集上的实验结果显示该方法是一种有效的特征融合方法。     

图强化典型相关分析及在图像识别中的应用

典型相关分析(CCA)作为一种传统特征提取算法已经成功应用于模式识别领域,其旨在找到使两组模态数据间相关性最大的投影方向,但其本身为一种无监督的线性方法,无法利用数据内在的几何结构和监督信息,难以处理高维非线性数据。为此该文提出一种新的非线性特征提取算法,即图强化典型相关分析(GECCA)。该算法利用数据中的不同成分构建多个成分图,有效保留了数据间的复杂流形结构,采用概率评估的方法使用类标签信息,并通过图强化的方式将几何流形和监督信息融合嵌入到典型相关分析框架。为了对该算法进行评估,分别在人脸和手写体数字数据集上设计了针对性实验,良好的实验结果显示出该算法在图像识别中的优势。     

A novel algorithm for voice conversion using Canonical Correlation Analysis

A novel algorithm for voice conversion is proposed in this paper. The mapping function of spectral vectors of the source and target speakers is calculated by the Canonical Correlation Analysis （CCA） estimation based on Gaussian mixture models. Since the spectral envelope feature remains a majority of second order statistical information contained in speech after Linear Prediction Coding （LPC） analysis, the CCA method is more suitable for spectral conversion than Minimum Mean Square Error （MMSE） because CCA explicitly considers the variance of each component of the spectral vectors during conversion procedure. Both objective evaluations and subjective listening tests are conducted. The experimental results demonstrate that the proposed scheme can achieve better performance than the previous method which uses MMSE estimation criterion.     

核典型相关分析的融合人脸识别算法

为了更有效地映射图像数据样本到可分类特征空间,提高分类正确率,提出了一种新的基于核函数的典型相关分析的融合人脸识别算法.该方法首先把图像矩阵通过核函数影射到核空间,然后从核空间的行和列两个方向进行特征抽取,同时避免分解映射后的数据矩阵,简化了数据运算,获得了更具鉴别力的分类特征.在Ohio州立大学的OTCBVS可见/红外人脸数据库中进行了分类识别实验,实验结果表明:该方法可以获得90%以上的识别正确率,优于其他的典型相关分析的人脸识别方法的分类正确率.此外,对不均匀光照变化,表情变化等人脸识别的常见问题具有很好的抵抗能力.     

基于独立向量分析的脑电信号中肌电伪迹的去除方法

脑电数据经常被各种电生理信号伪迹所污染。在常见伪迹中,肌电伪迹特别难以去除。文献中最常用的方法包括诸如独立分量分析(Independent Component Analysis, ICA)和典型相关分析(Canonical Correlation Analysis, CCA)等盲源分离技术。该文首次提出一种基于独立向量分析(Independent Vector Analysis, IVA)的新方法,用以去除脑电中的肌电伪迹。IVA同时使用高阶统计量和二阶统计量,因此该方法能够充分利用肌电伪迹的非高斯性和弱相关性,兼具ICA方法和CCA方法的优势。实验表明,使用IVA方法可以在保留脑电成份的同时极大抑制肌电伪迹,效果显著优于ICA法和CCA法。     

Canonical principal angles correlation analysis for two-view data

Canonical correlation analysis (CCA) is a popular method that has been widely used in information fusion. However, CCA requires that the data from two views must be paired, which is hard to satisfy in the real applications, moreover, it only considers the correlated information of the paired data. Thus, it cannot be used when there are only a little paired data or no paired data. In this paper, we propose a novel method named Canonical Principal Angles Correlation Analysis (CPACA) which does not need paired data during training stage. It makes classic CCA escape from the limitation of paired information. Its objective function can be constructed as follows: First, the correlation of two views is represented by the similarity between two subspace spanned by the principal components, which makes CPACA favorably compare with CCA in the case of limited paired data; Second, in order to increase the discriminative information of CPACA, we utilize manifold regularization to exploit the geometry of the marginal distribution. To optimize the objective function, we propose a new method to calculate the projected vectors. The experimental results show that the performance of CPACA is superior to that of traditional CCA and its variants.     

融合局部纹理和形状特征的人脸表情识别

针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进,该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS-LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征,然后使用典型线性分析法(CCA)进行特征融合,最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库上的实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,该文所提人脸表情识别方法取得了较好的分类识别效果。     

基于核典型相关分析的语音情感识别研究

语音是人类表达思想和感情交流最重要的工具,是人类文化的重要组成部分。语音情感识别作为情感计算中的重要课题已经成为国际上的研究热点,受到越来越多的关注。已有神经科学研究表明,大脑是产生调节情感的物质基础。因此,在语音情感的研究中,我们不能仅考虑语音信号自身,还应将大脑的活动信号融入语音情感识别中,以实现更高准确率的情感识别。基于上述思想,本文提出了一种基于核典型相关分析（KCCA）的语音特征提取方法。该方法将语音特征与脑电图（EEG）特征映射到高维希尔伯特空间,并计算二者的最大相关系数。KCCA将语音特征在高维希尔伯特空间上向与脑电特征相关性最大的方向投影,最终得到包含脑电信息的语音特征。本文方法将与语音情感相关的脑电信息融入语音情感特征提取中,所提特征能够更准确的表征情感。同时,本方法在理论上具有良好的可迁移性,当所提脑电特征足够准确与具有代表性时,KCCA建模得到的投影向量具有通用性,可直接用于新的语音情感数据集中而无需重新采集和计算相应的脑电信号。在自建语音情感数据库与公开语音情感数据库MSP-IMPROV上的实验结果表明,使用投影语音特征进行语音情感分类的方法优于使用原始音频特征...     

核典型关联性分析相关特征提取与核逻辑斯蒂回归域自适应学习

本文提出了一种利用核典型关联性分析提取源域目标域最大相关特征，使用核逻辑斯蒂回归模型进行域自适应学习的算法，该算法称为KCCA-DAML（Kernel Canonical Correlation Analysis for Domain Adaptation Learning）.该算法基于特征集关联性分析，有效的减小源域和目标域的概率分布差异性，利用提取的最大相关特征通过核逻辑斯蒂回归模型实现源域到目标域的跨域学习.实验比较源域数据上核逻辑斯蒂学习模型、目标域上核逻辑斯蒂学习模型、源域和目标域上核逻辑斯蒂学习模型和KCCA-DAML模型，结果显示KCCA-DAML在真实数据集上成功的实现了跨域学习.