一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

基于异构低秩多模态融合网络的后囊膜混浊预测

针对后囊膜混浊并发症发病周期长、筛查范围广的问题,提出利用多模态机器学习预测后囊膜混浊并发症的计算机辅助诊断方法. 对后照影像进行感兴趣区域(ROI)提取和白色反光区域填充,所构建的异构低秩多模态融合网络(HLMF)能同时输入后照影像和视觉质量参数进行特征提取与融合,HLMF模型基于通道积融合多模态信息;采用卷积核参数低秩分解解决过拟合问题;选用Focal Loss损失函数解决类别不均衡的问题;在训练过程中还采用预训练和模态腐蚀的训练方法,使模型更好地提取单一模态的特征并进行融合. 该算法在后囊膜混浊数据集上的十折交叉验证准确率为95.63%,F1分数为96.72%. 实验结果表明,所提算法能较好地提取单模态特征并进行特征融合,相比于其他多模态融合模型有更好的性能.     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法(EFFC)融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和(SSE)由传统的2. 009降至0. 388 6,验证了该方法的有效性.     

脸耳多模态稀疏表示融合识别方法比较

将稀疏表示应用于脸耳多模态身份辨识,比较和分析采用不同融合方法的多模态稀疏表示识别算法的准确性和鲁棒性,为多模态稀疏表示融合识别算法设计提供理论和方法指导。结合多模态融合层次理论与稀疏表示分类的技术特点,提出3种多模态稀疏表示识别方法:直接特征融合法、间接特征融合法和匹配层融合法。从多模态融合角度看,3种方法的不同在于融合层次或融合策略不同;从稀疏表示角度看,它们的主要区别在于稀疏表示时脸和耳特征耦合的程度不同。在3个多模态数据库上的实验结果表明:所提3种方法在识别准确率和鲁棒性上远优于采用NN、NFL和SVM等分类器的融合识别方法;当脸耳图像中噪声不显著时, 3种方法性能相当,当噪声严重时,匹配层融合识别方法优于特征层融合方法。     

胶质母细胞瘤多模态磁共振图像自动分割

针对大多数传统胶质母细胞瘤（GBM）多模态磁共振（MR）图像分割算法未能将整个肿瘤细分为不同子区域的问题,提出基于混合特征和先验知识的GBM多模态MR图像自动分割算法. 配准GBM多模态MR图像,将头部区域方位调整到近似未旋转位置,并利用N4ITK法进行偏置场校正. 在提取GBM多模态MR图像局部位置特征、强度特征、纹理特征、对称特征和上下文特征后,应用随机森林分类器初步分割GBM多模态MR图像. 考虑GBM肿瘤解剖结构先验知识,移除小区域和中值滤波后得到最终分割结果. 以Dice相似性系数作为评价指标,利用所提出的算法对TCGA-GBM和CH-GBM数据库中整个肿瘤进行分割,获得的平均Dice相似性系数分别为0.871、0.882. 结果表明,该算法能以较高的准确率分割GBM多模态MR图像,适用于临床GBM多模态MR图像分割任务.     

多模态命名实体识别方法研究进展

为了解决多模态命名实体识别(MNER)研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,多模态命名实体识别方法相继被提出。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,结果表明：多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。建议在MNER的未来研究中,着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。     

使用聚类稳定性分析方法增强单类学习算法

针对传统单类学习模型对多模态或多密度分布数据描述能力不足的问题,将集成聚类和聚类稳定性分析引入单类学习.首先将确定聚类簇个数与确定聚类簇分布统一到同一个增强单类学习框架中,之后各聚类簇互为正负类分别建起立多个单类分类模型,最后采用最大融合体积方法融合其决策边界.以经典的支持向量数据描述(SVDD)为例,设计了基于集成聚类的稳定支持向量数据描述算法——ECS-SVDD.在标准UCI数据集和一个真实恶意程序行为数据集上的实验结果表明,ECS-SVDD的性能较单个支持向量数据描述及同类单类学习方法更优.该方法可直接推广到其他最小包含体积集合类型的单类学习算法上,以增强单类学习算法处理多模态和多密度分布数据的能力.     

类依赖增强线性判别分析算法

在增强线性判别分析和类依赖线性判别分析的基础上,提出了类依赖增强线性判别分析算法,对多模态数据进行分类.算法利用增强线性判别分析的局部信息保持能力,在不破坏多模态局部结构的前提下,对数据进行降维;然后采用最大散度差线性鉴别分析准则对每一类样本获取一个投影矩阵,从而获取不同类的样本分布的特征差异.在人脸数据库上进行实验验证,结果表明,该算法的分类效果好。     

基于非下采样剪切波变换的医学图像融合算法

为了解决单一模态医学图像的局限性,提出了一种基于非下采样剪切波变换(NSST)的多模态医学图像融合方法.该方法利用NSST将待融合的医学图像分解成低频系数和高频系数,并利用区域能量加权(WLE)的方法对分解后的低频系数进行融合,使用区域能量和平均梯度加权的方法对分解后医学图像的高低频系数进行融合,采用NSST逆变换重建融合后的图像.选择信息熵、平均梯度和空间频率3个参数作为融合图像的客观评价参数,结果表明,该方法取得的融合结果比离散小波、轮廓波和非下采样轮廓波变换等传统方法更好,计算效率更高.     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

一种彩色图像质量客观评价方法

为了研究图像质量客观评价结果与主观质量评价结果不一致的问题,依据图像的灰度直方图作为统计特征可以应用于图像质量的客观评价理论,采用数据拟合方法,研究了彩色图像的基于分量理论和色彩量化理论的颜色直方图的图像质量客观评价方法,并分别给出了拟合直方图曲线的算法步骤,根据失真图像和参考图像的拟合系数之差的权值是否在可失真范围内给出图像质量的二元评价．实验中计算基于灰度直方图拟合的灰度图像的每像素的数据差值后,可知在小于等于5×10。时失真图像质量为优,该方法和数据也适用于失真彩色图像质量的二元评价．     

基于引导滤波与稀疏表示的医学图像融合

为提升融合图像清晰度,提出一种基于引导滤波器与自适应稀疏表示的多模态医学图像融合算法.该算法利用高斯滤波器将输入图像分解为细节层和基础层;基于显著性特征和引导滤波器求得基础层权值图,根据该权值图结合加权平均融合规则对基础层进行融合;同时,采用自适应稀疏表示算法融合细节层;最后,将融合的细节层和基础层相加得到融合图像.在...     

基于压缩感知的肝脏CT/PET医学图像融合研究

针对医学诊断实时传输需求,提出一种基于压缩感知的医学图像融合研究算法.该算法采用基于压缩感知的融合方法,对非下采样轮廓波变换(NSCT)分解得到的高频子带用随机高斯矩阵分别进行测量,利用正交匹配追踪法重建各高频子带系数,对得到的高频部分和低频部分进行逆变换得到融合图像.通过对CT与PET肝脏医学图像的仿真实验,该算法可以增加多模态医学图像互补信息,并能较好地提高医学图像融合的清晰度.比较融合评价指标,证实本算法在保证融合质量的同时有效提高了运算效率,有利于满足医学诊断实时传输的应用需求.     

融合语音信号和脑电信号的多模态情感识别

为构造有效的情感识别系统,通过声音刺激分别诱发出高兴、悲伤、生气以及中性4种情感,并采集相应的语音信号和脑电信号。首先,利用相空间重构技术提取脑电信号和语音信号的非线性几何特征和非线性属性特征,并结合两者的基本特征分别实现情感识别;然后,通过构建基于限制玻尔兹曼机的特征融合算法,从特征层融合的角度实现多模态情感识别;最后,利用二次决策算法从决策融合的角度构建多模态情感识别系统。实验结果显示,从特征融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高1.08%和2.75%;从决策融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高6.52%和8.19%;决策融合相比特征融合构建的多模态情感识别系统整体识别效果更优。因此,融合语音信号和脑电信号等不同来源的情感数据可以构造出更有效的情感识别系统。     

一种基于多模态特征融合的垃圾邮件过滤方法

近年来,垃圾邮件制造者为了逃避基于文本的垃圾邮件过滤系统的检测,将垃圾信息嵌入到图像中,并将其附着在邮件正文中进行传播。传统的基于文本的过滤方式无法处理此类包含垃圾信息的邮件图像。为了应对这种同时包含文本和图像的垃圾邮件,本文提出了一种基于多模态特征的融合文本、图像等多媒体信息的过滤方法。首先通过抽取邮件的文本特征和图像特征构建多个分类器,然后采用多分类器融合技术对各分类器的输出结果进行综合。通过对TREC垃圾邮件语料集的测试实验表明,本文提出多模态特征融合的方法获得了比单个分类器更好的效果,准确率达到90%以上。     

多模态融合的家庭音乐相册自动生成

随着大数据以及社交网络的发展,电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行,电子相册的数量得到了爆炸增长,而如何增强相册的用户体验变得尤为重要.具有某种主题的相册一般都带有一定的情感信息,因此,本文研究了基于多模态融合的家庭音乐相册自动生成问题,旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感,本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征,然后在图像与音乐之间异构和跨模态的特征融合问题上,采用局部保持投影(LPP)方法,将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用LPP方法在查准率方面高于纯CCA方法;在主观评测中LPP获得72.06%的满意度,与人工推荐的评价结果(78.09%)比较接近,明显高于随机推荐和CCA方法的满意度.     

融合全局与局部特征的缩放图像质量评价

基于内容感知的图像非等比例缩放方法旨在具有不同分辨率的显示设备上保持图像的重要内容,并改善主观质量.图像缩放质量评价是衡量图像非等比例缩放效果的客观依据,现有客观评价方法不能有效地给出合乎主观感受的评价结果,为此提出一种融合全局与局部特征的缩放图像质量评价方法.首先提出基于B样条函数的图像全局结构形变度,计算图像缩放前后全局图像之间的形变量;其次结合主观视觉特点改进纵横比相似度(Aspect Ratio Similarity,ARS)使其更适合缩放图像的形变检测;最后线性融合这些度量特征得到客观的缩放评价标准.在两种公开数据集上与多种代表性算法进行对比,实验结果表明,本文提出的图像缩放客观评价方法与主观评价具有更好的相关性.     

基于PCA、SFIM、MLT算法的ETM+影像融合

采用PCA、SFIM和MLT3种融合算法对ETM 影像进行融合,并从融合影像的光谱质量、空间结构信息和分类精度等方面对融合方法进行评价.结果表明,SFIM融合法的光谱质量最高,PCA融合法具有最高的高频空间结构信息融入度,MLT融合法具有最高的分类精度,3种融合影像的分类精度都较原始影像的分类精度有所提高.     

一种RGB模型彩色图像增强方法

为了研究基于全参考图像的RGB模型彩色图像增强方法及其质量的客观评价方法,依据RGB模型彩色图像分解后得到的颜色分量具有相关性的理论,应用基于点处理的灰度图像的灰度变换理论,提出了基于像素值区间变换系数相同的和基于分量的变换系数比例一致的图像增强算法.实验结果表明,提出的算法均可用于一定目的的RGB模型彩色图像的增强,由给出一组基于误差的单位像素的增强质量的客观评价的计算公式计算出的数据可用于彩色图像的增强质量的客观评价,且与彩色图像的增强效果的主观质量评价结果是一致的,可用于彩色图像增强质量的评价.