舰用燃气轮机框架模型的模态参数识别

本文采用一次有理正交多项式－多模态曲线合法对一舰用燃气轮机框架模型进行了实验模态分析，以Ｆｏｒｓｙｔｈｅ复合交多项式作为频响函数的理论值，用实测的频响函数建立系数矩阵，来寻找使目标函数最小的最优值，本文在ＨＰ９８２６微机上建立了建立了测试，数据采集及参数识别等系统识别软件，给出了具有工程实用意义的前五阶振动模态参数，识别结果和有限元计算相比较，令人满意。     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

基于深度学习的医学图像配准技术研究进展

医学图像配准技术对于病灶检测、临床诊断、手术规划,疗效评估等有着广泛的应用价值。系统性地总结了基于深度学习的配准算法,从深度迭代、全监督、弱监督到无监督学习的研究发展趋势,分析了各种方法的优势与局限。总体来看,无论是对数据的要求、配准精度,还是计算效率,无监督学习因其不依赖金标准和解剖标签,采用端到端的网络配准框架就可以自动执行需要的任务等优势成为研究的主流方向。然而,基于无监督学习的医学图像配准方法在医学图像领域的可解释性、跨模态多样性和可重复可扩展性方面同样面临着一些研究难点和挑战,这为将来实现更精准的医学图像配准方法指明了研究方向。     

一种语义级文本协同图像识别方法

为解决单纯依赖图像低级视觉模态信息进行图像识别准率低的问题. 考虑到许多图像中存在文本信息,提出了利用图像中的文本信息辅助图像识别的语义级文本协同图像识别方法. 该方法通过文本定位方法定位到图像中的文本块,对其进行分割、二值化、提取特征等处理;然后获取语义,提取图像底层视觉信息,计算两模态的相关性,从而得到协同后验概率; 最后,得到联合后验概率,并取其中最大联合后验概率对图像进行识别. 在自建体育视频帧数据库中,通过与以朴素贝叶斯为代表的单模态方法进行比较,方法在3种不同视觉特征下均具有更高的准确率. 实验结果表明,文本协同方法能够有效辅助图像识别,具有更好的识别性能.     

大数据关联关系度量研究综述

大数据关联性分析是大数据挖掘的基础,一个好的关联性度量是实施关联分析的关键。本文首先指出大数据时代关联度量面临的挑战和研究现状,从关联关系度量的构造角度出发,对现有的关联关系度量进行整理,归纳总结了这些关联关系的性质和适用条件。在回顾关联度量发展历程的基础上,结合大数据时代关联关系的特点,提出构造关联度量可能满足的条件。最后针对多模态数据关联关系度量的若干问题进行探讨和梳理,从3个角度出发,提出应对多模态数据空间转换的挑战,以引起对该领域更深入的思考与研究工作,从而促进大数据挖掘工作的进展。     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

多模态函数优化的小生境蚁群算法及其仿真分析

结合蚁群算法基本原理,设计一种解决多模态函数优化问题的小生境蚁群算法(NACA),算法采用实数编码,通过对NACA仿真研究,并和相关算法的仿真结果进行比较分析,结果表明NACA具有参数易于选择、适应性强、收敛性好等优点,非常适合于求解同时具有多个最优解或需要搜寻局部最优解的多模态函数优化.     

基于局部二值模式和级联AdaBoost的多模态人脸识别

提出了一种基于局部二值模式(LBP)和 级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost算法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选出最有利于分类的少量特征,并连接成一个直方图向量,再分别用线性判别分析构建相应的线性子空间,用余弦相似度作为投影向量的相似度量,用求和规则进行信息融合。在FRGC数据库上的实验结果表明,提出的方法采用少量的特征取得了很好的识别效果,等错误率仅为1.40%。     

以图像为主的多模态感知与多源融合技术发展及应用综述

不同模态的表现方式不同,描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两种以上的模态组合起来,融合不同传感器、不同平台收集到的数据、特征信息,兼顾不同图像的优势,在遥感监测、军事安防、自动驾驶等领域有着广泛的运用。介绍了热成像、高光谱成像、偏振成像、合成孔径雷达(SAR)、激光雷达(LiDAR)等多模态感知技术,总结了不同成像方式的特点与联系,简述了多源融合相关概念及其技术发展历程,重点分析了不同模态下图像融合案例,在此基础上归纳多模态感知和多源融合技术的发展趋势,最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。