关联模态补偿的视频动作识别算法

随着深度摄像机的发展,不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述,如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态,以3D骨架数据为辅助模态,利用源模态和辅助模态高层特征空间的关联性,补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络,对源模态数据和辅助模态数据进行时空域特征建模.在此基础上,提出了基于残差子网络的模态适应模块,通过统一源模态特征和辅助模态特征的数据分布,实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况,设计了多层次模态适应算法,以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助,在测试过程中可以仅根据源模态数据进行动作的识别,极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明,相比于现有动作识别算法,该算法取得了更加优越的性能.     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

基于LEBERT的多模态领域知识图谱构建

多模态知识图谱(multi-modal knowledge graph, MMKG)是近几年新兴的人工智能领域研究热点.本文提供了一种多模态领域知识图谱的构建方法,以解决计算机学科领域知识体系庞大分散的问题.首先,通过爬取计算机学科的相关多模态数据,构建了一个系统化的多模态知识图谱.但构建多模态知识图谱需要耗费大量的人力物力,本文训练了基于LEBERT模型和关系抽取规则的实体-关系联合抽取模型,最终实现了一个能够自动抽取关系三元组的多模态计算机学科领域知识图谱.     

多支路协同的RGB-T图像显著性目标检测

目的 显著性目标检测是机器视觉应用的基础,然而目前很多方法在显著性物体与背景相似、低光照等一些复杂场景得到的效果并不理想。为了提升显著性检测的性能,提出一种多支路协同的RGB-T（thermal）图像显著性目标检测方法。方法 将模型主体设计为两条主干网络和三条解码支路。主干网络用于提取RGB图像和Thermal图像的特征表示,解码支路则分别对RGB特征、Thermal特征以及两者的融合特征以协同互补的方式预测图像中的显著性物体。在特征提取的主干网络中,通过特征增强模块实现多模图像的融合互补,同时采用适当修正的金字塔池化模块,从深层次特征中获取全局语义信息。在解码过程中,利用通道注意力机制进一步区分卷积神经网络（convolutional neural networks,CNN）生成的特征在不同通道之间对应的语义信息差异。结果 在VT821和VT1000两个数据集上进行测试,本文方法的最大F-measure值分别为0.843 7和0.880 5,平均绝对误差（mean absolute error,MAE）值分别为0.039 4和0.032 2,相较于对比方法,提升了整体检测性能。结论 通过对比实验表明,本文提出的方法提高了显著性检测的稳定性,在一些低光照场景取得了更好效果。     

基于多模态融合与多层注意力的视频内容文本表述研究

针对现有视频内容文本表述模型存在生成的文本表述单一、准确率不高等问题,提出一种融合帧级图像及音频信息的视频内容文本表述模型。基于自注意力机制设计单模态嵌入层网络结构,并将其嵌入单模态特征中学习单模态特征参数。采用联合表示、协作表示两种方法对单模态嵌入层输出的高维特征向量进行双模态特征融合,使模型能关注视频中不同目标间的交互关系,从而生成更加丰富、准确的视频文本表述。使用大规模数据集对模型进行预训练,并提取视频帧、视频所携带的音频等表征信息,将其送入编解码器实现视频内容的文本表述。在MSR-VTT和LSMDC数据集上的实验结果表明,所提模型的BLEU4、METEOR、ROUGEL和CIDEr指标分别为0.386、0.250、0.609和0.463,相较于MSR-VTT挑战赛中IIT DeIhi发布的模型,分别提升了0.082、0.037、0.115和0.257,能有效提升视频内容文本表述的准确率。     

基于介质谐振器的轨道角动量天线设计

近年来,轨道角动量一直是无线通信领域的研究热点。本文将轨道角动量与毫米波技术相结合,提出了一种基于介质谐振器的轨道角动量天线。建立了该天线的等效模型,推导了其辐射场的理论表达,讨论了介质谐振器半径对涡旋波电磁波模态的影响,通过仿真结果表明,该天线在K_(a)波段有四个谐振点,能够分别产生模态l=1,2,3,4的涡旋电磁波。此外,该天线结构紧凑、成本低、增益良好,具有较高的天线效率,产生的各个模态的涡旋电磁波都具有良好的旋转性,能够获得较强的抗干扰能力,为轨道角动量在毫米波频段的应用提供了一定的现实意义。     

基于多模态融合的个性化服装搭配推荐

为提高服装的匹配度且实现高精度推荐,从而满足消费者对个性化服装搭配推荐的巨大需求,研究了从服装颜色到类别的高度非线性复杂属性交互,并以服装搭配的匹配度量化标准为基础,构建了单品潜在特征表示空间的嵌入模型,通过构建融合多模态信息的矩阵分解框架模型,进一步分析了现有多模态特征融合算法的不足,刻画了不同用户的服装风格偏好,通过特征提取、多模态特征融合、匹配度计算等手段建立个性化服装搭配方案。实验结果表明：该模型计算出的服装匹配度达到了0.81,相较于传统方法提高了1.25%,实现了更高准确度和推荐精度的个性化服装推荐。     

基于高阶统计量的多模噪声中的信号检测

按照概率密度函数形状,给出了一种比较通用的非高斯噪声模型——多模噪声。多模噪声总体上属于非高斯噪声,但兼容了高斯噪声。改进了高阶统计量的双谱算法,给出一种基于双谱的多模噪声中信号的检测方法,并在此基础上结合无惯性非线性变换器和双谱技术,改进了传统的自适应幅频干扰抑制器,可以精确估计或检测信号。仿真表明该方法可以抑制高斯噪声,同时在强噪声和复杂背景下可以以较高的检测概率检测出信号,优于传统的似然比检测。     

Bi-/multi-modal pore formation of PLGA/hydroxyapatite composite scaffolds by heterogeneous nucleation in supercritical CO2 foaming

Scaffolds with multimodal pore structure are essential to cells differentiation and proliferation in bone tissue engineering.Bi-/multi-modal porous PLGA/hydroxyapatite composite scaffolds were prepared by supercritical CO_2 foaming in which hydroxyapatite acted as heterogeneous nucleation agent.Bimodal porous scaffolds were prepared under certain conditions,i.e.hydroxyapatite addition of 5%,depressurization rate of 0.3 MPa·min~(-1),soaking temperature of 55℃,and pressure of 9 MPa.And scaffolds presented specific structure of small pores(122 μm±66 μm)in the cellular walls of large pores(552μm±127μm).Furthermore,multimodal porous PLGA scaffolds with micro-pores(37 μm±11 μm)were obtained at low soaking pressure of 7.5 MPa.The interconnected porosity of scaffolds ranged from(52.53±2.69)% to(83.08±2.42)%by adjusting depressurization rate,while compression modulus satisfied the requirement of bone tissue engineering.Solvent-free CO_2 foaming method is promising to fabricate bi-/multi-modal porous scaffolds in one step,and bioactive particles for osteogenesis could serve as nucleation agents.     

基于经验模式分解和互信息的多模态图像配准

基于互信息的配准方法是目前多模态图像配准研究中的热点.提出了一种基于经验模式分解后剩余图像和互信息的多模态图像配准方法.首先通过理论分析得出通过求解剩余图像之间的变换参数即可获得原始图像之间的变换参数,从而论证了二维经验模式分解(BEMD)应用于多模态图像配准的可行性,然后给出了图像配准方法的实现步骤.典型多模态图像配准实验结果表明此方法与传统互信息法和基于小波分解结合互信息的方法相比,旋转角度估计误差可以降低1个数量级,缩放参数的估计误差也有很大降低.表明该方法获得了更高的配准精度.