基于LEBERT的多模态领域知识图谱构建

多模态知识图谱(multi-modal knowledge graph, MMKG)是近几年新兴的人工智能领域研究热点. 本文提供了一种多模态领域知识图谱的构建方法, 以解决计算机学科领域知识体系庞大分散的问题. 首先, 通过爬取计算机学科的相关多模态数据, 构建了一个系统化的多模态知识图谱. 但构建多模态知识图谱需要耗费大量的人力物力, 本文训练了基于LEBERT模型和关系抽取规则的实体-关系联合抽取模型, 最终实现了一个能够自动抽取关系三元组的多模态计算机学科领域知识图谱.     

大数据时代AIGC与多模态知识图谱的思考与展望

现今，随着大数据及人工智能技术的不断进步，AIGC（生成式AI）技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化，实现了从经验和数据中自我学习及自我完善的能力，从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合，结合自然语言理解、计算机视觉、语音识别等技术，形成一个全面且可扩展的领域知识图谱，提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨，然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述，为两者的发展提供一些有益的思路。     

融合多模态资源的教育知识图谱的内涵、技术与应用研究

传统的教育知识图谱研究多数面向文本资源,忽略了多模态资源对教育知识的解读作用及其自身丰富的特征表示。为了更好地推进后续研究工作,以多模态资源为切入点,对教育知识图谱进行综述。首先,介绍了知识图谱的概念和分类;其次,综述了教育知识图谱的内涵,对教育知识图谱的定义、分类及其构建框架进行梳理;结合以神经网络为代表的深度学习方式,对教育知识图谱的构建技术进行重点介绍;最后,总结了教育知识图谱的相关应用,并指出当前研究中存在的问题与未来的研究方向。     

多模态知识图谱构建与应用研究综述

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路.还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接.此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理.最后,从四个方面展望了多模态知识图谱的发展前景.     

《中国图象图形学报》多媒体智能专刊简介

近年来,人工智能和高性能计算快速发展,大规模多媒体数据的智能应用需求日趋广泛,多媒体数据的融合、转换、理解、搜索、推理与推荐等方向的新问题也不断涌现,推动了多媒体智能处理与分析技术的迅速发展,在学术界和产业界均引起极大关注。 为更好地推动多媒体智能处理与分析理论、技术、应用的发展,及时记录我国多媒体智能领域的最新技术、前沿进展、学者观点、算法研究、数据集构建及应用落地等方面的优秀成果,《中国图象图形学报》邀请国内多位一线专家共同策划推出“多媒体智能”专刊,以期为图像视频处理与分析、多媒体信息检索和推荐、多媒体内容分发、数据挖掘与机器学习等相关领域的研究人员提供参考。 经过严格评审,“多媒体智能”专刊共收录学术论文15篇,包括“学者观点”3篇、“综述”4篇、“多媒体智能安全”3篇、“目标智能检测”2篇、以及“多媒体分析与理解”3篇。 “学者观点”栏目中,《多媒体智能：当多媒体遇到人工智能》围绕“大数据”时代多媒体与人工智能融合的背景,提出了多媒体智能的新概念,探讨了多媒体和人工智能之间的相互影响,具体包括以下两个方向：1)多媒体推动人工智能向着更具可解释性的方向发展;2)人工智能促进多媒体推理能力的发展。这两个方向形成了一个多媒体智能循环,其中多媒体和AI以交互和迭代的方式相互促进增强。该文讨论了每一循环中的研究进展,特别是研究多媒体如何推动机器学习发展以及机器学习如何反过来推动多媒体发展。总结了循环中已经完成的工作,并指出了完成循环所需要做的未来工作,然后对值得进一步深入探索的多媒体智能相关研究方向进行了思考。 《视觉知识：跨媒体智能进化的新支点》介绍了一种新的智能表达方式——视觉知识的3个基本要素,即视觉概念、视觉关系、视觉推理,并对每个要素展开详细讨论与分析。视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理。视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点。 《面向海洋的多模态智能计算：挑战、进展和展望》首次从多模态数据技术的视角,系统地介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测、高性能计算4个关键科学问题中的挑战,并提出未来展望。 “综述”栏目中,《基于深度学习的人—物交互关系检测综述》一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。 《人类面部重演方法综述》对现阶段面部重演领域的发展进行梳理和总结。从面部重演模型入手,对面部重演存在的问题、模型的分类以及驱动人脸特征表达进行阐述,列举并介绍了训练面部重演模型常用的数据集及评估模型的评价指标,对面部重演近年研究工作进行归纳、分析与比较,最后对面部重演的演化趋势、当前挑战、未来发展方向、危害及应对策略进行了总结和展望。 《视觉语言多模态预训练综述》总结了视觉语言多模态预训练领域的进展,对常见的预训练数据集和预训练方法进行了汇总,然后对目前最新方法和经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行了汇总。最后总结了视觉语言预训练面临的挑战和未来发展趋势。 《Bayer阵列图像去马赛克算法综述》对Bayer采样阵列原理和图像去马赛克技术进行概述;将现有方法按照传统方法和基于深度学习方法两类进行总结,根据去马赛克任务是否具有独立性,将深度学习方法进一步细分为独立去马赛克任务和联合去马赛克任务两类,进一步分析了不同方法的原理和优缺点,并重点阐述了基于深度学习的去马赛克方法网络结构和重建机理,介绍去马赛克领域中常用的公共数据集和性能评价指标,并对相关实验进行分析对比。最后,围绕网络深度、运算效率、实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来的发展方向。 我们期待广大读者和科技人员通过“多媒体智能”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

高校人工智能课程多模态知识图谱构建及可视化

人工智能课程在教学过程面临着知识概念多、理论抽象等问题,不利于学生理解相关知识点。文章采用机器学习方法,通过数据收集与实体关系分类体系构建、实体关系抽取、多模态资源链接3个步骤自动构建了人工智能课程多模态知识图谱,并对其进行了可视化展示。     

4D时空纵向分析在生物医学领域中的应用现状与趋势

随着成像技术的成熟，临床医生及实验人员能获得同时带有时间和空间信息的4D（3D+时间）数据，用于纵向研究疾病变化情况。由于缺乏合适的处理算法，导致明显的信息丢失。为解决这一问题，一些研究发挥人工智能在海量数据处理上的优势进行纵向医学图像分析，研究目标随时间的动态变化。本文对4D时空纵向分析在生物学运动目标追踪、医学影像分割、肿瘤生长预测、血管动力学和神经科学等应用进行综述，重点探讨了人工智能技术与传统分析方法在各应用场景的优劣，并从联合多模态异构数据进行关联分析及联邦学习辅助算法部署两个角度进行前瞻性的探索和可行性分析，突破2D影像处理瓶颈，推动4D设备广泛应用，并为未来时空纵向分析在生物医学领域中的方法学研究及应用场景探索提供思路。     

跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.     

多模态信息处理前沿综述:应用、融合和预训练

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。     

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

多模态生物特征信息安全防护体系研究

在新的计算能力和深度学习技术推动下,人工智能、大数据发展进入了繁荣期,导致多模态生物特征信息迅猛增加与应用.由于多模态生物识别具有自然性和多场景应用性,特征信息的采集、识别、分析不仅涉及个人隐私和人格尊严,还主动或被动暴露在现实环境中,高校面临着巨大的信息安全保护需求和风险挑战.通过对高校多模态生物特征信息安全问题及现...     

问答系统研究综述

问答系统是人工智能和自然语言处理领域中具有广泛发展前景的研究方向之一.早期的问答系统限定以自然语言形式进行提问和回答,近年来,随着多模态知识图谱、多模态预训练模型的发展,支持文字、图片、音频、视频等多种模态间信息查询的广义问答系统逐渐成为新的研究热点,其以多媒体方式展示结果,更加直观、全面.本文根据问答系统任务对象的变化,将问答系统划分为3种类型:专用问答系统、通用问答系统和多模态问答系统.分析了这3种类型的问答系统发展过程中所面临的问题,着重总结每个阶段所采用的关键技术与方法,同时对问答系统在工业上的应用进行了举例说明,并对未来研究方向进行了展望.     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

面向3D场景智能寻路技术综述

智能寻路技术是人工智能的一个重要应用,该技术被应用到许多领域,其中在大型3D场景游戏中的应用尤为广泛。对现有智能寻路技术包括场景地图表示法、路径搜索技术分别进行了研究对比,分析每种方案的优劣势,总结了智能寻路技术的发展趋势。     

多模态检索在医学领域的研究综述

随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要的临床价值。回顾了近年来多模态检索在医学领域的实现方法,将其归纳为基于文本、基于内容以及基于融合信息的多模态检索,基于内容的多模态检索可进一步划分为基于传统特征的检索和基于深度特征的检索。针对多模态检索算法的性能,介绍了准确率、召回率以及平均精度均值等常用的评价指标。分析了当前医学领域多模态检索所面临的挑战,并对未来医学领域多模态检索的研究发展进行了展望。     

知识驱动的推荐系统：现状与展望

个性化推荐系统能够根据用户的个性化偏好和需要,自动、快速、精准地为用户提供其所需的互联网资源,已成为当今大数据时代应用最广泛的信息检索系统,具有巨大的商业应用价值。近年来,随着互联网海量数据的激增,人工智能技术的快速发展与普及,以知识图谱为代表的大数据知识工程日益受到学界和业界的高度关注,也有力地推动推荐系统和个性化推荐技术也迈入到知识驱动与赋能的发展阶段。将知识图谱中蕴含的丰富知识作为有用的辅助信息引入推荐系统,不仅能够有效应对数据稀疏、语义失配等传统推荐系统难以避免的问题,还能帮助推荐系统产生多样化、可解释的推荐结果,并更好地完成跨领域推荐、序列化推荐等具有挑战性的推荐任务,从而提升各类实际推荐场景中的用户满意度。本文将现有融入知识图谱的各种推荐模型按其采用的推荐算法与面向的推荐场景不同进行分类,构建科学、合理的分类体系。其中,按照推荐方法的不同,划分出基于特征表示的和基于图结构的两大类推荐模型;按推荐场景划分,特别关注多样化推荐、可解释推荐、序列化推荐与跨领域推荐。然后,我们在各类推荐模型中分别选取代表性的研究工作进行介绍,还简要对比了各个模型的特点与优劣。此外,本文还结合当下人工智能技术和应用的发展趋势,展望了认知智能推荐系统的发展前景,具体包括融合多模态知识的推荐系统,具有常识理解能力的推荐系统,以及解说式、劝说式、抗辩式推荐系统。本文的综述内容和展望可作为推荐系统未来研究方向的有益参考。     

领域知识图谱快速构建和应用框架

快速构建和应用领域知识图谱(domain knowledge graphs, DKG)已成为企业的迫切需求。然而,领域知识图谱的快速构建和应用仍然存在问题:1）构建前,复杂领域场景涉及知识维度广,业务专家短时间内难以构建完备的领域schema;2）构建中,业务和技术专家深度耦合,图谱构建缓慢,难以适应业务快速发展需求;3）构建后,图谱应用严重依赖技术人员开发,业务专家无法自主基于领域知识图谱探索问题解决方案。为解决上述问题,本文提出了领域知识图谱的快速构建和应用框架,其中包括:多人协作构建领域schema解决领域知识的复杂性问题,将业务和技术专家解耦合,提高领域知识图谱的构建效率,最后通过建立基于行业schema的auto-KBQA((knowledge base question answering)解决领域知识图谱在知识问答应用的快速落地。通过实际项目的应用落地,验证了该框架可有效加快领域知识图谱的落地应用,期望该框架给领域知识图谱的快速构建和应用带来一定的启发和帮助。     

基于知识图谱的智能问答研究综述

基于知识图谱的问答是近年来研究热点,从基于模板、语义解析、深度学习、知识图谱嵌入四方面介绍基于知识图谱智能问答实现,归纳了各类方法的优缺点,及尚未解决的关键问题。结合当前人工智能技术发展,重点介绍了基于深度学习的智能问答,有助于更多研究者投身于智能问答研究,根据不同行业需求研发适用于不同领域的问答系统,提高社会智能化信息服务水平。     

知识驱动的多模态语义理解研究综述

基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能,但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中,并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展,文中在对相关方法进行系统调研与分析的基础上,归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍,包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外,文中总结当前相关方法的优缺点并展望未来可能的发展趋势.