多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

面向人工智能深度学习的知识图谱补全技术与应用综述

知识图谱旨在为各种领域提供更加全面可靠的服务,在实际应用中的价值不可估量,为了使其不断更新和趋于完整,知识图谱补全技术开始被提出;近几年,随着人工智能和深度学习的兴起,许多国内外学者对知识图谱补全方向进行深入研究,出现了很多面向人工智能深度学习的知识图谱补全模型,但相关的文献综述却并不多;为了提供一个全面了解该领域的框架,有助于读者能够掌握当前的研究进展和应用情况,并为未来的研究和应用提供一些参考;通过介绍其概念和典型的知识图谱,从深度学习的知识补全技术的三个角度展开,分析和归纳了目前基于深度学习的知识图谱补全模型,探讨了不同模型的优缺点及改进模型;同时,讨论了现阶段知识图谱补全任务所存在的问题和挑战,并探索了该领域的应用方向和发展前景;综上所述,深度学习在知识图谱补全中具有巨大的发掘价值,亟待学者们进行更深入的研究和进一步地创新。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

基于深度学习的威胁情报知识图谱构建技术

随着网络威胁日益增多,威胁情报的知识图谱构建技术成为了网络安全领域的重要研究方向;然而,目前知识图谱构建技术对知识的获取缺乏快速性和准确性。针对这些问题,本文提出一种监督性的深度学习模型,对威胁情报的实体和实体关系进行自动化抽取,并通过图数据库进行知识图谱的可视化展示。实验结果表明,本文提出的基于深度学习模型对威胁情报实体和实体抽取的方法,在准确性上有着较大提高,为自动化构建威胁情报知识图谱提供有力的保障。     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

基于知识图谱的法律问答系统研究

为了给群众提供免费且准确的法律咨询服务并降低咨询成本和律师服务成本，对基于知识图谱的法务问答系统进行了设计研究。系统构建基于BERT+BiLSTM+CRF的法律实体识别模型，对法律实体进行字符级抽取，将词向量技术、双向长短期记忆模型和条件随机场模型相结合，获得最优序列标注，为知识图谱构建和文本处理提供技术支持，并针对缺少法律咨询方面知识图谱的现状，构建了一个知识图谱，改善用户法律咨询的体验。     

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已经成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测.其次,提出链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移.最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明,所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.     

基于异质信息网络的推荐模型

为了解决推荐系统的冷启动和稀疏性问题, 本文提出了一种基于异质信息网络的推荐模型. 传统的推荐方法无法在知识图谱表示学习中融入隐含的路径信息, 这样使得知识推荐系统性能较为一般. 本文提出的模型在异质信息网络中设置元路径, 通过图神经网络融入到知识图谱表示学习中. 再利用注意力网络连接推荐任务和知识图谱表示任务, 其可以学习两个任务之中潜在的特征, 并且能够增强推荐系统中被推荐项和知识图谱中实体的相互作用. 最后在推荐任务中进行用户点击率预测. 模型在公开数据集Book-Crossing和通过DBLP数据集构建的图谱上进行了实验. 最后结果表明, 模型在AUC, 召回率和F1值3个指标上均比其他算法有更好的表现.     

知识图谱补全技术研究综述

作为一种新兴的数据结构，知识图谱被广泛用于搜索引擎、推荐系统、对话系统等诸多领域中.知识图谱补全(knowledge graph completion)是通过不同的方法，对图谱中的三元组残缺项进行补充.本文以模型构造方法为视角，从Trans结构、神经网络和张量分解三类方法对已有知识图谱补全的相关技术研究进行深入探讨，分析了不同补全技术的优缺点.指出了Trans结构模型和张量分解模型适用于大规模的知识图谱补全，而神经网络模型适用于关系结构复杂的知识图谱补全；现有知识图谱补全技术存在关系复杂性高、语义信息难以获取、训练代价大、模型扩展性差等不足.从知识图谱中复杂关系处理、上下文语义获取、节点间长期依赖关系捕获、模型融合与可扩展性等方面来展望了知识图谱补全技术未来主要研究方向.     

知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

面向智能教育的自适应学习关键技术与应用

本文是关于我们获得2020年度吴文俊人工智能科学技术奖主要工作的一个介绍。该成果针对自适应学习中面临的教学资源表示困难、学习状态诊断困难以及学习策略设计困难等关键技术难题,首先构建数据驱动的教学资源无监督表示新框架,提高了教学资源质量评估和内容检索的精度和效率。其次提出基于深度学习的学习者认知诊断新方法,突破了以量表为基础的教育测量理论研究范式。然后设计基于知识匹配的个性化推荐技术以及多目标匹配的自适应推荐技术,满足了智能教育场景的复杂约束与学习者的多样目标需求。最后,本文成果研发了面向基础教育的智能教育系统——智学网,已在全国推广使用,对我国智能教育发展具有积极意义。     

高校继续教育网站的研究

学生毕业之后仍然需要知识更新和继续提高,而为他们提供培训机会的大多是社会办学机构,因此,高职院校有必要建立网络继续教育系统为毕业生提供继续学习、更新知识的平台。利用ASP技术、网络技术、网站开发技术等能快速开发这样一个系统平台,为学生提供继续学习机会的同时,提高学校自身的竞争力。     

Neurocontroller design via supervised and unsupervised learning

In this paper we study the role of supervised and unsupervised neural learning schemes in the adaptive control of nonlinear dynamic systems. We suggest and demonstrate that the teacher's knowledge in the supervised learning mode includes a-priori plant sturctural knowledge which may be employed in the design of exploratory schedules during learning that results in an unsupervised learning scheme. We further demonstrate that neurocontrollers may realize both linear and nonlinear control laws that are given explicitly in an automated teacher or implicitly through a human operator and that their robustness may be superior to that of a model based controller. Examples of both learning schemes are provided in the adaptive control of robot manipulators and a cart-pole system.     

一种基于注意力联邦蒸馏的推荐方法

数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G （the 5th generation mobile communication technology）时代的到来,个人设备数据量和传输速率预计比当前提高10~100倍,因此要求模型执行效率更高.针对此问题,知识蒸馏可以将教师模型中的知识迁移到更为紧凑的学生模型中去,让学生模型能尽可能逼近或是超过教师网络,从而有效解决模型参数多和通信开销大的问题.但往往蒸馏后的学生模型在精度上会低于教师模型.提出一种面向推荐系统的联邦蒸馏方法,该方法首先在联邦蒸馏的目标函数中加入Kullback-Leibler散度和正则项,减少教师网络和学生网络间的差异性影响;引入多头注意力机制丰富编码信息,提升模型精度;并提出一个改进的自适应学习率训练策略来自动切换优化算法,选择合适的学习率,提升模型的收敛速度.实验验证了该方法的有效性：相比基准算法,模型的训练时间缩短52%,模型的准确率提升了13%,平均误差减少17%,NDCG值提升了10%.     

多人网络虚拟现实儿童科普系统的设计研究

针对传统儿童科普教育存在的沉浸感薄弱、知识传输方式单一的问题,设计基于多人网络虚拟现实(VR)技术的儿童科普系统.系统的设计采用模块化的构建方式,主要分为网络联机模块和虚拟现实科普教育业务控制模块.在网络联机模块中,建立起服务器,教师机,学生机之间的信息通信,实现多人信息的加载和多人空间位置的实时同步.虚拟现实科普教育...     

Deterministic learning and neural control of a class of nonlinear systems toward improved performance

A deterministic learning theory was recently presented which states that an appropriately designed adaptive neural controller can learn the system internal dynamics while attempting to control a class of nonlinear systems in normal form. In this paper, we further investigate deterministic learning of the class of nonlinear systems with relaxed conditions, and neural control of the class of system toward improved performance. Firstly, without the assumption on the upper bound of the derivative of the unknown affine term, an adaptive neural controller is proposed to achieve stability and tracking of the plant states to that of the reference model. When output tracking is achieved, a partial PE condition is satisfied, and deterministic learning from adaptive neural control of the class of nonlinear systems is implemented without the priori knowledge on the upper bound of the derivative of the affine term. Secondly, by utilizing the obtained knowledge of system dynamics, a neural controller with constant RBF networks embedded is presented, in which the learned knowledge can be effectively exploited to achieve stability and improved control performance. Simulation studies are included to demonstrate the effectiveness of the results.     

ICT & learning in Chilean schools: Lessons learned

By the early nineties a Chilean network on computers and education for public schools had emerged. There were both high expectancies that technology could revolutionize education as well as divergent voices that doubted the real impact of technology on learning. This paper presents an evaluation of the Enlaces network, a national Information and Communication Technologies (ICTs) and education initiative designed as part of a series of programs to overcome inequity and quality issues of public education in Chile, by integrating teachers and learners into the knowledge society. Data gathered and the results obtained in four major areas of educational policies – infrastructure, digital literacy, conditions of learning, and the impact on school learning of major national and international tests – are presented and fully analyzed. The strengths and weaknesses of Enlaces as a visible component of the educational system and educational reform are also discussed. Enlaces has provided basic infrastructure tools, connectivity, ICTs, and teacher training to a huge number of schools, but critical results are narrow in terms of classroom learning and no additional competencies have been observed. Data and results are limited by structural bottlenecks in the educational and social system. Finally, the lessons learned after more than 15 years of implementing technology in Chilean schools are presented and fully discussed.     

Integrating cognitive apprenticeship methods in a Web-based educational technology course for P-12 teacher education

The purpose of this study is to investigate the integration of a cognitive apprenticeship model in a Web-based course. The subject of this study is an educational technology course for pre-service P-12 teacher education students. Specifically, this study presents student reports of how cognitive apprenticeship methods impacted student learning processes of (a) technology skills and (b) technology integration methods for teaching. The methodological framework for this qualitative investigation is an interpretive case study. Student reflections and teacher observations revealed that students found modeling, coaching, scaffolding, and exploration key to fostering skill knowledge, and they found the use of cognitive apprenticeship methods fostered an understanding of integrating technology for teaching and learning.     

Preparation versus practice: How do teacher education programs and practicing teachers align in their use of technology to support teaching and learning?

Researchers have called for renewed efforts in exploring both what knowledge should be taught in preservice teacher education programs with regard to technology, and how to best prepare teachers to effectively use that knowledge to support teaching and learning. This study compared the importance of technology topics from teacher educators and teachers’ perspectives. A two-phase mixed-methods research design utilized surveys and multiple case studies (interviews, documents) to collect data from both teacher educators and practicing teachers. Findings indicate that teachers and teacher educators demonstrated similarities in their views regarding the use of technology for personal productivity, information presentation, and the access and use of electronic resources to support teaching and learning. Teacher educators and teachers differed with regard to their use of technology for communication, analysis of student data, documenting professional growth, and facilitating higher-order thinking skills. Recommendations for how teacher education programs can incorporate and address technology topics in order to increase relevance for teachers are discussed.     

基于模糊AHP的大学课堂教学质量评价研究

为了对大学教师课堂教学质量进行有效的监督和管理,建立了现代信息技术环境下大学教师课堂教学质量评价指标体系,基于模糊综合评判法和层次分析法(AHP)建立了教师课堂教学质量评价模型,应用此模型实例分析某教师的课堂教学质量并提出相应的提升策略,提高了评价的科学性和实用性。