图嵌入方法与应用:研究综述

图模型越来越广泛地应用于数据管理、知识发现和信息服务等问题中,图嵌入作为图分析和应用的重要技术手段,成为了人工智能领域研究的热点之一.本文从图嵌入研究中面临的挑战出发,主要介绍了基于矩阵分解、基于随机游走和基于深度学习的图嵌入方法.接着,介绍了图嵌入方法常用的测试数据集、评测标准和典型应用.最后,总结了图嵌入未来研究的趋势和方向.     

基于自编码器的贝叶斯网嵌入及概率推理

贝叶斯网(BN)是不确定性知识表示和推理的基本框架,广泛用于社交网络、知识图谱和医疗诊断等领域.特定领域中基于BN的分析诊断和决策支持,其核心计算任务是基于BN进行多次概率推理.然而,使用传统的概率推理方法,基于同一BN的多次概率推理其中间过程存在很多重复的计算结果,具有较高的时间复杂度.为了提高多次概率推理的效率,提出易于重用和易于计算的贝叶斯网嵌入及相应的概率推理方法.首先,借鉴图嵌入的基本思想,使用点互信息矩阵来表示BN的有向无环图结构和条件概率参数,提出基于自编码器和注意力机制的BN嵌入方法.其中,自编码器的每一编码层利用节点与其邻居节点(父节点和子节点)的相关性生成节点嵌入,从而在嵌入向量中保存BN节点间的概率依赖关系.然后,使用嵌入向量之间的距离来度量节点之间的联合概率,提出基于嵌入向量的BN概率推理方法.实验证明,针对BN的多次概率推理,所提方法的效率高于现有方法,且能得到准确的推理结果.     

基于BERT的民间文学文本预训练模型

民间文学文本中含有大量生动形象的修辞手法;人名、地名极其复杂,难以判断词与词之间的边界;与现代汉语表达差别较大,预训练语言模型难以有效地学习其隐含知识,为机器自然语言理解带来困难。该文提出一种基于BERT的民间文学文本预训练模型MythBERT,使用民间文学语料库预训练,将BERT的字隐蔽策略改进为对中文词语隐蔽策略。对民间文学文本中解释字、词的注释词语重点隐蔽,减小BERT隐蔽的随机性并有利于学习词语语义信息。同时利用注释增强语言模型表示,解决一词多义、古今异义等问题。将MythBERT与BERT、BERT-WWM和RoBERTa等主流中文预训练模型在情感分析、语义相似度、命名实体识别和问答四个自然语言处理任务上进行比较。实验结果表明,注释增强的民间文学预训练模型MythBERT在民间文学文本任务上性能显著提升,与基线方法相比取得了最优的效果。