网络化软件的复杂网络特性实证

互联网的普及和万维网的兴起,引发了软件技术的变革,催生了新的软件形态——网络化软件,为大众用户提供多样化、个性化的按需服务.随着应用领域的不断扩展和用户群的日益庞大,其规模与复杂度正以超越人类处理能力的速度增长,使得软件工程不得不面临一系列的挑战.为了科学地认识和理解这类规模庞大的人工复杂系统,从网络化-服务化-社会化的三维视角出发,对其基础设施、应用服务和大众交互三方面的复杂网络特性实证研究进行了综述分析,并系统论述了网络化软件中隐含的"小世界"和"无尺度"复杂网络特性对软件工程今后研究的影响和启示.软件工程与其他学科的交叉汇聚,将迸发新的观点和思想,为网络化软件的研究提供新的思维方式和方法论,有望实现软件工程理论、方法和关键技术的创新,从而推动我国软件服务业的快速发展.     

面向知识图谱的知识推理研究进展

近年来,随着互联网技术和应用模式的迅猛发展,引发了互联网数据规模的爆炸式增长,其中包含大量有价值的知识.如何组织和表达这些知识,并对其进行深入计算和分析,备受关注.知识图谱作为丰富直观的知识表达方式应运而生.面向知识图谱的知识推理是知识图谱的研究热点之一,已在垂直搜索、智能问答等应用领域发挥了重要作用.面向知识图谱的知识推理旨在根据已有的知识推理出新的知识或识别错误的知识.不同于传统知识推理,由于知识图谱中知识表达形式的简洁直观、灵活丰富,面向知识图谱的知识推理方法也更加多样化.本文将从知识推理的基本概念出发,介绍近年来面向知识图谱知识推理方法的最新研究进展.具体地,本文根据推理类型划分,将面向知识图谱的知识推理分为单步推理和多步推理,根据方法的不同,每类又包括基于规则的推理、基于分布式表示的推理、基于神经网络的推理以及混合推理.本文详细总结这些方法,并探讨和展望面向知识图谱知识推理的未来研究方向和前景.     

基于神经网络的知识推理研究综述

知识推理是知识图谱补全的重要手段,一直以来都是知识图谱领域的研究热点之一。随着神经网络不断取得新的发展,其在知识推理中的应用在近几年逐渐得到广泛重视。基于神经网络的知识推理方法具备更强的推理能力和泛化能力,对知识库中实体、属性、关系和文本信息的利用率更高,推理效果更好。简要介绍知识图谱及知识图谱补全的相关概念,阐述知识推理的概念及基本原理,从语义、结构和辅助存储三个维度展开,综述当下基于神经网络的知识推理最新研究进展,总结了基于神经网络的知识推理在理论、算法和应用方面存在的问题和发展方向。     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。     

网络诱导延时对基于网络学习的神经网络PID控制系统的影响及分析

首先介绍了网络学习控制系统,并用 MATLAB 对以神经网络作为网络学习控制器的控制系统进行实例仿真。仿真结果表明网络诱导延时越大,系统控制性能越差。最后对仿真结果做了简单分析。     

图知识蒸馏综述：算法分类与应用分析

图数据, 如引文网络, 社交网络和交通网络, 广泛地存在现实生活中. 图神经网络凭借强大的表现力受到广泛关注, 在各种各样的图分析应用中表现卓越. 然而, 图神经网络的卓越性能得益于标签数据和复杂的网络模型, 而标签数据获取困难且计算资源代价高昂. 为了解决数据标签的稀疏性和模型计算的高复杂性问题, 知识蒸馏被引入到图神经网络中. 知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型), 以期达到更好的性能和精度. 因此, 如何面向图数据应用知识蒸馏技术成为重大研究挑战, 但目前尚缺乏对于图知识蒸馏研究的综述. 旨在对面向图的知识蒸馏进行全面综述, 首次系统地梳理现有工作, 弥补该领域缺乏综述的空白. 具体而言, 首先介绍图和知识蒸馏背景知识; 然后, 全面梳理3类图知识蒸馏方法, 面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法, 并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法; 随后, 分析比较各类图知识蒸馏算法的设计思路, 结合实验结果总结各类算法的优缺点; 此外, 还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用; 最后对图知识蒸馏的发展进行总结和展望. 还将整理的图知识蒸馏相关文献公开在GitHub平台上, 具体参见: https://github.com/liujing1023/Graph-based-Knowledge-Distillation.     

Neural Networks and Structured Knowledge: Knowledge Representation and Reasoning

This collection of articles is the first of two parts of a special issue on Neural Networks and Structured Knowledge. The contributions to the first part shed some light on the issues of knowledge representation and reasoning with neural networks. Their scope ranges from formal models for mapping discrete structures like graphs or logical formulae onto different types of neural networks, to the construction of practical systems for various types of reasoning. In the second part to follow, the emphasis will be on the extraction of knowledge from neural networks, and on applications of neural networks and structured knowledge to practical tasks.     

基于图匹配网络的可解释知识图谱复杂问答方法

知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱子图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过结合预训练语言模型和图神经网络技术,再利用注意力机制学习查询结构的上下文表示,从而得到更加丰富的结构匹配表示,用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验,结果表明：TTQA超过了现有方法.同时,通过消融实验验证了GMN的有效性.此外,TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.     

Graph CA: Learning From Graph Counterfactual Augmentation for Knowledge Tracing

With the popularity of online learning in educational settings, knowledge tracing(KT) plays an increasingly significant role. The task of KT is to help students learn more effectively by predicting their next mastery of knowledge based on their historical exercise sequences. Nowadays, many related works have emerged in this field, such as Bayesian knowledge tracing and deep knowledge tracing methods. Despite the progress that has been made in KT, existing techniques still have the following limi...     

基于BP神经网络的网络控制系统调度

为了在复杂的网络环境下能更合理地分配网络资源,提出了利用BP神经网络,通过对网络调度器产生的历史和当前数据进行训练,预测调度器下周期可能产生的数据,进而对下一调度周期的死区大小进行调整。实验仿真表明,所设计的反馈调度器能进一步改善网络控制系统的性能,进一步提高应对负载变化的能力。     

复杂动力网络及其在软件工程中的应用

随着信息技术和生命科学的迅猛发展,复杂网络在过去10年迅速发展成为一个多学科交叉的新的热点研究领域.21世纪是复杂系统和复杂网络的世纪,复杂网络的深入研究直接关系到人们的日常生活和许多重要科学分支的发展.如何提高大规模复杂网络的传输效率、增强网络的安全可信程度和稳定性、防止恶意袭击(如计算机病毒和流行病的传播)以及随机错误给人们造成的重大损失等问题,这些问题的根本解决都依赖于复杂网络理论与技术的发展.简要地回顾国内外过去10年在复杂网络领域的主要研究进展及其在软件工程中的典型应用,包括复杂网络的建模、同步、控制以及网络化软件,试图推进国内复杂网络与软件工程的交叉研究.     

网络化制造环境下基于知识服务的工艺协作模型

提出一种基于知识服务供应商的面向网络化制造的工艺协作模型,结合语义网上Web服务技术,给出了描述工艺知识服务能力的语义模型;借鉴工作流技术,提出并研究了一种工艺知识服务流技术,实现对模型中工艺知识服务流程的自动管理．最后,还探讨了工艺知识服务能力匹配算法并给出了算法实现．该模型已应用于具体实践并取得良好效果．     

语言先验知识对神经网络模型自然语言处理任务的影响

随着互联网的发展及硬件的更新,神经网络模型被广泛应用于自然语言处理、图像识别等领域。目前,结合传统自然语言处理方法和神经网络模型正日益成为研究的热点。引入先验知识代表了传统方法的惯例,然而它们对基于神经网络模型的自然语言处理任务的影响尚不清楚。鉴于此,该文尝试探究语言层先验知识对基于神经网络模型的若干自然语言处理任务的影响。根据不同任务的特点,比较了不同先验知识和不同输入位置对不同神经网络模型的影响。通过大量的对比实验发现: 先验知识并不是对所有任务都适用,在神经网络模型的合适位置加入合适的先验知识方可加快模型的收敛速度,提高相关任务的效果。     

网络维数:一种度量复杂网络的新方法

如何对复杂网络进行刻画与度量,一直是人们关注的热点。在研究自相似复杂网络分形维数的基础上,提出了一种度量复杂网络的新方法——网络维数,即复杂网络边权重和的对数值与节点权重和的对数值的比值,可以将边权重及点权重推广到实数域和复数域;同时给出了不同类型权重对应的网络维数的计算方法;最后以几个代表性的经典复杂网络模型为例,讨论了所提出的网络维数的若干性质。     

Knowledge Extraction from Transducer Neural Networks

Previously neural networks have shown interesting performance results for tasks such as classification, but they still suffer from an insufficient focus on the structure of the knowledge represented therein. In this paper, we analyze various knowledge extraction techniques in detail and we develop new transducer extraction techniques for the interpretation of recurrent neural network learning. First, we provide an overview of different possibilities to express structured knowledge using neural networks. Then, we analyze a type of recurrent network rigorously, applying a broad range of different techniques. We argue that analysis techniques, such as weight analysis using Hinton diagrams, hierarchical cluster analysis, and principal component analysis may be useful for providing certain views on the underlying knowledge. However, we demonstrate that these techniques are too static and too low-level for interpreting recurrent network classifications. The contribution of this paper is a particularly broad analysis of knowledge extraction techniques. Furthermore, we propose dynamic learning analysis and transducer extraction as two new dynamic interpretation techniques. Dynamic learning analysis provides a better understanding of how the network learns, while transducer extraction provides a better understanding of what the network represents.     

Neural Networks and Structured Knowledge: Rule Extraction and Applications

As the second part of a special issue on Neural Networks and Structured Knowledge, the contributions collected here concentrate on the extraction of knowledge, particularly in the form of rules, from neural networks, and on applications relying on the representation and processing of structured knowledge by neural networks. The transformation of the low-level internal representation in a neural network into higher-level knowledge or information that can be interpreted more easily by humans and integrated with symbol-oriented mechanisms is the subject of the first group of papers. The second group of papers uses specific applications as starting point, and describes approaches based on neural networks for the knowledge representation required to solve crucial tasks in the respective application.The companion first part of the special issue [1] contains papers dealing with representation and reasoning issues on the basis of neural networks.     

融合知识图谱与注意力机制的推荐算法

为了解决信息过载问题,提出了一种融合知识图谱与注意力机制的推荐模型.在该模型中,将知识图谱作为辅助信息进行嵌入,可以缓解传统推荐算法数据稀疏和冷启动问题,并且给推荐结果带来可解释性.为了提升推荐准确率以及捕捉用户兴趣的动态变化,再结合深度学习中的神经网络以及注意力机制生成用户自适应表示,加上动态因子来更好地捕捉用户动态...     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

基于图神经网络和语义知识的自然语言推理任务研究

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系.该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在...