基于Spark的OWL语义规则并行化推理算法

随着语义网的快速发展,语义数据也高速增长,传统单机推理系统无法满足推理需求,而已有的并行推理算法在推理完备性和稳定性上存在明显不足。提出的基于Spark的并行推理算法(PROS)从以下3点进行了优化：(1)通过分析OWL Horst规则依赖关系,结合数据的分类结果将规则分四类。(2)四类规则分别设计了区域最优的规则执行顺序,进一步提高了并行推理的执行效率。(3)将Sameas规则考虑到迭代中,显著提高了算法的推理能力。实验结果表明,相比已有并行推理算法,PROS并行推理算法在保证推理完备性和稳定性上表现更加出色,推理效率亦有小幅提高;同时PROS相比单机推理算法大大缩短了推理时间,处理大规模数据展现出优良的并行扩展性。     

一种基于Spark的大规模语义数据分布式推理框架

随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于Spark的大规模语义数据分布式推理框架。该框架主要包括语义建模、规则提取和基于Spark的并行推理机等3个模块。通过过程分析和推理实例验证,提出的分布式并行推理的计算性能(T(n)＝O(log₂n))远远优于顺序式推理的计算性能(T(n)＝O(n))。     

结合Rete的RDF数据分布式并行推理算法*

现有的资源描述框架(RDF)数据分布式并行推理算法大多需要启动多个MapReduce任务,但有些算法对于含有实例三元组前件的RDFS/OWL规则的推理效率低下,整体推理效率不高。针对此问题,文中提出结合Rete的RDF数据分布式并行推理算法(DRRM)。首先结合RDF数据本体,构建模式三元组列表和规则标记模型。在RDFS/OWL推理阶段,结合MapReduce实现Rete算法中的alpha阶段和beta阶段。然后对推理结果进行去重处理,完成一次RDFS/OWL全部规则推理。实验表明,文中算法能高效正确地实现大规模数据的并行推理。     

基于Spark的并行信任进化算法

为了提高信任进化(MET)算法在大数据环境下的时效性,提出一种基于Spark的并行MET算法——SparkMET.采用主从式架构,由主节点进行变异、交叉、选择过程,从节点计算适应度值.针对数据倾斜问题,提出一种新的数据分区策略——LBP算法,在SparkMET计算适应度值之前,根据合适的分区标签将数据重分区.在Epin...     

基于Spark的并行Eclat算法

通过对Spark大数据平台以及Eclat算法的深入分析,提出了基于Spark的Eclat算法(即SPEclat)。针对串行算法在处理大规模数据时出现的不足,该方法在多方面进行改进：为减少候选项集支持度计数带来的损耗,改变了数据的存储方式;将数据按前缀进行分组,并划分到不同的计算节点,压缩数据的搜索空间,实现并行化计算。最终将算法结合Spark云计算平台的优势加以实现。实验表明该算法可在处理海量数据集时高效运行,并且在面对数据量大规模增长的情况下,具备良好的可扩展性。     

基于Spark的并行SVM算法研究

随着数据规模的不断增加,支持向量机(SVM)的并行化设计成为数据挖掘领域的一个研究热点。针对SVM算法训练大规模数据时存在寻优速度慢、内存占用大等问题,提出了一种基于Spark平台的并行支持向量机算法(SP-SVM)。该方法通过调整层叠支持向量机(Cascade SVM)的合并策略和训练结构,并利用Spark分布式计算框架实现;其次,进一步分析并行操作算子的性能,优化算法并行化实现方案,有效克服了层叠模型训练效率低的缺点。实验结果表明,新的并行训练方法在损失较小精度的前提下,在一定程度上减少了训练时间,能够很好地提高模型的学习效率。     

YARM:基于MapReduce的高效可扩展的语义推理引擎

随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.     

基于Spark的并行社区发现算法

针对大规模图数据顶点聚类进行研究,提出了一种基于Spark的并行社区发现算法,其在基于极值优化的串行社区发现算法的基础上设计而成。此外还针对该串行算法在簇调整时因选择顶点数量过少而影响算法运行效率的问题,提出了一种多个顶点选择方法。该方法会计算一个阈值并发现所有适应度值小于该阈值的顶点,作为被选择的顶点;由于阈值是基于所有顶点的适应度值计算出来的,为了避免非常大的适应度值对阈值造成的影响该方法会限制被选择顶点的数量,若被选择的顶点过多,算法只保留其中的一部分。同时,还提出了一种顶点过滤方法,其可以有效减少图数据的数据量。实验表明,提出算法的运行时间明显短于比较的其他基于Spark的并行化社区发现算法,可以发现其运行速度相对较快。     

基于语义网的企业知识协同管理研究*

提出了基于语义网的企业知识协同管理框架,并分析了各知识协同层次的功能和相关技术。在数据层采用XML技术实现数据的集成和交换,并利用领域本体的语义集成分布式的知识资源,建立全局本体映射以消除存在于多个本体间的语义异质性,在知识层通过协调这些具有语义异构性的本体来实现多个企业的知识共享。最后,以企业间专利资源的协同管理为实例,阐明了企业知识语义化的过程。     

语义网中几种描述语言的比较研究

本体语言用于形式化描述Web文档中词汇的含义,在语义网中占有重要的位置。文中主要介绍了语义网的产生及其意义,并以语义网中描述语言的层次为出发点,比较了XML/XML Schema,RDF/RDF Schema及OWL（Ontology WebLanguage）的功能和作用。从描述语言表达能力的各个方面,比较这三种语言的关系和差异,并举出例子来说明OWL在语义网中的应用。     

语义Web上的Onto1ogy表示语言研究

本体在语义Web中起着重要的作用,它能为软件Agent提供从语法层次到语义层次上的互操作性.在需求与技术的驱动下,多种本体表示语言也应运而生.介绍了3种本体表示语言(RDF Schema、DAML+OIL、OWL),并对它们进行了比较分析.     

OWL本体存储模式研究

本文深入研究了本体的存储介质以及本体在关系数据库中的存储模式,指出当前各种本体存储模式的不足之处,提出了新的基于关系数据库的混合存储模式。用教育领域本体测试框架对所提出的存储模式进行实验验证。实验结果表明,该文所设计的基于关系数据库的存储模式具有结构清楚,查询效率高和扩展性能强的优点。用该文设计的混合存储模式要比目前广泛使用的垂直模式在各方面的性能都更优越,而且也适宜于存储大规模本体。     

语义网中几种描述语言的比较研究

本体语言用于形式化描述Web文档中词汇的含义,在语义网中占有重要的位置。文中主要介绍了语义网的产生及其意义,并以语义网中描述语言的层次为出发点,比较了XML/XML Schema,RDF/RDF Schema及OWL(Ontology WebLanguage)的功能和作用。从描述语言表达能力的各个方面,比较这三种语言的关系和差异,并举出例子来说明OWL在语义网中的应用。     

构建XML本体信息研究

文中在简要介绍语义网概念的前提下,针对语义网模型中定义语义的RDFS层和本体层进行研究。在介绍RDF和RDFS的基本特性和一般形式的基础上,重点研究使用OWL构建XML本体信息的方法,并分析这些方法各自的特点和优势,文章将RDFS和OWL进行比较,阐明了它们之间的相互关系。所进行的研究能够对语义网络的本体构建的发展具有一定的促进作用。     

基于Protégé的课程知识本体的构建

在介绍本体与Protégé基本知识的基础上,针对互联网上网络教育资源的可用性和共享性差的现状,对数据结构课程知识进行了核心词汇分析,提出若干类和属性,并以这些类和属性初步构建成数据结构课程知识本体,有助于高效的认知与学习。     

基于Protege的课程知识本体的构建

在介绍本体与Protege基本知识的基础上,针时互联网上网络教育资源的可用性和共享性差的现状。对数据结构课程知识进行了核心词汇分析,提出若干类和属性,并以这些类和属性初步构建成数据结构课程知识本体,有助于高效的认知与学习。