YARM:基于MapReduce的高效可扩展的语义推理引擎

随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.     

面向大规模微博消息流的突发话题检测

突发事件在微博中迅速传播,产生巨大的影响力,因此,突发舆情受到政府、企业的广泛关注.现有的突发话题检测算法只考虑单一的特征实体,无法处理微博中新词、图片、链接等诱导的突发.面向大规模微博消息流,提出一种无需中文分词的实时突发话题检测框架模型.模型依据消息流动态调整窗口大小,并通过传播影响力度量实体的突发权值.采用高阶联合聚类算法同时对实体、消息、用户进行聚类分析,在检测突发话题的同时,得到话题的关联消息及参与用户.对比实验结果表明,算法的准确性高,能够更早地检测到突发话题.     

基于磁盘存储1项集计数的增量FP＿GROWTH算法

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点。频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向。但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限。最近出现的建立在FP‐T REE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高。对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP＿GROWTH算法（IU＿FPGROWTH＿1COUNTING）。该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP＿GROWT H算法对数据集的扫描,提高频繁项集的挖掘效率。在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU＿FPGROWTH＿1COUNTING是一种有效的频繁项集增量更新挖掘算法。     

BSP模型下基于边聚簇的大图划分与迭代处理

近年来随着互联网的普及和相关技术的日益成熟,大规模图数据处理成为新的研究热点.由于传统的如Hadoop等通用云平台不适合迭代式地处理图数据,研究人员基于BSP模型提出了新的处理方案,如Pregel,Hama,Giraph等.然而,图处理算法需要按照图的拓扑结构频繁交换中间计算结果而导致巨大的通信开销,这严重地影响了基于BSP模型的系统的处理性能.首先从降低消息通信的角度分析当前主流BSP系统的处理方案,然后提出了一种基于边聚簇的垂直混合划分策略(EC-VHP),并建立代价收益模型分析其消息通信优化的效果.在EC-VHP的基础上,提出了一个点-边计算模型,并设计了简单Hash索引和多队列并行顺序索引机制,进一步提高消息通信的处理效率.最后,在真实数据集和模拟数据集上的大量实验,验证了EC-VHP策略和索引机制的正确性和有效性.     

一种大规模数据快速并行导入工具的研究与实现

随着大规模数据的快速增长及高可靠性需求,将本地数据迁移到分布式数据库势在必行。针对这种情况,提出一种基于MapReduce的"快速并行导入"技术,充分利用集群的并行计算能力,直接向HBase底层存储文件HFile写入数据,既可避免上层数据导入时间的浪费,又节省资源开销。有效解决了从单机数据库向HBase分布式数据库导入数据功能低下、效率不高等问题。实验结果表明,在"快速并行导入"技术的基础上设计并实现的快速并行导入工具,支持多列族文本数据的快速导入。与传统使用API导入数据相比,速度提升一倍以上。     

MC环境下基于零件定制程度的工时定额研究

为了解决大规模定制生产环境下定制零件工时定额制定存在的问题,提出一种基于零件定制程度的工时定额方法。此方法首先分析了影响零件工时的主要特征,采用神经网络技术得出各主要特征的权重;然后运用模糊综合评判法计算基于零件主要特征的零件定制程度;最后通过事例推理技术(case-based reasoning,CBR)检索相似零件,根据相似零件的定制程度与工时信息,运用MATLAB软件建立零件工时的数学模型,计算出定制零件的工时。以某企业模具的平面安装面的加工时间计算为例对该方法进行验证,结果证明该方法具有较高的准确性和可行性。     

大规模定制环境下基于产品结构复杂度的工时定额制定研究

针对大规模定制环境下产品种类多、工时制定困难的特点,为了能够快速且准确获取产品工时,研究了产品结构复杂度与工时之间的关系,提出了一种基于产品结构复杂度的工时估算方法.综合考虑影响产品结构复杂度的各种因素后,针对决策结果的排序向量决定决策者权重,引入灰色关联理论,建立了产品结构复杂度计算模型.基于数据库中的工时信息,运用MATLAB软件进行编程确定产品结构复杂度和工时之间的函数关系.最后,以某企业产品加工工时估算实例,证明了所提出的估算方法的可行性.     

SIMD向量指令的非满载使用方法研究

大规模SIMD体系结构提供了更强的向量并行硬件支持,但是,大量迭代次数不足的循环由于不能提供足够的并行性,难以用等价的向量方式实现。为了更有效地利用SIMD,提出了一种非满载地使用SIMD指令的向量化方法。研究了向量寄存器的使用方式,基于非满载的向量寄存器使用方式实现了非满载的向量操作和短循环的向量化,并将非满载的向量化方法用于一般循环的向量化。提供了收益分析方法来为本向量化方法作精确指导。实验结果表明了该方法的有效性,所选测试用例的目标循环被向量化,平均加速比达到1.2。     

面向大规模定制下的生产计划管控

现今大规模定制化生产的方案中成本、交期、个性化定制程度仍存在无法兼顾矛盾.相比传统的妥协方案,基于MTA和ATO的方案从系统整体的视角提出了可以同时满足几个需求的共赢解.引入了可得性生产和按单拼装的方法,提出一个从可得性和定制化生产兼顾的大规模定制化生产方案,并使用计算机技术设计并实现相应的生产计划管控系统并实际应用.该系统的可行性及有效性已得到实际验证.     

海冰与海洋平台碰撞分析中的可视化方法

针对基于离散元方法的海冰与海洋平台结构碰撞分析系统,对运行于CPU GPU异构高性能计算平台上的大规模粒子模拟进行可视化方法的研究.使用OpenGL完成不同规模的平整冰、浮冰、冰脊和不规则形态海冰的呈现,不同形状海洋平台结构与受力网格的绘制,海冰粒子的运动轨迹与速度的表达,海浪效果的模拟以及碰撞过程的动画演示等.通过定义合理的交互模式与接口,在一定程度上融合GPU加速的离散元计算与后处理显示,基于多进程管道通信、多线程并行输出等实现在GPU加速计算的同时实时显示粒子模拟计算结果.该方法在帮助研究者随时掌握程序执行状况的同时,大幅减少后续传输、处理和存储的数据.