面向司法专题分析的大数据计算资源调度方法

针对司法专题分析过程中面临的交互式分析类数据处理执行效率低的问题,提出了一种基于任务类型的计算资源调度方法,为任务类型建立计算资源配额管理机制。在类型配额内具备抢占式优先调度权,在类型配额外可以借用其他任务类型的空闲资源。实验与分析表明,该方法能够在兼顾普通大数据处理任务执行效率的前提下显著提升交互式分析类任务的执行效率。     

面向科技文献的精准推荐引擎研究

随着科技领域数据的快速增长,研究人员对科研信息的获取需求已不仅限于传统的单一式阅读,如何使用当下流行的推荐技术挖掘用户特征和内容特征中丰富的隐含信息,实现海量科技信息的个性化精准发现,并打造复杂场景下的混合推荐已成为推荐系统研究领域的重要方向。文中面向科技文献领域的精准推荐引擎设计与应用,对精准推荐引擎的研究现状进行了概述,并阐述了精准推荐引擎系统的运行流程、技术架构、关键技术,为面向科技文献的精准推荐引擎的设计和工程实现提供重要参考。     

面向研究性项目文档的知识画像模型

为提高科研活动产生的研究性项目文档的知识要点的精准智能识别和检索能力,通过分析文档行文结构,提出建立文档知识画像的方法。设计精准贴合研究性项目文档结构的多层次的知识画像,自动识别文档知识要点,并按语义段落多粒度提取知识要点。采用知识表达准确率对模型的知识提取精确度进行检验,实验结果表明模型比传统方法对文档知识描述更准确,可在实际工作中使用。     

基于混合流量数据的连通分量计算技术

连通分量计算技术作为网络拓扑结构分析的重要研究领域,能够获取和维护网络节点的连接关系信息。文中围绕网络连通分量计算的高效准确处理要求,提出了基于混合流量数据的连通分量计算方法,利用深度优先搜索算法实现了对IPv4/IPv6混合流量数据的连通分量计算,并在此基础上实现了增量连通分量计算,提高了算法对新增数据的计算效率,最后进行了相关的实验。经验证,该方法功能上能够对混合流量数据进行连通分量计算,性能上当原流量数据和新加入流量数据的数据量大小接近时,算法提升效率提高70%左右。     

基于元数据的动态数据需求定制中间件设计

文中利用元数据作为中介,基于数据集成的中介模式设计了一种基于元数据的数据需求定制中间件.利用元数据作为数据源和数据需求之间的中介,完成异构的原始数据到统一的数据视图再到需求数据之间的数据格式转换与集成操作,并能够支持运行时的数据源结构修改和数据需求变更的操作.     

分布式卫星资源高效共享平台研究

针对当前海量卫星资源难以高效共享的问题,采用分布式架构实现卫星资源的整合。各卫星数据中心依据本领域的知识本体构建目录服务,之后系统进行整合为虚拟全局目录供各个数据中心共享,为用户快速查找所需资源提供支持;设计了分层的系统架构,包括负载均衡层、前端缓存层、应用服务层、数据库缓存层和数据库应用层,通过在应用服务层简单添加服务器就可以使系统性能线性增长,很好地解决了高并发访问的问题。仿真实验结果表明,系统能够实现不同数据中心的资源共享,高并发访问性能良好。     

云环境下计算资源适用性评估

随着云计算和虚拟化技术的发展,一种应用不再是只能部署在一台物理机上,而是可将物理机的计算资源虚拟化成一台虚拟机来部署该应用。传统的分配物理资源放置虚拟机,只考虑应用所需资源是否充足,而未考虑应用类型对物理资源需求的特殊性。本文提出计算资源适用性概念--计算资源当前状态适合部署的应用类型。当需要部署某一应用时,首先判别应用所属类型,同时获取应用对资源占用量;然后根据当前候选资源节点的监控数据,分别进行静态评估和动态评估,计算出综合评估结果,得出部署应用的虚拟机和物理机的映射关系。实验结果表明,与传统的虚拟机放置算法相比,提出的计算资源适用性评估算法,使得应用响应时间变短,提高了应用效率与资源利用率。     

应用Paxos算法构建自组织网络

着重阐述如何利用Paxos算法构建多节点自组织网络,提出利用该算法完成实时更新、同步节点全局视图的工作。结合该算法的开源实现开发出功能完善的原型系统,弥补开源实现中部分功能缺失所带来的应用缺陷。通过相关实验测定其具有在秒级时间内完成节点快速加入以及退出的能力。证明其具备在实际应用场景中进行部署的能力,可以满足各种分布式应用程序对底层自组织网络的高可靠性以及高可用性要求。     

基于中间模型的异构数据资源语义映射方法

异构数据资源的语义映射,是大数据时代数据集成与共享研究中的一个关键问题。围绕语义搜索的应用需求,针对海量异构数据资源到领域知识本体的语义映射问题,提出基于中间模型的映射算法,通过模型解析转换、映射规则设计、映射策略选择、映射关系表达等最终获得二者的映射关系。系统面向用户提供基于知识本体的统一视图,屏蔽了底层数据资源的异构性,保证了用户对异构数据资源的透明访问和准确理解,提供了一种灵活、通用、可扩展的语义集成机制,为准确高效的语义搜索应用提供支持。     

云环境大数据工作流编排管理系统研究综述

随着大数据分析处理需求日益复杂,分析处理过程的表达需要转变为依据任务以及任务间依赖关系构建的大数据工作流的形式,以实现其结构化、可重复、可控制、可扩展以及自动化执行,大数据工作流的编排管理成为重要的研究课题,云计算环境下资源的异构性使得该问题变得更为复杂。本文首先将云环境下大数据工作流编排管理研究划分为大数据工作流构建、工作流划分、任务调度与执行以及容错处理4个方面,并在此基础上进行综述,列举并介绍各个方面近年来经典的、关注度较高的研究;然后,针对研究中的主流技术进行分类与梳理,对各项研究中提出的方法及其特性、优势、待改进项等方面进行分析;最后,将视角回归至大数据分析处理系统,分类分析各项研究给系统带来的收益。