基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。     

语义信息集成中格式异构解决方案

基于本体的语义信息集成能够解决分布环境下异构数据源之间的模式异构,而对于广泛存在的上下文异构却无法解决。由于上下文异构是暗含的语义,无法为信息系统俘获和理解,要解决上下文异构,必须将上下文语义进行形式化描述。本文首先提出了一种将暗含的上下文语义进行形式化描述的方法,然后在此基础上提出了一种基于元数据格式表示的上下文转换方法来解决上下文异构中的格式异构。该方法避免了已有转换方法需要反复定义大量映射的缺点,提高了上下文转换的灵活性、适应性和扩展性。     

支持情境感知计算的上下文服务框架研究

针对纷繁复杂的高层应用亟需的多样化、个性化的环境感知服务需求,提出一种支持情境感知计算的上下文服务框架,自底向上包含上下文信息采集层、信息管理层、事件管理层和门面访问层.信息采集层负责封装感知器捕获的环境资源信息;信息管理层提供信息的组织、维护及持久化;事件管理层建立了复合上下文事件的形式化表达,并引入时间窗口凸显事件的强时效特点;门面访问层提供同步和异步互补的灵活访问机制.实验结果表明了该框架的合理性与可行性.     

基于物联网大数据节能调度框架研究

当今社会,物联网的快速发展离不开数据的支撑,数据的持久化存储与检索离不开物联网的边缘服务器,边缘服务器相当于物联网的数据服务中心,同时也是云环境重要组成部分,因此数据中心的能耗问题成为核心问题。现今在边缘侧常用的大数据资源调度框架为YARN,该框架并不能对能耗进行有效控制,针对此问题,提出一种基于YARN的物联网大数据节能调度框架,该框架是在YARN基础上进行优化,增加三个关键性的功能模块,分别对系统任务进行分析、计算、调度、分配,实现了细粒化管理。通过模拟实验验证该框架能在保证系统任务性能的同时减少能量损耗。     

面向普适计算的动态自适应中间件模型

为了提高普适计算系统的开发效率, 设计了一个基于OSGi框架的动态普适计算中间件模型. 该中间件模型以OSGi框架为基础, 建立移动管理器管理用户和服务的移动, 利用上下文管理器来管理上下文, 动态调整自己的行为, 支持上下文感知应用. 通过标准的接口实现各种异构普适设备间的互操作性. 实验结果表明该中间件能够满足通用普适计算环境的要求, 对于普适计算系统的开发具有一定的借鉴意义.     

混合存储模式下MapReduce作业调度

在异构Hadoop集群场景中, 为了缓和由于纠删码和副本存储模式混合使用, 以及服务器节点本身实时算力差异造成的MapReduce作业处理效率低下的问题, 本文实现了一种根据数据存储情况和节点实时负载来在多并发场景下动态调节MapReduce作业任务分配情况的调度策略. 该策略通过修改当前Hadoop框架中的数据存储选址策略并对节点任务并发量进行动态控制, 在多作业并发时实现更加均衡的作业间资源分配. 实验结果表明, 相较于Hadoop默认的两种作业调度策略, 本文提出的调度模式能够将作业完成时间缩短约17%, 并有效避免部分作业面临的饥饿现象.     

普适计算中一种上下文集成方法

普适计算作为一种全新的计算模式,目的是根据用户需要提供随时随地的服务.普适计算环境中存在大量异构的数据源,不利于上下文信息的处理和访问.文中提出了一种基于XML的上下文集成方法,在保证上下文精度和新鲜度的条件下,尽量减少上下文信息存储量,并向上提供统一的上下文表达形式,有效屏蔽了上下文信息的异构.实验测试表明,采用的文件内存保留和分片转存方法,进一步加快上下文的集成,从而有效地支持普适服务.     

信息集成中上下文知识的描述与推理

基于本体的语义信息集成主要解决了异构数据源之间的模式级异构,但对于分布环境下普遍存在的上下文异构无法解决,这导致用户从信息集成系统得到的结果仍然存在语义异构。针对这种不足,本文提出了一种上下文知识的形式化描述和推理机制,并将这种上下文机制引入基于本体的语义信息集成中,同时对其进行扩展,使得扩展后的语义信息集成系统可以自动检测和消除上下文语义异构,从而形成了完整的语义异构解决方案。     

面向普适环境的上下文感知中间件研究

针对普适环境下上下文感知计算需求,引入广义模型化理论,建立了一种面向通用环境资源的上下文信息数据模型;在此基础上,提出了上下文感知中间件体系框架,并详细阐述了其构件化的实施方案。该中间件平台的上下文获取层能够封装各类感知器捕获的资源信息,中间处理层负责信息的管理、推理和聚合,基于门面模式的上下文访问层提供同步和异步相结合的上下文信息统一访问入口。通过实验测试了平台的时间损耗,表明该中间件可提供通用的上下文感知服务且具有较好的系统性能。     

支持上下文感知应用程序的动态自适应中间件框架

上下文感知计算是当前开发和部署智能应用不可或缺的关键技术之一。上下文能否在计算中真正发挥其作用,主要取决于两方面：一是如何连续稳定地从动态交互环境中获取高质量上下文,二是如何推理上下文并制定适应决策。为了实现上述目标,设计了一个分层的中间件框架,该中间件能够根据上下文质量参数,动态地选择能提供高质量上下文的信息源,并对这些原始上下文进行预处理和推理,进而自动地制定适应决策为用户提供合适的服务。实验测试了平台的性能,并与同类系统进行了比较,结果表明该中间件能够快速有效地支持上下文感知应用的开发部署,并且在计算性能方面有显著提高。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

Spark环境下并行立方体计算方法

针对传统联机分析处理(OLAP)处理大数据时实时响应能力差的问题,研究基于分布式内存计算框架Spark加速的数据立方体计算方法,设计基于Spark内存集群的自底向上构造(BUC)算法——BUCPark,来提高BUC的并行度和大数据适应能力。在此基础上,为避免内存中迭代的立方体单元膨胀,基于内存重复利用和共享的思想设计改进的BUCPark算法——LBUCPark。实验结果表明:LBUCPark算法性能优于BUC算法和BUCPark算法,能够胜任大数据背景下的快速数据立方体计算任务。     

大数据环境下的分布式数据流处理关键技术探析

大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统（DDSPS）能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务（DDoS）攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。     

Hadoop云平台MapReduce模型优化研究

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。     

基于Hadoop的车辆调度算法优化及应用

随着互联网技术的快速发展,各行各业所产生的信息数据也在以指数级的速度增长.传统的车辆调度算法已经不能够很好地解决车辆调度问题中出现的实时性,大规模等问题.因此,本文构建了一种基于Hadoop的动态车辆调度并行智能优化算法.该算法以传统遗传算法为基础,通过改善遗传算法全局优化能力弱和收敛于局部次优解的问题,并利用Hadoop平台的并行计算机制对传统遗传算法进行改进,使其能够有效应对大规模、快速响应的车辆调度.数值计算结果表明：基于Hadoop的车辆调度算法能够有效提升传统调度算法的优化性能,在处理大规模车辆调度问题时具有良好的加速比.     

基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

Sports performance prediction model based on integrated learning algorithm and cloud computing Hadoop platform

This article discusses the classification and research performance information properties. It also discusses construction and application of the Hadoop cloud computing platform. The model presented in this article is a one piece learning algorithm which is a predictive model and a model of cloud based data collection. This model is supported by Hadoop which is suitable for computing with different data sizes. A large number of simulations are performed on the Hadoop platform, under different working conditions, to verify the accuracy and characteristics of the training skill. Spark framework of this research is to develop computational engine efficiency and improve rain prediction models successfully and effectively using big data and Hadoop learning. Therefore, the planned high timeliness and accuracy of real-time hurricane forecast with rain, can solve the problem.