一种高效的船舶活动热点海域探测算法

针对传统数据处理工具处理海洋船舶位置大数据效率低、空间特征不敏感的问题,引入Spatial Hadoop空间大数据处理平台,提出一种基于Spatial Hadoop的船舶活动热点海域探测算法。该算法结合空间索引和MapReduce分布式处理框架实现了基于区域统计的热点海域探测方法。从理论上分析,该方法能够高效地探测船舶活动热点海域。利用真实AIS数据进行实验,并从不同海域和算法运行效率两个方面对实验结果进行了对比分析,结果表明该算法具有有效的探测结果和较高的处理效率,验证了理论分析的正确性。     

基于Hadoop的快速并行视频处理方法

目前,基于 Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大量的系统 IO,造成系统资源浪费。针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了MapReduce 相关视频数据处理接口,使 Hadoop 可以更快速处理视频文件。通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10%,IO读写量减少50%以上,提升了Hadoop视频文件的处理效率。     

基于HBase的交通大数据存储查询平台的设计及实现

在交通数据量持续增长的影响下,传统的交通数据处理方法已经无法满足其需求,在云计算技术日渐成熟的影响下,基于交通大数据基础上,将其与Hadoop结合起来,通过对其非关系型数据库HBase进行合理运用,即可较好的实现对交通数据的存储和查询处理。     

一种基于Hadoop的EPC物联网数据分析系统的研究与实现

随着物流中心内部署的感知节点感知的EPC标签数据日益膨胀,并且由于单机容量以及计算能力的限制,使得传统数据处理方式已经不能很好地满足物流中心对于大数据处理的需求。为解决数据中心对内部历史数据进行高速有效处理的困境,在对Hadoop技术进行深入研究的基础上,提出了一种EPC物联网数据处理算法,并使用Hadoop技术进行实现。实验结果表明,在Hadoop平台中进行EPC数据处理,可以明显提高物流中心对历史数据的处理能力。     

基于Hadoop的句群相似度计算

介绍了Hadoop开源框架、Map／Reduce编程模型以及语句相似度计算原理,利用Hadoop框架下的Map／Reduce编程模型实现了句群相似度并行计算方法。通过实验验证了该算法的稳定性和处理大量数据的可行性。     

物联网环境下基于上下文的Hadoop大数据处理系统模型

针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离"上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组.以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析.实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上.     

基于Hadoop的海量电费数据处理模型

随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈. Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域. 本文在对电费业务和Hadoop进行分析和研究的基础上,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细数据处理平台. 实验证明该模型可以有效解决目前海量电费数据处理面临的性能瓶颈,提高电费数据处理的速度和效率,并且可以提供高性能的明细数据查询功能.     

基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

面向MapReduce的数据处理流程开发方法

数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。     

融合遗传算法和关联规则的数据挖掘方法改进

提出了一种融合改进遗传算法(Genetic algorithm, GA)和关联规则的数据挖掘方法,首先将GA交叉算子和变异算子进行自适应改进,使其在迭代过程中能够根据函数适应度值自适应调节;然后将改进后的自适应GA融入到关联规则中,充分利用GA良好的全局搜索能力,提高处理海量数据关联规则的挖掘效率。为了避免无用规则,减少不相关性的存在,在此基础上融入亲密度以提高关联规则的可靠性。在Hadoop大数据平台上通过分析交通数据验证优化后的算法,与传统方法相比,该方法提高了算法的收敛速度和鲁棒性。     

融合GA和关联规则的数据挖掘方法改进研究

本文提出一种融合改进遗传算法和关联规则的数据挖掘方法。首先将遗传算法交叉算子和变异算子进行自适应改进,使其在迭代过程中能够根据函数适应度值自适应调节。然后将改进后的自适应遗传算法融入到关联规则中,充分利用遗传算法良好的全局搜索能力,提高处理海量数据关联规则的挖掘效率。为了避免无用规则,减少不相关性的存在,在此基础上融入亲密度以提高关联规则的可靠性。在Hadoop大数据平台上通过分析交通数据验证优化后的算法,与传统方法相比,该方法提高了算法的收敛速度和鲁棒性。     

Towards a framework for large-scale multimedia data storage and processing on Hadoop platform

Cloud computing techniques take the form of distributed computing by utilizing multiple computers to execute computing simultaneously on the service side. To process the increasing quantity of multimedia data, numerous large-scale multimedia data storage computing techniques in the cloud computing have been developed. Of all the techniques, Hadoop plays a key role in the cloud computing. Hadoop, a computing cluster formed by low-priced hardware, can conduct the parallel computing of petabytes of multimedia data. Hadoop features high-reliability, high-efficiency, and high-scalability. The numerous large-scale multimedia data computing techniques include not only the key core techniques, Hadoop and MapReduce, but also the data collection techniques, such as File Transfer Protocol and Flume. In addition, distributed system configuration allocation, automatic installation, and monitoring platform building and management techniques are all included. As a result, only with the integration of all the techniques, a reliable large-scale multimedia data platform can be offered. In this paper, we introduce how cloud computing can make a breakthrough by proposing a multimedia social network dataset on Hadoop platform and implementing a prototype version. Detailed specifications and design issues are discussed as well. An important finding of this article is that we can save more time if we conduct the multimedia social networking analysis using Cloud Hadoop Platform rather than using a single computer. The advantages of cloud computing over the traditional data processing practices are fully demonstrated in this article. The applicable framework designs and the tools available for the large-scale data processing are also proposed. We show the experimental multimedia data including data sizes and processing time.     

基于Hadoop 的分布式朴素贝叶斯文本分类

云计算的诞生,有效地解决了海量数据集的存储和分析处理。在云计算实现的开源Hadoop分布式系统集群上,使用MapReduce并行编程模型,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,基于Hadoop框架的分布式朴素贝叶斯文本自动分类器不仅能处理节点失效,同时具有高效性和易扩展性的优势。     

DSMAC:一种适于无线多媒体传感器网络的信道接入协议

多媒体传感器网络作为一种多媒体信息获取和处理方式,已在军事、民用及商业领域中显示出广阔的应用前景.信道接入协议能否高效地使用无线信道是保证无线多媒体传感器网络通信的最关键的因素之一.分析支持多媒体业务传输的无线传感器网络信道接入协议的要求,提出适于多媒体传感器网络提供区分服务的信道接入协议--DSMAC(different service medium access control),对实时业务与非实时业务实现了区分服务,在信道接入帧内的随机竞争期实现突发业务及时接入,支持突发多媒体业务实时传输,并提出了多信道簇间传输方式,避免了隐终端冲突.最后,对协议的服务区分、实时性、吞吐量以及能量有效性等性能进行了仿真实验,验证了其优良性能.     

基于SAML的Hadoop云计算平台安全认证方法研究

文章分析研究了Hadoop云计算平台当前的安全认证机制。通过分析Kerberos安全认证体系以及SAML认证标准,提出了适用于Hadoop云计算平台的安全认证方法——基于SAML的Hadoop云计算安全平台安全认证方法。该认证方法将认证授权票据简化为索引,避免了认证授权票据的直接传输。通过安全性逻辑证明该认证方法进一步保证了用户认证和服务授权的高效和安全。     

RPR: recommendation for passengers by roads based on cloud computing and taxis traces data

Traffic jam has grown to be a more and more difficult problem to be solved in big cities around the world, and people are getting less chance to take taxis. In order to remit this issue, we propose a recommendation strategy based on taxi traces data for passenger by the roads to make it easier. Considering the scale of taxi traces data, Hadoop is employed to handle the traces data, whose tasks include filtering and cleaning of the data, mapping taxi traces, and computing the average passage time and empty taxi arrival rate on the roads. When a user uploads his position and the time, assisted by weather condition gain from the Internet, we get the very model that corresponds to the date and the weather; the time interval is thought to be the expected waiting time between the moment when user requests the service and the moment when the cumulative number of empty taxi is greater than or equal to 1 after adding the time the taxi spends on the road, and is pushed to the user. The experiment is conducted on the base of a real-world dataset generated by over 12,000 taxis over a period of 3 months in Beijing. Experimental results demonstrate that the processing speed of Hadoop is nine times faster than serial’s, which displays the feasibility of Hadoop in the application of massive traces data. In addition, the accuracy of the recommendation strategy reaches up to 88.75 %, and it meets the demand of real-time service.     

两种中文分词算法在云计算平台上的实现及比较

当前IKAnalyzer（IK）和ICTCLAS（IC）是主流的中文分词算法。文中首先通过理论对比二者在单机环境下的性能,然后使用Hadoop集群、Hadoop分布式文件管理系统（HDFS）和并行处理大数据集的Map Reduce组成的框架,利用优化后的算法,通过大量的实验对二者在分布式环境下处理大数据集的表现做出比较。     

Hadoop平台下自响应故障感知的检测技术研究实现

当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。