基于Hadoop平台的轨道交通能效管理系统的建设方案

随着城市轨道交通线网化进程和海量数据的累积,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。对基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。给出了基于Hadoop平台的能效管理系统的车站、线路、线网的三层式建设方式,以及组成模块的框架图,并按数据的在线和离线两种方式给出模块的实现方法。同时,在轨道交通能效管理平台中实现了大数据技术的首次应用。应用结果表明,基于Hadoop平台的大数据方案提高了地铁运营的能效管理水平。随着数据量积累和数据分析的深入,该管理系统必将具有更加广阔的应用前景。     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

大数据技术在江苏烟草数据中心的应用

以大数据技术的发展为背景,结合江苏烟草数据中心建设的实际情况,分析了江苏烟草数据中心以Hadoop及Impala等大数据技术为核心,辅以Kettle和JSP等数据处理及展现技术共同构建基于大数据技术的自定义数据查询平台的架构设计和实现方案。展现了大数据技术带来的远超传统技术平台的灵活性以及对于大数据量查询的快速响应能力。     

基于Hadoop的高校大数据平台构建研究

高校业务系统数据资源的结构、内容以及数据利用价值还不够清晰，尚未真正发挥应有作用。以笔者所在高校为例，本文介绍基于Hadoop的“智慧校园大数据平台”的数据建设方案。文章根据学校现状提出适合高校信息化建设的数据治理方案，主要通过Hadoop分布式系统架构为大数据存储提供底层支撑，通过共享数据中心存储权威数据，通过智慧校园大数据平台实现数据流调用和共享，为大数据分析和决策提供依据。     

基于 Hadoop 的电站数据中心云计算模型磁

针对云计算中的虚拟化、分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理。详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析。     

Hadoop大数据平台安全问题和解决方案的综述

大数据时代的到来,更强的计算机和更成熟的大数据平台工具让企业从海量数据中挖掘数据价值成为了可能,尤其是基于Hadoop的大数据平台,甚至利用廉价的商业硬件处理TB、PB级别的数据. 在最初Hadoop大数据平台落地建设的过程中,往往功能先行,而忽略了安全的管控策略,直到2009年Yahoo团队提出了基于Kerberos的身份验证方案,才带动了Hadoop大数据平台安全管控工作的全面开展. 本文介绍了Hadoop大数据平台的基本历程,描述了2009年之前Hadoop大数据平台存在的传统安全问题,并尝试着将目前行业内Hadoop生态系统组件的安全性和每个组件的安全解决方案做一次系统的梳理,希望为构建Hadoop大数据平台管控方案时提供参考意见,以便合理利用先进的安全管控方案保护好企业、用户的隐私数据.     

基于Hadoop平台的校本数据中心建设研究

本文通过搭建Hadoop平台搭建校本数据中心,并将数据集中存储在HBase数据库中.基于Hadoop的校本数据中心,提供了强大的数据统一存储和计算力,将校本数据进行了整合及标准化,形成数据中心的标准库和主题库,为广大师生提供数据查询、数据分析等各种数据服务.校本数据中心能够实现内信息化精益化运营分析,支持实时统计分析的...     

城市轨道交通线网数据中心与评估决策平台

在分析网络化运营条件下大规模数据特征的基础上,根据业务系统的数据融合需求,提出城市轨道交通数据中心平台的分层框架和功能定位。探讨了线网管理的数据结构体系、数据仓库的递阶逻辑建模、面向运营业务决策的应用集市等构建方法,并以线网客流特征识别的业务应用为对象,提出了数据集市的关联规则挖掘原理、预测立方体在贯通多类运营评估应用的计算方法。结合某城市轨道交通数据中心建设案例,描述了基于数据仓库的搭建过程及相关业务的调用逻辑,表明了线网数据管理对跨业务系统融合数据的意义,有效地提高了运营管理效率。     

浅谈数据中心网络架构的发展

数据中心是数据大集中而形成的集成IT应用环境,是数据处理、数据存储和数据交换的中心。随着企业信息化的深入和新技术的广泛使用,传统数据中心已经无法满足后数据中心时代的高效、敏捷、易维护的需求。新一代数据中心解决方案,目标是在以太网和IP技术的基础上,实现数据中心基础网络架构的统一,以及安全策略的统一部署和数据中心资源的统一管理,以帮助用户简化传统数据中心的基础架构、加固核心数据的保护、优化数据中心的应用性能。为用户提供即可靠安全,又高效敏捷的的基于统一交换架构的新一代数据中心!     

基于集群规模调整的节能存储策略

根据谷歌数据中心研究报告,传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律,提出一种基于集群规模调整的Hadoop分布式文件系统（HDFS）节能存储策略,实现HDFS高效节能存储。策略主要在集群区域划分、数据块迁移策略优化、缓存机制等方面作出了改进。实验结果表明：使用该节能策略的HDFS比传统HDFS节能35%~40%,其中0.3%的访问需要唤醒服务器,同时引入缓存策略对集群的性能提高了5.1%。     

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在“大数据”概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。      

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

基于Hadoop的高速公路OD数据存储模型和计算方法

高速公路OD数据是高速公路运营管理和状况分析的一类重要数据,如何利用海量的收费数据快速生成并有效管理高速公路OD数据是当前高速公路智能化建设中的一个重要问题.针对高速公路OD数据的种类多、周期长等问题,提出一种基于Hadoop的高速公路OD矩阵存储模型和相应的计算方法.建立统计高速公路车辆旅行时间、统计高速公路车流量两类OD矩阵作为存储模型.通过基于海量真实的高速公路收费数据的实验和传统的存储高速公路收费数据对比表明本文的存储方法相对于传统的关系数据存储,拥有更高效的存储效率并节省了存储空间.     

基于虚拟化技术的空管数据中心构架研究

Based on the analysis of the current situation of the informatization construction of civil aviation air traffic control indus- try, combined with the personnel qualification, hardware resource utilization, data integrity analysis and data security problems in the field of air traffic control industry, this paper puts forward a data center construction framework based on VMware virtual cloud platform. This paper studies on the revolutionary change of the traditional data center brought by the virtualization technology of VMware, and gives a specific case analysis for the application of its advantages in the air traffic control, especially for the special non-stop air traffic control construction situation. The high availability migration of VMware can effectively improve the resource utilization and security guarantee of the data center, and effectively improve the air traffic control's Safe operation level.     

高速公路智能管控系统外部数据接入设计与实现

目前高速公路运营管理中,传统机电系统中的视频监控、收费系统等已经稳定运行多年,但功能相对单一,信息孤岛现象比较严重。为解决这一问题,重点探讨了高速公路智能管控系统如何与系统外部的专用短程通信(DSRC)道路交通流、全程断面的交通流监测数据、气象状态的监测数据、交通事件的视频检测数据进行无缝接入进行设计。同时,兼顾路网层面的信息服务,实现与交通运输部、省交通运输厅路网中心、周边高速路网、地方道路管理部门、气象部门等之间的数据共享与交换。为高速公路运行状态监测、预警、辅助决策、应急管理、信息发布等功能提供数据支撑。     

基于Hadoop的城市交通碳排放数据挖掘研究*

针对交通数据大吞吐量及时效性等特点,为了更高效地处理该类型数据,探索了一种基于云计算服务模式的、利用Hadoop技术架构可扩展的交通数据处理、发布、服务实现方法,并实现了原型系统。该方法的主要思想是利用Hadoop所提供的分布式文件处理能力对海量的交通数据进行并行处理,该过程效率较高,且运行可靠性强,与传统方法相比具有较为突出的优势。相关实验测试结果显示,该方法大大提高了该类型数据处理时效,取得了较为理想的实验效果,进一步论证了此方法对于处理该类数据的可靠性和有效性。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

数据仓库中多视图环境下的联机维护

数据仓库的视图联机维护是指数数据仓库中的实体化视图实时地与信息源中的数据库仑保持一致,同时不影响前端用户对数据仓库的正常使用。为了解决多视图环境中视图联机维护与下钻查询的一致性问题,文中在数据仓库体系结构中引入了“基库”模型,并提出了相应的视图维护算法３ＶＰＡ。     

无线数据中心网络：进展、挑战和展望

随着动态数据流量的迅速增长,庞杂的有线数据中心网络架构给网络扩张、能耗管理和运营维护等方面均带来了巨大的挑战。高速无线技术具有高带宽、动态连接且灵活可控的特征优势,成为一种潜在的数据中心组网解决方案,可以缓解数据中心长期存在的流量拥塞热点问题,减少部署和维护光缆所花费的时间、精力和成本。首先介绍了当前数据中心网络架构的发展趋势,分析比较了毫米波、太赫兹和自由空间光作为无线数据中心网络候选高速无线技术的优缺点。然后深入讨论了当前典型的无线数据中心网络架构,阐述了无线数据中心网络设计和部署面临的挑战,并对其未来发展方向进行了展望。