基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

航空票务系统OLAP数据仓库设计与实现

如何对航空票务系统中累积的海量数据进行分析处理从而为决策提供支持,已经成为航空票务系统亟待解决的问题.通过对航空票务系统的研究,提出了利用联机分析处理和数据仓库技术建立决策支持系统的解决方案.详细论述了航空票务决策分析系统中数据仓库模型与多维数据集的建立,以及数据的抽取、转换、加载和分析结果的前端展现,并且对利用表分区技术解决决策系统中海量数据的存储问题进行了重点论述.     

基于大数据技术的高校科研管理服务平台优化

为实现高校科研管理平台的数据安全,本文提出一种基于大数据技术的高校科研管理服务平台优化方法。利用大数据技术对平台设计过程进行优化,通过大数据检索技术解决数据存储问题,通过布尔检索模型连接平台本地空间中检索目录与云存储空间,减轻本地平台大数据存储压力。结果表明设计平台科研数据置乱程度较高,达到80%以上,加密功能较好;F-measure值较高,检索时间5 s以下,可以达到高校科研管理服务平台优化的目的。     

共享信息模型在就业信息服务中的研究与应用

当前就业领域分散的业务系统繁多,不同数据源下的数据冗余和信息不一致性严重。在此情况下,构建一个跨不同业务系统的就业信息服务平台成为主要需求。而该平台构建的前提是提供一个标准的、完整的基础就业信息模型,以便进行数据管理和信息共享。本文通过对比不同的信息模型框架,参考共享信息数据(SID)框架的结构,建立就业共享信息模型。该模型为就业信息服务平台提供了数据存储的逻辑视图和元数据管理的标准,有效实现就业信息在数据中心中的共享与互通。     

一种可信的云存储控制模型

云存储服务在以其低成本、高扩展等优势获得广泛青睐的同时,也为实现信息资产安全与隐私保护带来了极大的冲击与挑战.目前,安全已成为云存储服务亟待解决的重要问题.提出了一种可信的云存储控制模型(Trusted Control Model of Cloud Storage,TCMCS).TCMCS通过密文访问控制及完整性验证对用户数据进行预处理来保证数据的机密性与完整性;引入可信第三方存储密钥信息,以实现安全、可靠的数据共享;借鉴中间件的设计思想以屏蔽不同云存储平台之间的差异以及分离数据操作过程中的安全操作与业务逻辑.基于安全的多方计算理论,证明了TCMCS的安全性.仿真实验表明,TCMCS在不降低云存储服务平台数据操作性能的基础上,保证了数据的安全性.     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

电子政务系统中基于决策支持的数据重组方案

在电子政务系统三网一库架构下,可以通过构建统一的数据平台实现系统的资源共享和数据的分析重组,为各级政府提供智能决策支持.本文讨论了基于数据仓库的数据重组方案的设计与实现.     

基于大数据技术的中医药云服务平台基础架构设计

为了解决传统中医药云服务平台存在的时效性差、故障发生率高的问题。提出一种基于大数据技术实现对平台基础架构的优化设计。通过优化设计的平台基础架构，完成对平台网络架构的设计。根据通信网络存储数据，建立中医药服务数据处理大数据技术。通过挂号预约服务、中医问诊等服务业务，保证中医药云服务平台的正常运行。与传统基础架构下开发的中医药云服务平台相比，加载速度有所提高，且在恶劣条件下平台故障发生的次数有所降低。     

多维数据库模式下联机数据分析技术的实施

随着社会的发展和技术的进步,越来越多的领域和企业组织都需要处理并分析其已有的海量数据和信息.基于目前数据库技术的日趋成熟与相应的数据仓库技术的不断兴起,提出了一个基于多维数据库模式的联机数据分析技术的原型平台解决方案,即侧重于多维数据库存储模式的实现和该存储模式下的联机数据分析功能的设计两方面,完成了该原型平台的设计与实现.文中主要研讨了该原型平台的开发过程中所涉及的重点以及难点技术问题,并最终将该原型平台应用并满足某信息系统的实际联机数据分析的需求,从而验证了该原型平台的相关功能的实用性和有效性.     

基于J2EE架构的民航信息基础架构云平台设计

目前民航信息基础数据较多,使用存储信息容器数量不足的平台存储信息时,出现基础数据交互效果不佳的问题。为此,提出基于J2EE架构的民航信息基础架构云平台设计。采用磁盘阵列的方式进行数据存储,利用云终端通过虚拟桌面服务实现虚拟页面展示;构建民航信息基础架构云服务平台,根据民航信息基础云服务数据通信流程,设计多种功能模块,使用虚拟映射算法,模拟各个模块间的协同性,满足实时通信需求。测试结果表明,该平台最大吞吐量为4.4Gbit/s,最小吞吐量为2.6Gbit/s,与理想值一致。     

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具LeafLet为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法（MD5）重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于SolrCloud的关联查询算法,利用SolrCloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求。通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求及数据类别,设计并搭建机场应急救援大数据处理平台整体架构;对大数据处理基础对的名称节点、数据节点进行功能设计,并对大数据平台数据批处理计算、流处理计算等计算需求进行研究,提供具体的处理引擎;分析表明研究成果有助于提高我国民航机场安全运行效率,为民航机场应急救援大数据处理平台提供支撑。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

动态优先级服务请求队列管理模型研究

针对通用数据交换平台的体系结构以及服务流程，提出民航数据交换平台的多等级用户动态服务排队模型，介绍了实现模型所需的多线程模式，探讨了服务请求动态优先级的更新时机、与模型负载相关的参数设置。该模型通过三级多堆多线程对具有动态优先级的服务请求进行排序，实现了根据用户等级优先次序为其提供服务的功能。在实验中，根据设定的相关参数得到了模型的响应延迟，试验结果证明该模型适用于面向多等级用户的数据交换平台。     

金融信息服务系统技术框架研究

金融资讯数据是投资者进行投资决策、券商投研部门进行研究和撰写研究报告的重要依据。从金融资讯数据的数据整合与存储、信息检索和资讯推荐三个层次出发,提出了一种创新的金融信息服务系统技术框架,并在此基础上描述了国泰君安金融资讯与统一检索平台的构建方案。平台还在数据整合、数据存储、信息检索、去重机制、资讯推荐等多个方面实现了技术创新,为金融行业构建信息服务系统提供了有益的示范与参考。     

江苏省经信委大数据平台设计与应用

云计算、大数据等信息技术的应用能够为大量积累的江苏经信数据资源提供存储、共享和分析。按照国家和省级相关要求,建设江苏经信委大数据平台,能够加快政府信息平台整合,消除信息孤岛,为公众、企业和政府的管理与服务建设提供信息资源支撑。     

中国民航新一代云计算智能数据中心研究及实现

中国民航新一代云计算智能数据中心建设的总体目标是构建面向新一代民航旅客服务系统的数据可视化、资源供给自动化、监控运维规范化的云计算平台。本文分析该云计算平台的产生背景以及国内外云计算平台的发展现状,介绍中国民航新一代云计算智能数据中心的业务架构和技术架构,最后总结了该平台落地的重大意义。     

海战场时空数据建模

目前的海战场信息系统中数据表达是基于时刻的,以反映瞬时的战场信息为主,对历史信息、空间信息处理简单,难以满足复杂应用的需要.综合分析现有时空数据模型的基础上,立足于海战场数据特性,引入时空代数系统并加以扩展,建立了海战场时空数据表达模型.模型的支持下设计的原型系统实现了海战场时空数据存储、查询和时空关系运算的优化.