GBase8aMPP:一种新型关系数据库的设计和实践

随着行业大数据应用的迅速发展,对基于海量数据的行业大数据的存储、处理和管理提出了更高要求,传统的小机+存储阵列的架构已经无法满足海量数据增长和系统扩展性的要求。本文总结了一种基于MPP架构+列式存储设计的新型关系数据库技术的产品——GBase 8a MPP的技术设计思路,这些技术有效解决了传统架构下的扩展性问题和大规模并行计算问题,并且通过内部高可用机制实现在低价计算平台上的大数据平台可靠性。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

电信运营商“互联网+”业务中的分布式存储技术研究

随着互联网技术的成熟,各种类型的"互联网+"业务应用得到快速发展。种类多、数量大是互联网数据的显著特点。传统存储由于其在元数据管理、访问性能、存储容量、横向扩展等方面的局限性,在进行海量小文件处理时已显吃力。为满足井喷式互联网数据存储的需求,形式各样的分布式存储系统应运而生。文章对分布式存储技术进行研究分析,对比各类分布式存储系统的优劣,结合一些典型的电信业务简要论述哪些应用适合传统存储方式,哪些应用适合分布式存储方式。希望能对电信运营商"互联网+"业务系统建设起到抛砖引玉的作用。     

基于Hadoop技术的物联网大数据同步存储系统设计

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。     

基于缓存共享的分布式宽带数字接收技术

为满足宽带数字接收系统对海量实时数据缓存的需求,提出了一种基于数据缓存共享和流控式轮询的技术方案.该方案构造了一种高效的数据存储结构和缓存机制,为系统采用分布式并行处理架构提供了基础,并使系统具有均衡的吞吐率性能.硬件实现的测试结果表明,该方案能够实现高达144Gb/s实时数据的缓存与处理,可以较好地满足实际应用需求.     

基于二维GIS技术对直升机巡检海量数据存储管理

传统的直升机巡检海量数据存储管理系统存在着存储效率低、冗余数据量高的缺陷,为了解决上述问题,引入二维GIS技术对直升机巡检海量数据存储管理系统进行设计与研究。根据现有系统存在的问题提出直升机巡检海量数据存储管理系统总体设计,对直升机巡检海量数据存储模块与管理模块进行分别设计。     

大数据预聚合OLAP技术及应用场景探究

随着业务的不断发展,人们已不满足于大数据技术提供的海量存储与离线分析能力,希望能支持联机分析处理(OLAP)场景。然而在海量数据条件下,对OLAP纬度、指标数量、查询的并发度及响应时间都有较高的要求。传统的RMDBS或SQL on Hadoop能力有限,不能有效支撑。以Druid和Kylin为代表的预聚合技术的出现,在较大程度上满足了大数据OLAP场景的需求。文章在简述OLAP技术发展的基础上,分析这类预聚合技术的系统特点及应用场景。     

一种海量军事信息的数据云管理系统

采用云计算的思想与技术平台,针对军事数据海量和异构的特点,研究了网络环境下跨域、异构、动态、海量数据组织与服务提供等关键技术,构建了对海量军事数据云存储的管理系统.测试结果表明,该系统能较好地解决海量军事数据云的分布式存储、透明访问和并发处理等问题,为民用技术在军事上的应用进行了有益的探索.     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

大数据场景下的云存储技术与应用

文章认为随着大数据应用规模的扩大,新业务环境和场景对海量云存储需求的迫切,云存储平台需要打破原有的框架,改变组网和管理方式,以满足新的业务需求。文章分析了各种场景,提出了云存储的需求及关键技术等。文章指出大数据需求促进了云存储的发展,而云存储的发展则带动了新的业务应用。     

基于LonWorks总线的酒店客房管理系统设计

信息和网络的高度发达使传统的人工文件管理模式已经无法满足现代化酒店信息管理的需要。通过应用计算机技术,开发酒店客房管理系统,用于管理酒店信息已经成为一种趋势。文中采用“分布式无中心控制”模式,强调酒店客房智能的管理模式与目标,从智能节点设计、协议层设计、通讯端口设计以及系统网络拓扑图的设计等方面构建酒店客房系统。利用总线技术更进一步规范酒店管理平台的优越性与可操作性,以满足对酒店信息的各种处理。     

基于云环境下海洋环境监测大数据处理平台的研究

云计算是IT行业发展的新阶段。它是并行计算,网格计算,分布式计算和网络技术发展的结果。大数据技术的应用,实现了多源异构海洋环境监测数据的集成,对海洋环境监测数据的发展非常有意义。并且可以共享,以避免出现信息孤岛。能够为数据分析和挖掘提供所需的数据。这项研究有利于解决海量海洋环境监测数据管理问题,满足海洋环境研究人员对大数据的需求,并进一步探讨大数据技术在海洋环境监测中的可能应用场景。最后,讨论了云环境下海洋环境监测大数据处理平台的架构,以实现以数据为依据的决策,提高海洋环境管理水平。     

云计算关键技术的探讨

云计算(cloud computing)中涉及了分布式处理、并行处理和网格计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术。本文从云计算的体系架构和服务角度出发,对云计算中实现的访问控制管理、数据管理和虚拟化功能所使用加密算法和虚拟化等关键技术,用计算机和网络知识分析了这些技术存在的问题,提出了需要改进的方向。     

基于空间数据与流数据集成管理的交通实时监控系统设计与实现

实时交通数据以流的形式持续快速到达,智能交通系统在地理空间数据的基础上处理实时交通数据。从数据存储、数据查询等角度来看,传统关系数据库技术在同时处理空间数据和流数据方面具有不足。基于GIS的实时交通监控原型系统集成现有的空间数据和流数据管理技术,支持静态查询、连续查询和混合查询,为交通用户提供高质量的服务。     

大数据时代背景下高校科研管理系统设计与分析

文章从大数据时代提升高校科研管理水平以及推进高校教育信息化的角度出发,在通过文献调研分析现有科研管理系统的基础上,提出一个基于Web的高校科研信息处理系统的开发方案,系统从结构上可以分为科研门户网站和科研业务管理系统两大部分,拟采用Java EE技术、Spring框架技术、Oracle作为系统后台数据管理软件实现该系统。     

Research on data load balancing technology of massive storage systems for wearable devices

Because of the limited memory of the increasing amount of information in current wearable devices, the processing capacity of the servers in the storage system can not keep up with the speed of information growth, resulting in low load balancing, long load balancing time and data processing delay. Therefore, a data load balancing technology is applied to the massive storage systems of wearable devices in this paper. We first analyze the object-oriented load balancing method, and formally describe the dynamic load balancing issues, taking the load balancing as a mapping problem. Then, the task of assigning each data node and the request of the corresponding data node’s actual processing capacity are completed. Different data is allocated to the corresponding data storage node to complete the calculation of the comprehensive weight of the data storage node. According to the load information of each data storage node collected by the scheduler in the storage system, the load weight of the current data storage node is calculated and distributed. The data load balancing of the massive storage system for wearable devices is realized. The experimental results show that the average time of load balancing using this method is 1.75 ?h, which is much lower than the traditional methods. The results show the data load balancing technology of the massive storage system of wearable devices has the advantages of short data load balancing time, high load balancing, strong data processing capability, short processing time and obvious application.     

基于大数据技术的IT运维数据管理系统构建方法

随着各种信息系统的建设和应用的不断深入,信息系统所产生的监控数据成级数增长,海量运维数据的有效存储与实时分析处理成为企业所面临的新挑战。为此,文中提出了基于大数据技术的IT运维数据管理系统解决方案,该方案从逻辑上将数据管理系统分为数据集成、数据存储、数据计算、数据访问4层,层与层之间既独立又协作,充分发挥大数据技术在数据存储、并行计算、大规模数据分析挖掘等方面的优势,为信息中心海量数据的储存提供了高效的处理能力和统一的数据管理模式,并全面支撑数据分析的应用,促进智能运维的建设。     

海上测控任务数据中心一体化管理平台设计

根据海上测控任务数据和信息分布的特点,设计了海上测控任务数据中心的一体化管理平台.首先,平台设计采用基于无共享存储的高性能集群模式数据库架构,具备统一的计算与存储系统能力以及良好的动态可扩展性;其次,平台采用层次化设计,包括数据采集与处理、数据存储、数据管理和数据应用4层,实现统一的数据中心管理和应用.根据应用需求,重点设计了航天器遥测故障预警与诊断、测控设备远程监控与故障诊断、外测数据精度分析与数据挖掘等典型数据应用模块,实现数据核心价值.     

基于云服务的钻井工程数据管理系统设计与实现

近年来,随着云技术的发展,基于云计算技术架构的应用系统逐渐成为主流。本文根据石油钻井企业工程数据管理的需求,首先采用面向服务思想,将系统封装为9个服务,然后统一部署在云平台上,最终实现了基于云服务的钻井工程数据管理系统,通过使用云计算技术以及SOA软件架构,有效解决了传统管理系统的扩展能力差、维护成本高以及资源利用率低等问题,保证数据的一致性,为企业的管理和决策提供重要的数据依托,提高企业的经济效益。     

基于云平台的数据采集与统计汇总系统应用研究

基于云平台的数据采集与统计汇总系统应用研究以某科技环保集团的实际需求为背景,主要解决数据中心“数据”方面的问题,如数据收集、数据加工、数据专题分析、数据展现等,数据覆盖了综合效益、营销管理、生产管理、资产管理、科技管理、项目管理、社会效益等主要业务范围。项目最终实现了数据处理流程、业务处理流程和经营监管指标体系的功能。