共查询到20条相似文献,搜索用时 171 毫秒
1.
2.
针对自然界与人类社会二元水循环产生的海量水务观测数据,现有水务数据管理系统存在存储负荷大,数据库扩展困难,查询速度慢的问题,无法满足存储与分析的需要。针对问题,首先,结合虚拟化技术、Hadoop基础架构,设计分布式大数据存储平台的基本架构;其次,依据现有水务大数据情况及实际业务数据库表,实现分布式大数据存储平台的设计;最后,完成从集中式平台到分布式平台的数据迁移代码实现,并进行数据迁移实验测试。实验结果验证了分布式大数据存储平台设计方案的可行性与有效性,可为大规模行业数据的存储与处理提供一种理想的分布式解决方案。 相似文献
3.
随着教学资源的飞速增长,海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足的问题。本文提出基于Hadoop的海量数据存储模型,并在此模型的基础上设计并实现了基于Hadoop的大规模分布式存储管理平台。事实证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据处理的效率。 相似文献
4.
为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。 相似文献
5.
基于Storm的海量数据实时聚类 总被引:1,自引:0,他引:1
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。 相似文献
6.
周艳芳 《电脑编程技巧与维护》2022,(2):81-83
设计并实现基于分布式平台的大数据分析处理系统,基于Spark平台用以处理大规模时间序列数据.系统框架主要分为存储层、算子层和算法层.在存储层,系统基于HDFS和Hive完成对大规模时间序列数据的组织和索引.在算子层,系统为用户提供了Spark平台上时间序列数据常用的基本操作,并允许用户直接使用这些算子实现自定义的时间序... 相似文献
7.
8.
对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。 相似文献
9.
电信经营分析系统承担着决策支撑的重要职能,面对越来越多的海量数据,如何有效处理这些海量数据从而提取有价值信息是面临的一大突出问题,利用云计算技术解决这些问题是一种新的有效的途径。针对电信经营分析系统中(简称BASS)现有存储、处理和ETL算法的不足,结合云计算技术提出了分布式海量数据存储、Hbase海量数据管理、Map/Reduce编程模式、以及基于拆分机制的海量数据处理(简称SMB-DP)算法和基于任务运行时间和优先级的ETL任务调度(简称AGB-ETL)贪婪算法,本文着重从这几个方面对现有经分系统进行改进和优化。 相似文献
10.
由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景. 相似文献
11.
云计算影响了互联网上世界上任何地方远程服务器处理、数据存储和共享的方式。这种共享多种分布式资源方式,使得安全问题更加复杂化。本文分析了云计算环境下的安全服务,通过整合可信计算环境来建立云计算系统。可信计算平台模式可以提高云计算的安全性。可信计算模式重要的安全服务包括加密,认证,完整性和保密性等都可以用在云计算系统中。 相似文献
12.
云计算是以虚拟化技术为基础,以网络为载体提供基础架构、平台、软件等服务为形式,整合大规模可扩展的计算、存储、数据、应用等分布式计算资源进行协同工作的超级计算模式。云计算技术的出现使得人们可以直接通过网络应用获取软件和计算能力,这一新的模式将会给传统的IT产业带来一场巨大的变革,云计算正在成为一种发展趋势。本文就云计算的发展前景和存在的风险谈几点思考。 相似文献
13.
14.
为满足对电网实时运营状态分析过程中对用户实时用电量数据等大规模实时数据进行实时分析处理的需求,实现对电网运营决策提供快速准确的数据分析支持,提出一种流计算与内存计算相结合的大规模数据分析处理的系统架构。将经过时间窗划分的用户实时用电量数据进行离散傅里叶变换(DFT),实现对异常用电行为评价指标的构建;将基于抽样统计分析构造出的用户用电行为特征,采用K-Means聚类算法实现对用户用电行为类别的划分。从实际业务系统中抽取实验数据,验证了提出的异常用电行为和用户用电分析评价指标的准确性。同时,在实验数据集上与传统的数据处理策略进行对比,实验结果表明流计算与内存计算相结合的系统架构在大规模数据分析处理方面更具优势。 相似文献
15.
大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型(p-DCOT)。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。 相似文献
16.
数据密集型计算编程模型研究进展 总被引:12,自引:0,他引:12
作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望. 相似文献
17.
遥感数据云服务平台是基于云计算技术,整合大规模遥感数据的存储资源和计算资源,实现资源共享和按需使用的服务模式的地理信息处理服务平台。我们基于分布式存储技术实现遥感数据的高效存储、Linux 容器技术实现快速部署和资源隔离、ownCloud 私有云技术实现高效共享和 IPythonnotebook 交互式技术实现方便易用交互,设计了一种稳定、高效的地理信息云服务平台。用户可通过Web的方式方便的访问大规模遥感数据,并利用云主机的计算、存储资源对所需的遥感数据进行分析和处理。 相似文献
18.
19.
Yuzhong SUN Ying SONG Yunwei GAO Haifeng FANG Kai ZHANG Hongyong ZANG Yaqiong LI Yajun YANG Ran AO Yongbing HUANG Lei DU 《Frontiers of Computer Science》2010,4(1):47
Currently, with the evolution of virtualization technology, cloud computing mode has become more and more popular. However, people still concern the issues of the runtime integrity and data security of cloud computing platform, as well as the service efficiency on such computing platform. At the same time, according to our knowledge, the design theory of the trusted virtual computing environment and its core system software for such network-based computing platform is at the exploratory stage. In this paper, we believe that efficiency and isolation are the two key proprieties of the trusted virtual computing environment. To guarantee these two proprieties, based on the design principle of splitting, customizing, reconstructing, and isolation-based enhancing to the platform, we introduce TRainbow, a novel trusted virtual computing platform developing by our research group. With the two creative mechanisms, that is, capacity flowing amongst VMs and VM-based kernel reconstructing, TRainbow provides great improvements (up to 42%) in service performance and isolated reliable computing environment for Internet-oriented, large-scale, concurrent services. 相似文献
20.
云计算是在网格计算基础上提出的一种新型计算模型,是下一代网络计算平台的核心技术,它提供了可靠安全的数据存储、方便快捷的互联网服务和强大的计算能力。对气象部门而言,云计算可能成为未来气象数据处理和分析的基本平台,同时对气象资源的开发也提出了新的思路。 相似文献