基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于数据仓库的指标体系研究

政府及行业一般用报表的方式收集数据,报表中的各个数据项就是指标,不同的政府部门、行业所需要的指标的个数、种类是不一样的。指标体系用一种统一的方式来描述指标结构,因此可以为不同的应用生成不同的指标。以报表方式收集的指标数据往往是海量的,并且与时间密切相关,因此将指标数据存放在数据仓库中是合理的。数据仓库中存储的海量指标数据又为OLAP分析及进一步的数据挖掘奠定了基础。文中讨论构成指标体系的关系结构,描述了实用指标的形成过程,说明了指标体系多维数据集中的共享维度和事实数据表,最后给出了基于数据仓库的指标体系的应用。     

基于数据仓库的指标体系研究

政府及行业一般用报表的方式收集数据，报表中的各个数据项就是指标，不同的政府部门、行业所需要的指标的个数、种类是不一样的。指标体系用一种统一的方式来描述指标结构，因此可以为不同的应用生成不同的指标。以报表方式收集的指标数据往往是海量的，并且与时间密切相关，因此将指标数据存放在数据仓库中是合理的。数据仓库中存储的海量指标数据又为OLAP分析及进一步的数据挖掘奠定了基础。文中讨论构成指标体系的关系结构，描述了实用指标的形成过程，说明了指标体系多维数据集中的共享维度和事实数据表，最后给出了基于数据仓库的指标体系的应用。     

云环境中海量数据的并行分组密码体制研究

云计算环境中,飞速增长的海量数据的安全性越来越受到关注,分组密码算法是保证海量数据安全性的一个有效手段,但面对超大规模的数据量其效率是一个备受关注的问题。提出了一种基于MapReduce架构的并行分组密码机制,能够使标准的分组密码算法应用于大规模的集群环境中,通过并行化来提高海量数据加密与解密的执行效率,并设计了常用的几种并行工作模式。实验证明,提出的算法具有良好的可扩展性和高效的执行性能,能够适用于云计算环境中海量数据的安全保密,为进一步的研究工作奠定了基础。     

海量数据预测模型设计及案例分析

预测是很多行业都需要的一项方法和技术,随着数据积累的越来越多,现在许多行业大多面临基于海量数据的预测问题,该文从基于海量数据挖掘的预测方法出发,给出了一个数据挖掘预测系统的模型,并针对一个行业案例介绍了预测的具体处理过程,最后对预测结果的评价和选取情况进行了分析。     

数据仓库Hive搭建与应用——以网站流量统计分析为例

云计算等技术的发展,推动了海量数据存储和处理技术的发展,从海量数据中快速找到有价值的信息是进行数据挖掘的关键。Hive能够使用Hibernate查询语言（Hibernate Query Language,HQL）语句对数据进行查询和分析,帮助决策者从海量数据中挖掘出更高价值的信息。以网站流量统计分析为例,从Hive的环境搭建、数据仓库构建、数据查询等方面介绍了Hive的应用。     

专家观点:“大数据”与“海量数据”的区别

多年前,业界就在讨论一个话题:如何应对海量数据?特别是一些需要存储大量用户数据的行业,金融、电信、保险等热门行业。用户几乎在一天的每个小时,都有可能产生大量数据,这些行业的存储设备,必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加,很多行业用户开始想办法变"数"为宝,从海量数据中挖掘有价值的信息。     

海量交易数据抗干扰推荐算法仿真

针对海量交易数据易遭受干扰,导致推荐信息混乱、不能为用户有效决策基础问题,提出了一种海量交易数据抗干扰推荐算法,首先对交易数据进行决策树全局搜索,获取决策节点的误差率,更新全部历史数据的平均分类准度.然后使用自适应门限变换干扰抑制方法,降低交易数据中的干扰因素,从而提高网络交易数据的抗干扰性,再通过构建待推荐内容信息项目测评矩阵,计算用户相似度及加权平均值,最后融合上述数值,构建出海量交易数据抗干扰推荐模块,并使用用户聚类分析算法对交易数据分组,随后经过协同过滤把有效信息推送给效用度较高的用户.仿真结果证明,本文算法能够有效的对海量交易数据的干扰做出实时的抑制,效率高且推荐数据内容有效.     

游标技术在数据仓库统计效率中的研究与应用

结合上海轨道交通AFC(Automatic Fare Collection)运营管理数据仓库海量高维数据的特点,通过对传统和游标两种不同访问数据编程方法的比较和应用,研究和提出利用游标技术提高数据仓库数据统计效率的方法,并给出这两种数据访问方法关于部分统计效率的对比结果.     

海量数据存储管理技术研究

海量数据存储管理在各行业的信息化过程中越来越重要,受到了广泛的关注.综述了海量存储管理技术的研究及应用现状,介绍了一些关键技术,包括数据存储架构,分级存储,数据自动化归档,业务流程控制,并发设计,数据服务等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向.     

基于指标相关性的网络运维质量评估模型

传统网络运维评估方法存在两方面的问题：一是在指标选取、权重指定等关键步骤过于依赖领域专家经验,难以得到精确全面的评估结果;二是通信设备用户数量不断增加带来了海量的数据,数据又来自多个厂家以及多种设备,传统方法处理此类海量异构数据的效率较低。为了解决这些问题,提出基于指标间互相关性的指标选取方法。该方法着眼于评估过程中指标选取步骤,通过比较指标数据序列间的相关性强弱,对原始指标集进行分类,在各个簇中选择代表性指标完成关键指标体系的构建;另外,结合无人工参与的数据处理方法、权重确定方法建立了网络运维质量评估模型。在实验中,所提方法选取的指标对人工指标的覆盖率为72.2%,并且比人工指标的信息重叠率少31%。所提方法能够有效减少人力参与,且评估结果对告警有较好的预测准确率。     

基于Internet的元数据管理模式研究——以地理信息元数据管理为例

1 引言通讯和计算机技术的发展使信息成为国民经济和社会发展的重要资源,目前社会各个部门都在挖掘自己的信息资源整理和改善行业内部的数据库,在管理和应用这些海量信息的同时,一个突出的问题就是怎样有效地管理和组织海量的数据。元数据机制是解决上述问题的有效手段,随着各行业元数据标准的推出,行业内部海量数据的组织有了一定的规则。但是在基于这些规则的基础上怎样有效地实现海量数据的管理,这就为元数据的管理提出了更高的要求。     

基于数据划分的海量数据查询优化研究与应用

针对海量数据查询效率低的问题,在比较和分析了多种海量数据查询优化解决方案的优缺点后,提出了一种基于数据划分的海量数据查询性能优化方法.该方法利用多数据库处理、表分区、分表技术将数据在三个维度上将数据划分存储,减少了海量数据的查询规模.经过实验该方法提高了大规模海量数据的查询效率.     

基于ElasticSearch的元数据搜索与共享平台

随着水利行业信息化的发展,针对海量、多源、异构数据的共享与发现成为行业研究的热点。本文设计与实现一种基于Elastic Search的水利元数据搜索与共享平台,提出针对水利异构数据的解决方案并对海量数据建立索引,利用多租户访问控制策略,保证用户索引数据的一致性与安全性。通过Rest服务对索引资源进行封装,提供搜索与多粒度的共享方式。应用表明,平台能够保证用户准确高效地获得水利行业数据,节约了水利单位构建搜索系统的成本。     

基于税务行业大数据应用的存储系统设计

介绍了在大集中环境下税务行业大数据的应用价值,结合税务行业对大数据的需求提出税务行业大数据存储系统设计目标。通过使用海量非结构化数据存储、虚拟机镜像数据存储等技术,规划出大数据存储系统,并描述大数据存储系统的存储方式和应用效果。     

海量遥感影像数据库实时压缩系统的设计与实现

数据压缩是解决海量数据远程传输的关键技术,编解码速度和重建图像质量是评价压缩系统性能的重要指标。论文介绍了作者自行设计和实现的一个海量遥感影像压缩系统,给出了该系统的工作原理和实现方法。     

携大数据上路

医疗行业的大数据特征是数据量大,数据类型复杂,医疗行业早就遇到了海量数据和非结构化数据的挑战,医院应如何调整．以顺应大数据时代潮流？     

基于图书馆的海量数据性能优化

随着图书馆数据大规模的增长,海量数据的组织、查询和存取日益成为应用性能的关键。本文针对图书馆海量数据的情况,从几个方面进行分析研究,重点对海量数据进行查询优化研究,探寻一些能够优化海量数据性能的方法。     

面向海量数据存储的对象存储技术研究

在这个信息大爆炸的时代,伴随着各行业中数据量的不断激增,以至海量数据的大量出现,存储技术正在发生革命性的变化.专门针对海量数据存储环境,对现有存储结构进行了分析,研究了面向对象存储技术:主要包括对象存储模型、对象存储系统以及对象存储特性.由于对象存储结构具有良好的可伸缩性、高性能、跨平台、安全数据共享等能力,使其成为海量数据存储的一个理想选择.     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。