基于MAP-REDUCE的大数据不一致性解决算法

大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法进行了改进,增强了算法的适用性和精确性,并通过仿真实验验证了在大数据环境下该算法的并行性和有效性。     

简析智能工业与信息安全的关键要素

简要阐述了智能工业的关键要素:工业互联网、物联网、工业云、工业大数据、智能制造、智能工厂;信息安全关键要素:信息安全关键技术、物联网安全、云计算安全、工控系统信息安全;共性要素:政策法律、创新环境、管理及人才。     

面向批量处理的大数据检索过滤模型研究

大数据作为新的战略资源,在信息领域发挥着重要作用。大数据的检索规模往往达到十亿甚至百亿级,导致传统的查询机制效率低下成为常态。因此,提高大数据的查询效率、降低查询负担成为大数据研究的重要方面。为 此提出了一种面向批量处理的大数据检索过滤模型IMFM,介绍了其核心思想及工作原理,论证了IMFM对于多维查询的支持,并给出了IMFM的部署策略。在大数据索引结构中的适当位置部署该模型,在检索请求通过节点时对检索请求进行快速过滤,避免无关请求对节点下方索引结构的操作,从而降低检索对性能的消耗。实验证明,在大数据批量处理环境下,该模型可以有效缩短大数据一维和多维查询的路径长度,提高检索效率,大幅减轻大数据存储和处理平台的负担。     

大数据负载的体系结构特征分析

针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于 处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。     

大数据技术在环境信息中的应用

在“辽河流域水环境管理技术综合示范”项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用MapReduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.     

基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

大数据时代勘探云建设模式探索

按照大数据定义,油气勘探数据处理工作显然是一种大数据应用模式,而作为油气勘探核心工作平台的勘探云计算中心,其建设目的首先是为了满足企业内部业务数据处理工作需求,在确保计算力分享和协同工作的基础上,勘探云更注重数据存储、数据管理以及数据应用业务的支持,对照一般公用云建设模式,勘探私有云建设具备其独特的建设模式。笔者企业结合自身特点,对照当前大数据应用需求开展勘探私有云建设工作,取得了一定的效果,对企业主营业务的支持效果明显。     

基于GPRS大口径水表远传系统在水司中的应用

针对供水行业水表计量的信息化发展要求,本文在介绍大口径水表远传工作原理的基础上,采用可测倒流的计数装置,将水表信息传送给水表传输端站,利用网络运营商提供的GRPS网络,实现公户水表表字传输到远程抄表系统的数据库中。系统具有倒转预警功能,数据及图表统计等功能。     

基于大数据集群架构的数据管理系统设计

由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长的用户及数据存储要求。针对这种情况,通过对现有大数据底层支撑技术的梳理,搭建了一种基于大数据集群架构的数据管理系统,该系统为满足支持不同地域海量数据服务的需求,考虑了高性能、易用性、易扩展和可靠性等方面的因素,解决了在用户激增的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。     

基于“互联网+”的教育新图景

当下信息技术与教育革新的前沿,就是制定“互联网+”的行动计划,推动大数据与教育的融合,促进教育持续、健康发展,从而引领教育在新领域创造出一种新生态.文章分析了“互联网+”时域下大数据革新教育的新图景,总结出与大数据同行的学习就是未来的教育.