大数据技术在物联网产业中的应用分析

在经济飞速发展的今天,物联网时代也随之到来,并以不可抵挡之势从众多产业中脱颖而出,引发人们探索的热潮,逐渐成长为朝阳产业之一。在物联网产业兴起的同时,产生信息的体量也越来越大,再加上人们对信息的要求越来越高,为了满足市场需求,必须继续研究和完善大数据技术,并将其应用到物联网产业中来。因此,本文将通过探讨大数据技术对物联网产业的重要意义,对大数据技术在物联网产业中的实际应用做出分析。     

大数据产业现状和挑战

系统地论述了大数据产业现状和挑战,介绍了大数据产业基本概念和范畴,分析了大数据产业生态中各环节,总结了大数据产业发展的政策环境以及投融资环境,最后,总结了大数据产业发展在数据共享、交易、隐私保护等方面面临的挑战。     

运营商发展大数据的机遇和挑战

互联网、通信行业爆发式增长,形成了新时代的大数据。大数据在大容量、多样性和高增速方面,全面考验着现代企业的数据处理和分析能力。大数据不仅是数据大,最重要的是对大数据进行分析,只有通过分析才能获取有价值的信息,并为企业带来更深入、更准确的市场机会。     

浅谈大数据在物联网产业中的应用

随着我国经济发展水平的不断提高,我国的物联网产业得到了快速的发展,与此同时,人们对信息服务的要求越来越高。新形势下,物联网产业的货物总量以及货物种类都在不断增加,由此而带来的信息数据也是十分庞大的,如何高效的管理物联网产业已成为物联网工作者面临的重大课题。本文分析了大数据的内涵,并对大数据在物联网产业中的应用进行了重点阐述。     

2020中国大数据产业发展新机遇

从已发布的各类规划和行动计划来看,政府数据治理和监管类应用是政府大数据的建设重点。预计2020年,各级政府在年度财政预算有限的情况下,仍将优先支持这些领域的系统和平台建设。从2008年大数据概念提出以来,经过10余年的快速发展,大数据存储、安全、分析和可视化等技术日益成熟,大数据在互联网和各传统行业的应用也日益广泛而深入,涌现出诸如网络精准营销、共享经济、服务型制造、个性化制造、辅助诊疗、数字征信和数字风控等业务场景。     

数据资产管理体系及其新产业机遇

大数据是未来IT技术发展的核心,因而数据是资产的说法已经被越来越多的人谈及。数据的生产方式、管理手段,也会被提出更高的要求。本文主要针对数据资产管理的概念、管理体系、以及未来围绕数据资产管理可能产生的一系列新产业做了概述。     

基于大数据的物联网智能家居的应用及发展

智能家居的出现,改变了人们使用家电设备的习惯,为人们推送更加智能、便捷的家居模式,受到大众的喜爱,具有较大的发展潜力。为了进一步提高智能家居的应用效果,将大数据技术应用到智能家居中,可以优化智能家居的功能,给用户带来更佳的使用体验。基于此,文章立足当下智能家居的发展情况,介绍其未来的发展前景。     

农业大数据综述

云计算、物联网、大量社交网络的兴起使我们社会的数据种类和数量都呈井喷式增长,大数据时代已经到来。农业信息化是现代农业建设的重要内容,农业物联网等应用使农业产业发展中的应用日渐深入。在大数据背景下,大数据分析也为农业信息化提供了技术支持。对农业大数据的相关概念进行阐述,介绍了大数据的分析过程,以及对可应用于农业大数据的各项技术进行了介绍。最后简要分析了农业大数据未来发展所要面临的挑战。     

大数据时代物联网技术的应用与发展

新时期,大数据背景下,我国物联网技术的应用及发展逐渐广泛,同时我国物联网技术的创新也提升了一个层次.本文对大数据时代物联网技术的应用与发展进行分析,首先对大数据与物联网结合的优势进行分析,其次对大数据时代背景下的物联网应用技能实现研究,最后对物联网在新时期的应用以及发展进行研究,希望本文可为物联网技术的发展提供参考.     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

浅谈大数据

大数据是这两年非常热门的词汇,大数据应用已经开始被人们所关注。本文试着介绍大数据的由来、大数据的特点以及大数据的应用,并对大数据给信息技术带来的问题及大数据的发展趋势进行分析。     

物联网环境下基于上下文的Hadoop大数据处理系统模型

针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离"上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组.以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析.实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上.     

大数据环境下的数据挖掘课程教学探索

近年来,大数据引起了各界相关部门的高度关注,中科院和各高校开始重视该方向的教学和研究。针对目前大数据带来的社会影响力,根据大数据具体特性以及数据挖掘学科交叉性强的特点,结合实际教学经验,分别从培养数据意识、加强理论体系、创新教学方法和深入科学研究等四个方面来探索如何设计高校数据挖掘课程,以解决大数据时代下数据挖掘课程因抽象而带来的问题,为培养优秀的大数据研究人才奠定理论基础。     

Computing infrastructure for big data processing

With computing systems undergone a fundamental transformation from single-processor devices at the turn of the century to the ubiquitous and networked devices and the warehouse-scale computing via the cloud, the parallelism has become ubiquitous at many levels. At micro level, parallelisms are being explored from the underlying circuits, to pipelining and instruction level parallelism on multi-cores or many cores on a chip as well as in a machine. From macro level, parallelisms are being promoted from multiple machines on a rack, many racks in a data center, to the globally shared infrastructure of the Internet. With the push of big data, we are entering a new era of parallel computing driven by novel and ground breaking research innovation on elastic parallelism and scalability. In this paper, we will give an overview of computing infrastructure for big data processing, focusing on architectural, storage and networking challenges of supporting big data paper. We will briefly discuss emerging computing infrastructure and technologies that are promising for improving data parallelism, task parallelism and encouraging vertical and horizontal computation parallelism.     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

Dynamic data auditing scheme for big data storage

When users store data in big data platforms,the integrity of outsourced data is a major concern for data owners due to the lack of direct control over the data.However,the existing remote data auditing schemes for big data platforms are only applicable to static data.In order to verify the integrity of dynamic data in a Hadoop big data platform,we presents a dynamic auditing scheme meeting the special requirement of Hadoop.Concretely,a new data structure,namely Data Block Index Table,is designed to support dynamic data operations on HDFS(Hadoop distributed file system),including appending,inserting,deleting,and modifying.Then combined with the MapReduce framework,a dynamic auditing algorithm is designed to audit the data on HDFS concurrently.Analysis shows that the proposed scheme is secure enough to resist forge attack,replace attack and replay attack on big data platform.It is also efficient in both computation and communication.     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。