面向海量数据应用的物联网信息服务系统研究综述*

物联网信息服务系统整合了基础设施层获取的海量数据,是面向各类物联网应用提供跟踪、监测和控制等信息服务的关键平台。阐述了物联网海量数据处理技术,包括存储、预处理和数据挖掘;总结了物联网信息服务系统在系统安全、隐私保护和可信性方面的安全保障机制;从系统架构、实现技术和系统实践三个方面,探讨了物联网信息服务系统的设计。最后,展望了这一领域面临的挑战和有待进一步研究的方向。     

基于内存数据库的OPC监测系统的设计与实现

工业OPC实时监测系统要求系统能够快速响应并及时处理大批量实时数据,传统关系型数据库较难满足,内存数据库能够较好地完成实时监测系统的实时海量数据处理,及时反馈数据信息.文章将内存数据库技术引入工业OPC实时监测系统,与传统关系型数据库相互融合,提出了一个基于内存数据库技术的工业OPC实时监测系统的架构模型.该模型在保证存储海量历史数据的同时,提高OPC监测系统的实时性、稳定性,满足OPC实时监测系统的需求,具有较好的实时监控效果,可以用于工业OPC实时监控系统中.     

基于NoSQL的物联网数据本体模型存储技术研究与实现

随着信息技术的发展,物联网为实现万物互联互通孕育而生。数据存储是物联网重要部分,但是物联网数据具有海量、异构、复杂多变的特点。本文根据物联网数据的特点,提出一种基于No SQL数据库和本体概念模型的物联网中间数据存储模型,提出物联网数据存储的方案,解决了物联网海量异构数据存储的问题,并使用t DB数据库验证该方案在物联网存储方面的高效性。     

Hadoop环境下分布式物联网设备状态分析处理系统

设备故障可能会引起严重的生产事故,对企业、社会和人身安全造成严重威胁.因此,对物联网设备状态分析并进行合理的处理具有重要意义.针对物联网设备数据量大且复杂的特性,本文提出了一种针对物联网设备的海量数据处理架构,同时结合Dask分布式计算框架,设计了基于Hadoop环境的分布式物联网设备状态分析处理系统.本系统主要包括数据服务、数据分析和数据存储3个模块,并通过合理的节点调度方案保证了算法的高效运行和分布式计算的稳定性.系统运行表明能有效的处理大批量数据并实时准确预测设备状态,满足工业智能制造过程中的实际应用.     

基于大规模廉价计算平台的海量数据处理系统的研究*

提出一种基于大规模廉价计算平台的海量数据处理模型,吸取了Map/Reduce计算模式和大规模分布式数据存储机制Bigtable的基本思想,实现了以数据为中心的计算密集型的经济性超级计算系统平台。系统选择电信部门的大规模业务数据为分析对象,对电信通话和数据业务的大规模数据集进行处理,从而向运营商和普通用户提供有价值的数据分析服务。该平台适用于其他多种海量数据的分布式处理,为其他的各种应用提供了一个具有良好参考价值的示范。     

基于内存数据库的OPC监测系统的设计与实现

工业OPC实时监测系统要求系统能够快速响应并及时处理大批量实时数据,传统关系型数据库较难满足,内存数据库能够较好地完成实时监测系统的实时海量数据处理,及时反馈数据信息。文章将内存数据库技术引入工业OPC实时监测系统,与传统关系型数据库相互融合,提出了一个基于内存数据库技术的工业OPC实时监测系统的架构模型。该模型在保证存储海量历史数据的同时,提高OPC监测系统的实时性、稳定性,满足OPC实时监测系统的需求,具有较好的实时监控效果,可以用于工业OPC实时监控系统中。     

一种安全增强的容灾数据保护体制研究

本文在利用可信计算技术的基础上,结合分布式门限存储思想,提出了一种容灾系统的安全增强体制.该体制引用了嵌有可信平台模块的可信计算平台,这种具有安全存储、远程证明等优势特性的平台有效保证了容灾终端的高可信性:为了保障信息数据的存储安全性.则采用基于Erasure码的分布式门限存储的安全增强技术,该技术不仅能解决海量数据的存储问题,而且可以较好地防止单点失效、减轻在容灾过程中网络负载以及解决联合欺骗等安全问题.因此,通过应用这些安全增强技术,可以为容灾系统中的海量数据提供全面的安全保护.     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

海量数据处理需求下的物联网实施数据库设计

在物联网快速发展中,处理大量数据成为了该领域关注的热点。在物联网环境下,数据具有异构性、多态性、实时性、海量性特征,而且人们对多元化处理的需求不断提高。针对这些问题,本文将会提出一种基于云算技术的一种分布式内存数据库技术,对该技术在海量物联网数据处理方面的应用进行分析。     

基于Hadoop集群的海量数据处理系统

近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

Power Builder环境下异构数据集成实现技术

针对数据库应用系统中对异构数据的操作和集成问题,提出了在Power Builder环境下实现对异构数据库集成的三种解决方案:利用动态配置数据源实现数据集成;利用数据管道实现数据集成和利用数据窗口技术实现数据集成,并详细阐述了三种方案的实现过程.