ITS虚拟共用信息平台的数据集成包装器

针对ITS虚拟共用信息平台各子系统数据异构、分布存储的特点，采用异构数据集成模型，探讨了ITS虚拟共用信息平台的数据集成方案，并结合ITS虚拟共用信息平台的体系结构，设计了ITS虚拟共用信息平台的数据集成包装器，并对包装器时间中的关键技术以及包装器的具体实现过程进行了详细说明。     

基于GIS的ITS共用信息平台数据模型研究

以种类繁多，数据量巨大，结构和型式复杂的交通信息为背景，通过对ITS共用信息平台基础数据组成的分析，探讨如何利用GIS技术有效组织各种交通信息，提出基于GIS的共用信息平台数据结构设计思想，并对基于GIS的基础数据的概念模型，基础数据的目录结构和系统的逻辑结构等进行描述，提出建立数据仓库的思想并介绍了其包含的主要内容，而研究结果对于促进ITS共用信息平台的实际建设和发展有一定意义。     

ITS检测器交通流数据质量控制系统研究

交通信息为智能交通系统(ITS,intelligent transportation system)提供基础的数据支持和持续原动力,所以作为系统的原材料——交通检测器采集的原始交通数据,它的质量好坏会直接影响整个系统的后续效益。以提高交通检测器采集的原始交通数据质量为目的,以交通流数据质量控制系统为研究对象,首先对整体系统框架进行结构分析,核心包括故障数据判别和故障数据修正两大部分,然后分析了交通流数据质量控制的协作流程,并给出了故障信息中的丢失数据、不规则时间点数据、异常数据的识别和修正模型,以及故障检测器的判别和处理方法。最后对系统的设计文档和程序开发给以说明,且已经在深圳城市交通仿真系统应用并取得良好的数据应用效果。     

基于J2EE/CORBA的ITS共用信息平台软件总体架构的设计与实现

共用信息平台是ITS系统建设的核心和关键,对其研究已从理论框架论述转向技术实现阶段。该文以北京市交通综合信息平台示范工程项目为背景,以J2EE和CORBA为技术支撑,综合论述了基于二者相结合的ITS共用信息平台的软件总体架构的设计与实现。     

一个基于Agent的ITS共用信息平台框架

ITS共用信息平台是一个典型的分布式应用系统,而基于分布式人工智能的Agent技术为ITS共用信息平台提供了一个新的问题求解方法。本文以Agent技术为背景,对ITS共用信息平台进行了探讨,在此基础上,提出了一个基于Agent技术的ITS共用信息平台框架。     

ITS智能交通系统体系结构的探讨

ITS智能交通系统是建设现代化交通的四大系统:共用信息平台、城市道路交通控制与管理系统、城市交通综合管理系统、城市对外交通综合管理系统以及其子系统的功能和结构作一分析.     

基于e交通学的交通大数据MetaData交换构架

基于e交通学的交通大数据系统是通过构建由大型高性能计算机组成的集群系统来处理海量的交通数据的存储以及计算服务,不仅所需的环境十分严格,而且成本高、部署周期长、维护困难;不仅如此,随着数据量的增长,业务复杂度的增加,以及计算强度的加大,通过增加Server数量来增加其处理对海量交通数据的能力会变的十分困难,甚至需要对集群的结构进行重新的设计和部署,这不仅需要大量的人力成本和财力,而且造成了巨大的浪费。MetaData交换及部署能力成为当今大数据驱动的智能交通系统研究的重点。面对海量交通数据,如何存储、管理、处理和应用MetaData是十分关键的问题。本文提出的交通大数据MetaData交换系统(Traffic Big Data Metadata Exchange System,TBMES)实现分布式交通信息交换与互访。该构架通过实时交通数据与交通信息大数据平台实时对接,让交通信息传递具有连续性、真实性;宏观交通数据和微观交通数据无缝对接,既可分析路网交通运行态势,又可评价重要道路节点的交通效率,全面掌握区域交通运营状态;使得交通组织管理可视化、可量化、系统化、自动化;系统的输出结果,可为决策者提供决策的理论支持,促进交通决策科学化。     

大数据的基础安全保障

目前,浙江省人力社保信息系统业务应用和数据存储正从分散部署逐步走向大集中,省级数据中心作为浙江省人力社保数据存储、网络传输和数据计算的中心,基础网络及安全建设,是提升网络性能和可靠性,确保网络安全的保障,对于数据中心充分利用设备资源,促进信息系统有效整合,信息资源共享共用也至关重要。     

无线传感器中数据管理技术的探讨

无线传感器网络是一门获取和处理信息的新兴技术,它以数据为中心,提供数据采集、处理和查询功能,其根本任务是准确获取物理世界的有价值信息。数据存储和数据查询是无线传感器网络研究中的重点和热点问题。本文探讨了无线传感器网络的数据存储与查询技术。     

基于模糊处理的医疗信息数据存储系统的设计

为了提高医疗技术水平,加快医务人员对医疗信息数据的分析,使医疗信息数据运行更加顺畅,减少数据存储所占空间,需要对医疗信息数据存储系统进行设计;当前的医疗信息数据存储系统对医疗信息数据进行存储时,利用FPGA构建系统硬件,以硬件为基础将医疗信息数据存储,但在存储过程中,没有将冗余数据清除,导致存储空间易满,容量变小,存在正常医疗信息数据无处安放的问题;为此,提出一种基于模糊处理的医疗信息数据存储系统设计方法;该方法首先对医疗信息数据的来源进行统计,根据数据来源实现医疗数据的硬件构造,然后利用医疗信息数据中特征相似数据间的中介点实现数据聚类,完成对医疗信息数据的聚类存储,最后采用高斯混合模型对冗余医疗数据进行特征分析,以分析结果为基础,利用分数阶Fourier变换对冗余医疗信息数据进行删除操作,由此完成了基于模糊处理的医疗信息数据存储;实验结果证明,所提方法增加数据存储空间容量,减少对冗余数据的存储,加快医疗信息数据的存储速度,提高数据存储精度,为该领域研究发展提供强有力的依据。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...