数据流管理系统TelegraphCQ的研究与应用

数据流具有连续、实时、无限性，同时数据流也是不可预测的，且具有不可重现性，利用传统的数据库管理技术显然不能解决数据流的问题，因此必须进行数据流管理新技术的研究。文章先介绍了数据流管理系统的一般体系结构，然后研究了数据流管理系统TelegraphCQ的开源码，并在此基础上详细阐述了TelegraphCQ的体系结构、数据管理方法和查询处理技术，同时给出了建立TelegraphCQ的详细步骤及使用方法。     

数据流的预测与分类研究

数据流的预测和分类技术在网络入侵发现、系统性能分析等应用中具有重要的应用。作者对近年来有关数据流预测和分类的进展做了总结，并提出了一个数据流的预测和分类的通用模型，可用于系统性能的实时预测与异常检测。     

数据中心实时交换系统的研究与实现

针对数据中心对信息实时交换系统实时可靠传输数据流的应用需求,分析了数据中心传输数据流的特点,设计了实时交换系统架构,重点研究了信息系统可靠、实时传输数据的方法。采用线程控制模块和消息同步阻塞I/O模型实现了并发数据流的处理,基于循环缓存机制和双系统同步技术解决了突发数据流易丢包的难题,保证了系统的可靠性。为了确保经过数据中心的数据流的实时传输,减少系统处理过程中产生的时延,提出了QPTS(队列优先级驱动的任务调度)算法。该算法兼顾优先级、截止时间和剩余包数,实现了数据流的按需调度,提高了系统对交换数据流的处理速度。测试结果验证了算法的有效性以及系统的实时性和可靠性。     

实时数据流聚类的研究新进展

实时数据流聚类是目前国际数据库和数据管理领域的新兴研究热点.综述了实时数据流聚类的最新研究进展,在介绍实时数据流聚类的相关理论和常用技术的基础上,对现有各种代表性算法的优势和不足进行了系统地分析,从处理速度、聚类形状、演化分析、高维性及噪声健壮性5个方面对算法的性能进行了比较.探讨了基于聚类的实时数据流演化分析方法及其局限性.最后展望了将来可能的研究方向.     

基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

Internet多媒体数据流实时传输协议的研究及其应用

分析了一些关于网络多媒体数据流实时传输的关键协议RTP、RSVP、RTSP和IPv6,分析了它们对多媒体实时数据流实时传输的意义。并介绍了Java平台上实现的多媒体数据流实时传输的系统。     

一种支持嵌入式实时应用的数据流管理系统

论文介绍了数据流技术研究、发展状况,而后讨论了数据流管理系统在嵌入式实时系统中的作用,在此基础上,给出了一个支持嵌入式实时应用的数据流管理系统RealStream,详细介绍了RealStream的体系结构及其基于触发器的多重动态查询优化机制。     

基于工厂信息的实时数据流分析与全过程质量监控

针对某钢铁企业生产过程中的生产信息不畅通、产品质量无法追踪问题,开展了基于工厂信息（PI）的实时数据流分析与全过程质量监控方法的研究。着重研究了实时数据流分割和过程监控,提出基于统计质量控制（SQC）图和工序性能指标的统计监控方法,并开发了一个产品技术质量监控系统,应用结果表明基于PI的实时数据流分析与产品质量监控实现了企业对生产工序质量的监控,以及关键生产工艺的识别与改进。     

数据流技术及查询算法研究

数据流技术是一种正在兴起的新型数据形式,信息以数据序列的形式产生并且需要实时、持续地进行处理。数据流管理系统(DSMS)是面向数据流而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。本文从整体上介绍数据流的相关技术,重点分析了DSMS的特点以及相应的查询算法的分析。     

基于动态数据流挖掘的案例推理及其应用

知识的获取、知识库的更新是案例推理技术的应用瓶颈,而许多案例推理系统中的知识库都是静态不变的,满足不了实际问题变化的需要。首先阐述了相关概念,接着提出了一种基于动态数据流挖掘的案例推理模型,其中动态数据流挖掘算法采用改进的数据流聚类算法。通过此模型使用基于动态数据流挖掘的案例推理技术,对数据进行实时挖掘,产生连续、动态的临时案例库,实现知识库的实时更新,从而满足实际问题变化的需要。最后通过该模型在实际中的应用说明其有效性。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...