流数据分析与管理综述

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.     

A New Classification Method to Overcome Over—Branching

Classification is an important technique in data mining.The decision trees builty by most of the existing classification algorithms commonly feature over-branching,which will lead to poor efficiency in the subsequent classification period.In this paper,we present a new value-oriented classification method,which aims at building accurately proper-sized decision trees while reducing over-branching as much as possible,based on the concepts of frequent-pattern-node and exceptive-child-node.The experiments show that while using relevant anal-ysis as pre-processing ,our classification method,without loss of accuracy,can eliminate the over-branching greatly in decision trees more effectively and efficiently than other algorithms do.     

区块链与可信数据管理:问题与方法

作为支撑比特币实现无中心高可信的账本管理的技术,区块链在金融领域得到了广泛关注.区块链实现了不完全可信环境中的可信数据管理,具有去中心化、防篡改、不可抵赖、强一致和完整性等特性,同时也具有高延迟和低吞吐率的性能问题.在互联网技术发展,新型应用层出不穷的大背景下,借鉴区块链在数字加密货币应用中的成功经验,探索可信数据管理的理论、技术,并设计、实现系统,是学术界所面临的重要问题.本文从可信数据管理角度,介绍区块链相关的技术和研究进展,包括分布式共识、智能合约、数据溯源等,并分析应用对可信数据管理所提的需求和研究挑战.     

一个面向大规模数据库的数据挖掘系统

数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统--Golden-Eye.系统实现了在数据挖掘研究中的一些最新成果,集成了泛化、数据清洗这两个数据准备操作以及关联规则发现、例外规则发现、时序模式发现、分类器构造、聚类分析等基本数据挖掘操作,并实现了对挖掘操作的基本管理和结果的图形化显示.整个框架设计充分体现了系统的完整性、协调性和高效性:自底向上将存储控制模块、数据预处理模块、挖掘操作模块、挖掘库管理模块有机地结合在一起,在底层实现了对包括中间结果在内的数据的统一管理,在上层为用户提供了可视化的界面.实验结果表明,该系统能够在大规模数据库上成功地完成用户所指定的数据挖掘操作.     

Clustering DTDs: An Interactive Two-Level Approach

XML（eXtensible Markup Language)is a standard which is widely applied in data representation and data exchange,However,as an important concept of XML,DTD(Document Type Definition)is not taken full advantage in current applications.In this paper,a new method for clustering DTDs is presented.and it can be used in XML document clustering.The two-level method clusters the elements in DTDs and clusters DTDs separately.Element clustering forms the first level and provides element clusters,which are the generalization of relevant elements.DTD clustering utilizes the generalized information and forms the second level in the whole clustering process.The two-level method has the following advantages:1) It takes into consideration both the content and the structure within DTDs;2) The generalized information about elements is more useful than the separated words in the vector model;3) The two-level method facilitates the searching of outliers.The experiments show that this method is able to categorize the relevant DTDs effectively.     

大规模集群上基于预散列的连接处理和优化

随着现代应用中数据规模的迅速增长,以及复杂处理要求的出现,传统的集中式和分布式数据处理技术已经不能满足需要;而大规模集群由于具有可伸缩性、高可用性、容错性的优势,逐渐为数据密集型应用所广泛使用.这里针对大规模集群上数据连接(join)操作的效率问题:1)分析了基于Map/Reduce框架的连接操作实现的效率瓶颈;2)提出了一种采用预散列(hash)的连接操作实现技术;3)研究了针对星型连接的优化技术.代价模型分析与实验显示,此处提出的方法能够有效提高连接操作的效率.     

FDBSCAN:一种快速 DBSCAN算法

聚类分析是一门重要的技术 ,在数据挖掘、统计数据分析、模式匹配和图象处理等领域具有广泛的应用前景 .目前 ,人们已经提出了许多聚类算法 .其中 ,DBSCAN是一种性能优越的基于密度的空间聚类算法 .利用基于密度的聚类概念 ,用户只需输入一个参数 ,DBSCAN算法就能够发现任意形状的类 ,并可以有效地处理噪声 .文章提出了一种加快 DBSCAN算法的方法 .新算法以核心对象邻域中所有对象的代表对象为种子对象来扩展类 ,从而减少区域查询次数 ,降低 I/ O开销 .实验结果表明 ,FDBSCAN能够有效地     

Data Management in Peer-to-Peer Environment: A Perspective of BestPeer

Peer-to-Peer (P2P) systems have attracted much attention in academic commu-nity and industry circles due to their promising applications in various domains. This paper presents the authors‘ research efforts on introducing complex query capabilities in a P2P environ-ment consisting of numerous peers with large volume of data. An underlying hybrid P2P computing platform, named BestPeer is described first. The connection among peers within BestPeer is self-configurable through maintaining the nearest neighbor of peers, and the agent techniques employed in the system ensure its capability of providing sophisticated services. The designs of three P2P data management systems which are all based on BestPeer are described in detail. They provide support for information retrieval, query processing and Web services respectively. Advantages and limitations are discussed, while ongoing work is presented. Current systems can provide basic functions for keyword-based search, SQL-like query processing, and Web services querying and discovery. Some further topics on providing fully-fledged data management functionalities for P2P distributed computing systems with security guarantee are also discussed.     

基于分形技术的数据流突变检测算法

数据流上的突变检测技术由于其在风险分析、网络监测、趋势分析等领域广阔的应用前景而受到学术界和工业界越来越多的关注.为了在数据流上检测多个滑动窗口上的单调聚集函数值和非单调聚集函数值的突变,提出了基于分形技术的构建单调搜索空间的突变检测算法.首先给出了数据流上的分段分形模型,进而基于该模型设计了突变检测算法.该算法能够将突变检测处理时间复杂度从O(m)降为O(logm)(m为需要被检测的滑动窗口数目).提出的两种新颖的分段分形模型能够准确     

产教融合打通数据学科研究生培养的"最后一公里路"

针对人工智能课程现状,提出一种依托产学合作开展人工智能课程改革与建设的模式,阐述如何借助百度公司强大的技术团队以及数据资源、算力方面的支持,把握技术前沿,强化学生实践动手和创新能力的培养,全面提升课程教学质量.