一个面向大规模数据库的数据挖掘系统

数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统--Golden-Eye.系统实现了在数据挖掘研究中的一些最新成果,集成了泛化、数据清洗这两个数据准备操作以及关联规则发现、例外规则发现、时序模式发现、分类器构造、聚类分析等基本数据挖掘操作,并实现了对挖掘操作的基本管理和结果的图形化显示.整个框架设计充分体现了系统的完整性、协调性和高效性:自底向上将存储控制模块、数据预处理模块、挖掘操作模块、挖掘库管理模块有机地结合在一起,在底层实现了对包括中间结果在内的数据的统一管理,在上层为用户提供了可视化的界面.实验结果表明,该系统能够在大规模数据库上成功地完成用户所指定的数据挖掘操作.     

A New Classification Method to Overcome Over—Branching

Classification is an important technique in data mining.The decision trees builty by most of the existing classification algorithms commonly feature over-branching,which will lead to poor efficiency in the subsequent classification period.In this paper,we present a new value-oriented classification method,which aims at building accurately proper-sized decision trees while reducing over-branching as much as possible,based on the concepts of frequent-pattern-node and exceptive-child-node.The experiments show that while using relevant anal-ysis as pre-processing ,our classification method,without loss of accuracy,can eliminate the over-branching greatly in decision trees more effectively and efficiently than other algorithms do.     

区块链与可信数据管理:问题与方法

作为支撑比特币实现无中心高可信的账本管理的技术,区块链在金融领域得到了广泛关注.区块链实现了不完全可信环境中的可信数据管理,具有去中心化、防篡改、不可抵赖、强一致和完整性等特性,同时也具有高延迟和低吞吐率的性能问题.在互联网技术发展,新型应用层出不穷的大背景下,借鉴区块链在数字加密货币应用中的成功经验,探索可信数据管理的理论、技术,并设计、实现系统,是学术界所面临的重要问题.本文从可信数据管理角度,介绍区块链相关的技术和研究进展,包括分布式共识、智能合约、数据溯源等,并分析应用对可信数据管理所提的需求和研究挑战.     

流数据分析与管理综述

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.     

PeerIS:基于Peer-to-Peer的信息检索系统

介绍了对等计算(peer-to-peer,简称P2P)的特征、潜在优势和应用范围,指出了当前P2P数据共享系统存在仅支持弱语义(甚至缺乏语义)和粗粒度(文件水平)共享等局限性.针对这种现状,提出了基于P2P的信息检索,既可充分发掘P2P技术的潜在优势,克服传统信息检索系统的可伸缩瓶颈等问题,又可实现P2P数据共享系统语义丰富和细粒度的信息检索与共享;并开发出PeerIS:基于P2P的信息检索系统.描述了PeerIS的整体构架与节点的内部结构;重点阐述了PeerIS的通信机制、自配置机制、查询机制以及自适应路由机制等实现关键技术;并用实验证明了PeerIS的优异性.     

从多角度分析现有聚类算法

聚类是数据挖掘中研究的重要问题之一.聚类分析就是把数据集分成簇,以使得簇内数据尽量相似,簇间数据尽量不同.不同的聚类方法采用不同的相似测度和技术.从以下3个角度分析现有流行聚类算法: (1)聚类尺度; (2)算法框架; (3)簇的表示.在此基础上,分析了一些综合或概括了一些其他方法的算法.由于分析从3个角度进行,所提出的方法能够涵盖,并区分绝大多数现有聚类算法.所做的工作是自调节聚类方法以及聚类基准测试研究的基础.     

大规模分布式系统中的多属性查询处理

大规模分布式系统中的复杂查询处理是将对等计算技术运用于关键应用中的重要问题,是学术界与工业界所共同关注的研究问题.文中介绍了一种高效、可伸缩的通用的基于类Chord协议的多属性查询处理技术GChord.它既支持匹配查询也支持范围查询.和现有其它技术相比,对于任何数据元组,GChord只需要对其编码和索引一次,且能将查询处理的代价限制在一个很小的范围内.因此,它能在索引维护代价和查询效率之间达到平衡.GChord还提供优化技术以进一步提升性能.实验证实了GChord具有较高的查询处理效率以及较低的索引维护代价.     

基于深度学习的新型视频分析系统综述

摄像设备在生活中的普及,使得视频数据快速增长,这些数据中蕴含丰富的信息.早期,研究人员基于传统的计算机视觉技术开发视频分析系统,用于提取并分析视频数据.近年来,深度学习技术在人脸识别等领域取得了突破性进展,基于深度学习的新型视频分析系统不断涌现.从应用、技术、系统等角度,综述了新型视频分析系统的研究进展.首先,回顾了视频分析系统的发展历史,指出了新型视频分析系统与传统视频分析系统的区别;其次,分析了新型视频分析系统在计算和存储两方面所面临的挑战,从视频数据的组织分布和视频分析的应用需求两方面探讨了新型视频分析系统的影响因素;再次,将新型视频分析系统划分为针对计算优化的系统和针对存储优化的系统两大类,选取其中典型的代表并介绍其核心设计理念;最后,从多个维度对比和分析了新型视频分析系统,指出了这些系统当前存在的问题,并据此展望了新型视频分析系统未来的研究和发展方向.     

Clustering DTDs: An Interactive Two-Level Approach

XML（eXtensible Markup Language)is a standard which is widely applied in data representation and data exchange,However,as an important concept of XML,DTD(Document Type Definition)is not taken full advantage in current applications.In this paper,a new method for clustering DTDs is presented.and it can be used in XML document clustering.The two-level method clusters the elements in DTDs and clusters DTDs separately.Element clustering forms the first level and provides element clusters,which are the generalization of relevant elements.DTD clustering utilizes the generalized information and forms the second level in the whole clustering process.The two-level method has the following advantages:1) It takes into consideration both the content and the structure within DTDs;2) The generalized information about elements is more useful than the separated words in the vector model;3) The two-level method facilitates the searching of outliers.The experiments show that this method is able to categorize the relevant DTDs effectively.     

大规模集群上基于预散列的连接处理和优化

随着现代应用中数据规模的迅速增长,以及复杂处理要求的出现,传统的集中式和分布式数据处理技术已经不能满足需要;而大规模集群由于具有可伸缩性、高可用性、容错性的优势,逐渐为数据密集型应用所广泛使用.这里针对大规模集群上数据连接(join)操作的效率问题:1)分析了基于Map/Reduce框架的连接操作实现的效率瓶颈;2)提出了一种采用预散列(hash)的连接操作实现技术;3)研究了针对星型连接的优化技术.代价模型分析与实验显示,此处提出的方法能够有效提高连接操作的效率.