Web服务核心支撑技术:研究综述

随着电子商务的迅速崛起,基于Web的应用模式迅速发展,Web应用从局部化发展到全球化,从B2C(business-to-customer)发展到B2B(business-to-business),从集中式发展到分布式,Web服务成为电子商务的有效解决方案.Web服务是一个崭新的分布式计算模型,是Web上数据和信息集成的有效机制.Web服务的新型构架,Web服务的高效执行方式,Web服务与其他成熟技术的有机结合以及Web服务的集成是解决现实应用问题的重要技术.从Web服务研究的不同侧面对其进行了综述,阐述了Web服务的基本概念,分析了当前Web服务的主要研究问题及其核心支撑技术,概括了Web服务中的数据集成技术、Web服务的组合、语义Web服务、Web服务发现,Web服务安全,P2P(Peer-to-Peer)新型计算环境下的Web服务解决方案和网格服务等方面的研究内容,并对这些技术进行了总结,结合已有的研究成果,展望了Web服务未来的研究方向及其面临的挑战.  

流数据分析与管理综述

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.  

数据质量和数据清洗研究综述

对数据质量,尤其是数据清洗的研究进行了综述.首先说明数据质量的重要性和衡量指标,定义了数据清洗问题.然后对数据清洗问题进行分类,并分析了解决这些问题的途径.最后说明数据清洗研究与其他技术的结合情况,分析了几种数据清洗框架.最后对将来数据清洗领域的研究问题作了展望.  

从多角度分析现有聚类算法

聚类是数据挖掘中研究的重要问题之一.聚类分析就是把数据集分成簇,以使得簇内数据尽量相似,簇间数据尽量不同.不同的聚类方法采用不同的相似测度和技术.从以下3个角度分析现有流行聚类算法: (1)聚类尺度; (2)算法框架; (3)簇的表示.在此基础上,分析了一些综合或概括了一些其他方法的算法.由于分析从3个角度进行,所提出的方法能够涵盖,并区分绝大多数现有聚类算法.所做的工作是自调节聚类方法以及聚类基准测试研究的基础.  

不确定性数据管理技术研究综述

随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入,在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在,不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现,目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型,这些不确定性数据模型的核心思想都源自于可能世界模型,可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行,因此,必须运用排序、剪枝等肩发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作.  

万维网的链接结构分析及其应用综述

当今万维网的规模已经快速发展到包含大约80亿个网页和560亿个超链接．此外，对万维网的创建进行全局规划显然是不可能的．这些都对万维网的相关研究提出了挑战．另一方面，互联网环境下通过超链连接起来的网页，为人们的日常和商务用途提供了非常丰富的信息资源，但前提是必须掌握有效的办法来理解万维网．链接结构分析在万维网的很多研究领域起着越来越重要的作用．全面介绍了万维网链接分析方面的最新研究进展和应用情况，对链接分析在Web信息搜索、万维网潜在社区发现及万维网建模等方面的研究进展和实际应用进行了综述．  

一种基于密度的快速聚类算法

聚类是数据挖掘领域中的一个重要研究方向，聚类技术在统计数据分析、模式识别、图像处理等领域有广泛应用，迄今为止人们提出了许多用于大规模数据库的聚类算法。基于密度的聚类算法DBSCAN就是一个典型代表。以DBSCAN为基础，提出了一种基于密度的快速聚类算法。新算法以核心对象领域中所有对象的代表对象为种子对象来扩展类，从而减少区域查询次数，降低I/O开销，实现快速聚类，对二维空间数据测试表明：快速算法能够有效地对大规模数据库进行聚类，速度上数倍于已有DBSCAN算法。  

基于数据分区的DBSCAN算法

数据聚类在数据挖掘、模式识别、图像处理和数据压缩等领域有着广泛的应用。ＤＢＳＣＡＮ是一种基于密度的空间聚类算法，在处理空间数据时具有快速、有效处理噪声点和发现任意形状的聚类等优点，但由于直接对数据库进行操作，在数据量大的时间就需要较多的内存和Ｉ／Ｏ开销；此外，当数据密度和聚类间的距离不均匀时聚类质量较差，为此，在分析ＤＢＳＣＡＮ算法不足的基础上，提出了一个基于数据分区的ＤＢＳＣＡＮ算法，测试结果表  

高维空间中的离群点发现

在许多KDD(knowledge discovery in databases)应用中,如电子商务中的欺诈行为监测,例外情况或离群点的发现比常规知识的发现更有意义.现有的离群点发现大多是针对数值属性的,而且这些方法只能发现离群点,不能对其含义进行解释.提出了一种基于超图模型的离群点(outlier)定义,这一定义既体现了"局部"的概念,又能很好地解释离群点的含义.同时给出了HOT(hypergraph-based outlier test)算法,通过计算每个点的支持度、隶属度和规模偏差来检测离群点.该算法既能够处理数值属性,又能够处理类别属性.分析表明,该算法能有效地发现高维空间数据中的离群点.  

一种高效的检测相似重复记录的方法

如何消除数据库中的重复信息是数据质量研究中的一个热课题。文中提出了一种高效的基于N－Gram的检测相似重复记录的方法，主要工作有：（1）提出了一种高效的基于N－Gram的聚类算法，该算法能适应常见的拼写错误从而较好地聚类相似重复记录，复杂度仅为O（N）；同时提出该算法的改进形式，使其在检测的同时能自动校正单词的插入、删除错误、提高检测精度。（2）采用了一种高效的应用无关的Pair-wise比较算法，该算法以单词间的编辑距离为基础，通过计算两记录中单间的编辑距离来判断记录的相似与否。（3）给出了一种改进的优先队列算法来准确地聚类相似重复记录，该算法使用固定大小的优先队列顺序扫描已排序的记录，通过比较当前记录和队列中记录的距离来聚类相似重复记录，此外，该文构造了合适的实验环境并作了大量的算法实验，在此基础上，文中分析了大量、翔实的实验结果从而验证了算法的科学性。