数据仓库环境下以用户为中心的数据清洗过程模型

数据清洗是数据仓库和数据挖掘中非常重要的一个环节。本文首先分析总结了数据清洗的有关概念，给出了数据清洗中需要解决的质量问题，并总结了解决这些问题的技术和方法。在此基础上提出了以人为中心的数据清洗过程模型。该模型集成了工作流技术、数据集成、数据转换和数据挖掘技术。给出了每个工具箱应该提供的基本功能。  

一种基于划分的孤立点检测算法

孤立点是不具备数据一般特性的数据对象.划分的方法是通过将数据集中的数据点分布的空间划分为不相交的超矩形单元集合,匹配数据对象到单元中,然后通过各个单元的统计信息来发现孤立点.由于大多真实数据集具有较大偏斜,因此划分后会产生影响算法性能的大量空单元.由此,提出了一种新的索引结构--CD-Tree(cell dimension tree),用于索引非空单元.为了优化CD-Tree结构和指导对数据的划分,提出了基于划分的数据偏斜度(skew of data,简称SOD)概念.基于CD-Tree与SOD,设计了新的孤立点检测算法.实验结果表明,该算法与基于单元的算法相比,在效率及有效处理的维数方面均有显著提高.  

基于信息论的潜在概念获取与文本聚类

针对词、潜在概念、文本和主题之间的模糊关系,提出一种基于信息论的潜在概念获取与文本聚类方法.方法引入了潜在概念变量和主题变量。根据信息论中熵压缩编码理论,定义了一个全局目标函数,给出一种类似于确定性退火算法的求解算法,用以获得概念层次树以及在不同层次概念上的文本聚类结果,是一种双向软聚类方法.方法通过基于最短描述长度原则的概念选择方法,最终确定概念个数和对应的文本聚类结果.实验结果表明,所提出的方法优于基于词空间的文本聚类方法以及双向硬聚类方法.  

星链ER模型:一种数据仓库概念设计模型

对于流程工业中的数据仓库建设，存在一贯性质量分析的需求，即前一个工序的工艺可能影响下一个工序的产品质量．针对这种需求，提出了一种数据仓库的概念设计模型，星链ER模型．其中引入了链式事实主题结构的概念，并把度量细分为传递型度量与非传递型度量，给出了星链ER模型的图形表示法以及由概念模型到逻辑模型的转换规则．该模型可以方便地转化成多种逻辑模型如星型模式、雪花模式以及星座模式．  

一种面向数据挖掘预处理过程的领域知识的分类及表示

本文强调了领域知识应用于数据预处理过程的特点和意义，给出了面向数据预处理技术的领域知识的分类和表示，设计了面向数据预处理技术的领域知识的存储结构和将领域知识应用于数据预处理过程的算法．  

一种具有最大推荐非空率的关联规则挖掘方法

为了提高个性化推荐的质量,简化推荐规则生成过程中相关参数的设置,讨论了应用于个性化推荐中的关联规则的性质,定义了"推荐非空率"这一新的推荐测度以及"1-支持频繁项集"和"k最大关联规则"的概念,提出了"在1-支持频繁项集中生成k最大关联规则"的思想,设计了满足该思想且适合于不同滑动窗口深度下推荐的关联规则挖掘算法.理论分析及实验结果表明,该算法具有最大的推荐非空率、较高的推荐准确率和F-测度,并有效地简化了规则挖掘过程中阈值的设置.  

一种元数据驱动的ETL方法的研究

数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性.  

云计算环境下的大规模图数据处理技术

随着社交网络分析、语义Web分析、生物信息网络分析等新兴应用的快速增长,对亿万个顶点级别大规模图的处理能力的需求愈加迫切,这是当前高性能计算领域的研究和开发热点.文中结合云计算的特点,从图数据管理与图数据处理机制两个方面,综述了云计算环境下进行大规模图数据处理的关键问题,包括图数据的存储方式、图索引结构、图分割策略、图计算模型、消息通信机制、容错管理、可伸缩性、图查询处理等.全面总结了当前的研究现状和进展,详细分析了存在的挑战性问题,并深入探讨了未来的研究方向.  

有效的非完全结构XML查询

讨论了有意义的非完全结构XMI查询(NFS)结果的定义,提出了一种易于扩展的基于模式和实体的有意义判断模型--PE模型;基于PE模型,设计了具体的等价模式和等价查询项判断方法,提出了PE索引和I2P倒排索引,设计了一种有效的NFS查询算法来处理有意义的判断以及路径查询和关键字查询.实验表明,文中方法的查询质量和效率要优于XSEarch系统和Timber系统.  

基于用户搜索意图的Web网页动态泛化

基于目前对用户搜索意图的分类,进一步分析了每种用户意图的信息需求,提出了基于用户搜索意图的Web网页动态泛化模型,为搜索的Web网页动态地建立文档片段、关键词、导航类型、文档格式之间的概念层次,通过网页内容、类型和格式的泛化为不同的访问意图提供进一步的搜索导航,从而返回与搜索意图更相关的结果.与相关工作对比,重点并非获取用户意图,也不是对用户意图分类,而是基于用户搜索意图的Web网页动态泛化模型的建立及Web网页泛化过程的实现.实验结果表明,该泛化模型不仅能够通过导航自动获取用户搜索意图,而且能够基于该意图提供相关搜索结果以及进一步的搜索导航.