一种高效的检测相似重复记录的方法

如何消除数据库中的重复信息是数据质量研究中的一个热课题。文中提出了一种高效的基于N－Gram的检测相似重复记录的方法,主要工作有：（1）提出了一种高效的基于N－Gram的聚类算法,该算法能适应常见的拼写错误从而较好地聚类相似重复记录,复杂度仅为O（N）;同时提出该算法的改进形式,使其在检测的同时能自动校正单词的插入、删除错误、提高检测精度。（2）采用了一种高效的应用无关的Pair-wise比较算法,该算法以单词间的编辑距离为基础,通过计算两记录中单间的编辑距离来判断记录的相似与否。（3）给出了一种改进的优先队列算法来准确地聚类相似重复记录,该算法使用固定大小的优先队列顺序扫描已排序的记录,通过比较当前记录和队列中记录的距离来聚类相似重复记录,此外,该文构造了合适的实验环境并作了大量的算法实验,在此基础上,文中分析了大量、翔实的实验结果从而验证了算法的科学性。     

一种基于遗传算法的优化分类器的方法

提出了一种通过遗传算法(GA)对单个分类器进行优化以及对多个分类器进行组合优化的方法.该方法使用叠加(stacking)的策略.经典的叠加策略分为两步,该方法将遗传算法作为叠加策略的第2步.实验结果表明,遗传算法可以较好地完成优化任务,同单个分类器比较,它可以提高分类的精度.在对分类器进行组合优化方面,它得到比单个分类器更高的精度以及使分类结果具有更好的可理解性.     

一种用于识别不含冲突用户解释的算法

根据用户解释的特点和问题求解的需要扩充了图论中有向图的定义 ,使其结点既可以是普通的结点 ,又可以是一个有向图 ,并把用于表示用户解释的这种有向图称为 GD-约束图 .在此基础上 ,对不含冲突的用户解释表现于 GD-约束图中的特征进行了抽取 .最后 ,总结出用户解释不含冲突的充要条件并根据这个充要条件提出了一个时间复杂性为 O(m× n)的多项式时间识别算法 ,同时还对算法的正确性和时间复杂性进行了证明和分析