基于数据分组匹配的相似重复记录检测

针对数据集成中相似重复记录的识别问题,提出一种数据特征属性优选分组的算法。通过计算特征属性的方差来确定某维属性的权值,基于数据分组思想选择权值大的属性,将数据集分割成不相交的小数据集,并在各小数据集中用模糊匹配算法进行相似重复记录的识别。理论分析和实验结果表明,该方法识别效率和检测精度较高。     

基于遗传神经网络的相似重复记录检测方法

为了有效解决数据清洗领域中相似重复记录的检测问题,提出了一种基于遗传神经网络的相似重复记录检测方法.该方法计算两条记录对应字段间的相似度,构建基于神经网络的检测模型,利用遗传算法对网络模型的权值进行优化,使用遗传神经网络组合多个字段上的相似度来检测相似重复记录.在不同领域数据集上的测试结果表明,该方法能够提高相似重复记录检测的准确率和检测精度.     

应用量子粒子群算法优化神经网络的数据库重复记录检测

神经网络的连接阈值以及权值直接影响数据库重复记录的检测效果,当前方法无法找到最优的神经网络的连接阈值和权值,导致数据库重复记录检测偏差比较大,并且数据库重复记录检测效率低,为了获得更优的数据库重复记录检测结果,提出了量子粒子群算法优化神经网络算法的数据库重复记录检测方法。首先分析当前数据库重复记录检测研究进展,并提取数据库重复记录检测特征向量,然后采用BP神经网络对数据库重复记录检测训练样本进行学习,采用量子粒子群算法确定最优连接阈值和权值,建立理想的数据库重复记录检测模型,最后进行了数据库重复记录检测仿真实验。结果表明,这种方法是一种准确率高、效率高的数据库重复记录检测方法,数据库重复记录检测效果要明显优于其它方法。     

相似重复记录检测研究与发展动态的知识图谱分析

在大数据环境下,数据库中的记录数量呈指数上升,如何高效率地检测出相似重复记录是数据清洗的关键点和提高数据质量的首要任务。近十年国内外相似重复记录检测方法又涌现出相当多的高水平成果,迫切需要对新的文献加以归纳梳理。以2008—2019年的国内外相似重复记录检测相关文献为研究样本,结合社会网络和知识图谱对其发文量、核心机构、作者合作群、研究热点和研究趋势进行分析。分析发现,作者合作结构整体上较松散,相似重复记录各类检测方式的集成、应用领域的扩展和通用框架的研究成为热点,缺失数据值的处理、多数据源的识别、大数据量的分块处理成为相似重复记录领域的挑战。     

DWDIS:面向分析的Deep Web数据集成系统

传统Deep Web数据集成研究侧重满足用户的即时查询需求,对数据分析应用缺乏充分支持,提出一个面向分析的Deep Web数据集成系统DWDIS,能够在较少人工参与下对大量Web数据库进行高质量数据获取、抽取和整合,为分析型应用提供优质全面的结构化数据.DWDIS支持领域模型的自动演化;通过自动识别和理解查询接口,采用查询词采新率模型以较小代价最大限度地获取Deep Web页面;充分利用集成系统已有数据中隐含的数据特征,对Deep Web页面进行有效页面抽取和语义标注;结合Web数据源特征,使用机器学习方法对来自大量Web数据库的数据实现高准确率的重复记录检测和数据融合.     

基于长度过滤和有效权值的SNM改进算法

异构数据库集成中产生了相似重复记录,但数量是有限的,采用传统的SNM算法进行检测,需要在窗口内对所有记录进行比对,效率不高。针对这一缺陷,提出一种基于长度过滤和有效权值的SNM改进算法,在窗口内根据两条记录的长度比例首先将不可能构成相似重复记录的数据排除在外,减少了记录比较的次数,提高了检测效率;进一步通过设置属性有效性因子和权重比例计算有效权值,利用有效权值进行检测,提高了查全率和查准率。实验证明改进算法在各种性能上均优于SNM算法。     

一种基于条件概率分布的近似重复记录检测方法

数据集成往往会形成一些近似重复记录 ,如何检测重复信息是数据质量研究中的一个热门课题 .文中提出了一种高效的基于条件概率分布的动态聚类算法来进行近似重复记录检测 .该方法在评估两个记录之间是否近似等价的问题上 ,解决了原来的算法忽略序列结构特点的问题 ,基于条件概率分布定义了记录间的距离 ;并根据近邻函数准则选择了一个评议聚类结果质量的准则函数 ,采用动态聚类算法完成对序列数据集的聚类 .使用该方法 ,对仿真数据进行了聚类实验 ,都获得了比较好的聚类结果     

信息集成中数据获取关键技术的研究

信息集成是消除信息孤岛,实现信息共享,为企业决策提供支持的核心技术,而数据获取过程是信息集成系统的基础.在数据同步更新研究中,通过根据失配元组的间隔自适应调整窗口大小,在不牺牲效率的前提下有效提高快照差分算法的查全率.进一步,在相似重复记录检测方法的研究中,结合一种新的字符串距离度量算法,并利用二次聚类,提出一种高效的基于条件概率分布的相似重复记录检测方法.最后通过实验对比测试,对快照差分算法以及相似重复记录检测算法的性能和效率进行分析,理论分析和实验结果均证明了提出的改进算法是非常有效的.     

一种识别相似重复记录的模糊匹配方法

针对多数据源集成中存在的相似重复记录的问题,提出了一种基于用户兴趣度分组的模糊匹配识别方法。首先通过用户兴趣度方法来计算属性的权值,然后按照数据分组思想,选择权值大的属性将数据集分割成不相交的小数据集,最后在各小数据集中用模糊匹配算法进行相似重复记录的识别,为了提高识别效率,可选择余下权值大的属性进行多次分组和识别。理论和实践表明,该方法有较高的识别效率,能有效解决数据集成中相似重复记录的识别问题。     

基于分块和滑窗技术的相似重复记录检测算法研究

相似重复记录检测对于提高数据质量有着重要意义。为了减少检测代价和提高运行效率,基于传统的窗口技术和分块技术,提出一种相似重复记录检测算法。该算法利用关键字段将数据集进行排序和分块,并利用滑动窗口技术限制分块间比对。设计一种多字段排序改进算法,对不同字段的分块共同聚类,优先比较重复密度大的分块对,摒弃聚类较差的分块。该算法减少了检测过程中的数据比较次数,并降低了字段好坏对算法速度的影响。理论和实验分析表明,该算法能有效地提高相似重复记录检测的准确率和时间效率。     

一种应用于Deep Web环境下的重复记录识别模型

随着Web数据库数量和其蕴含数据量飞速的增长,对Deep Web数据的集成越来越成为研究领域关注的问题.然而由于Web上的信息以半结构化及无结构化的数据信息居多,导致了抽取的结果中包含诸多的不确定性.如有噪音数据、重复字符、简写与全称混合等问题.这给识别重复记录带来了很大不便,导致传统的去重算法无法达到很好的效果.为此,提出了一种面向deep Web结果整合的重复记录识别模型.在该模型中,提出了一种基于编辑距离的改进算法,基于该算法实现字符串匹配;通过构建属性匹配图,并采用二次确认机制实现识别重复记录.应用该模型,既提高了识别效率又保证了识别精确度,并通过实验证明了提出的算法和模型的可行性.     

一种基于二分图最优匹配的重复记录检测算法

信息集成系统中存在重复记录,重复记录的存在为数据处理和分析带来了困难.重复记录检测已经成为当前数据库研究中的热点问题之一.目前的方法主要集中在计算具有同样数据类型属性的相似性上,而现实系统中存在大量具有不同数据类型、不同模式的记录.针对具有多种类型不同模式数据的重复记录检测问题,提出了一种基于二分图的最优匹配的记录相似度计算方法,并基于这种记录相似性提出了重复记录检测算法.理论分析和实验结果都表明了方法的正确性和有效性.     

优化四位数的四则运算算式组合库

用编程实现对四则运算算式组合库的重复算式进行检测和消除,提出了查找重复记录的检测方法。该方法先提供一组特殊数据,通过计算每个算式值,然后检测和消除功能相同的重复记录,为避免误查,再选择另外三组特殊数据对重复算式进行多次检测。理论分析和实验表明,能够有效地解决大数据量功能相同的重复记录检测问题。     

基于Web的重复属性自动识别方法

在建立数据仓库的过程中,需要从多个数据源导入数据。这些数据存在大量相似重复记录,严重影响了数据利用率和决策质量。因此,相似重复记录的检测已经成为数据仓库等领域的热点研究问题,而重复属性的识别是完成相似重复记录检测的关键。提出一种高效的基于Web的重复属性自动识别算法,该算法使用搜索引擎返回的摘要和URL信息计算属性相似度,并使用查询探针提高查询准确度。实验结果表明该算法有较高的查全率。     

数据集成中的一种数据合并技术

本文讨论了在数据集成过程中遇到的数据合并问题，主要包括重复记录判断(对象识别技术)和重复记录的冲突处理(冲突解决机制)等，提出了比较实用、有效的方法，并通过实验对多表合并的两种算法进行了比较，指出了需要进一步改进的方向。     

基于广义罚函数可行性准则的DE算法对不确定数据的处理

针对不确定数据集成效率低的问题,构造基于区域分割的广义罚函数可行性准则,分析了分割搜索区域的迭代点特征和可行性准则的性质与优势,据此提出一种基于广义罚函数可行性准则改进的DE算法(DE-GPFFC算法).机器学习数据集UCI中不确定数据集的数值结果显示:不确定数据集中最优可行点趋向概率0.5分布,其他数据点趋向概率0,1分布,其中趋向于概率0.5分布的数据点位于可行域int(D),其他数据点位于非可行域out(D).DE-GPFFC算法使得不确定数据集在可行域边界Round(D)进行跨区域搜索,有效提高了不确定数据分类集成效率.     

基于距离的不确定离群点检测

在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术.这项技术在确定性数据中已经得到了深入的研究,但在新兴的不确定数据领域却是一项新的研究课题.在无线传感器网络、数据集成和数据挖掘等技术中使用不确定数据模型更能真实反映现实世界,进一步提高这些技术的实际可行性.针对不确定数据,提出新的离群点定义.提出基于距离的不确定数据离群点检测的高效过滤方法,包括基础过滤方法b-RFA和改进方法o-RFA,最后提出高效概率计算方法DPA.b-RFA方法利用非离群点的过滤性质,减少检测次数.o-RFA方法通过挖掘数据分布信息对b-RFA方法作出改进,进一步提高过滤效率.DPA方法找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低搜索空间,改善在不确定数据上的查询性能.     

数据分析和清理中相关算法研究

数据清理的一个主要作用是识别重复的记录．结合过滤算法和启发式剪枝算法提出了启发式剪枝改进算法．然后，针对重复记录的特点提出了长度约束条件，能有效地提高比较字段不等长时的执行速度．数据库中经常会出现各种形式不同的缩写，而启发式剪枝算法等无法识别缩写情况下的重复记录，本文因此提出了基于动态规划的缩写发现算法，该算法既可以用于缩写发现也可用于缩写存在时的重复记录识别．另外，重复记录的甄别目前必须人工处理，传统方式下用户不得不逐条浏览和分析，工作时间冗长而且乏味，容易引入新的数据质量隐患，作者提出了聚类清除方案和聚类闭包算法，它将重复的记录聚类显示，用户一次可以处理完一个重复聚类，在有效提高速度的同时方便了用户．     

不一致关系数据库上的初始信任标记算法

不一致数据无法正确反映现实世界客观事物的真实状态,导致其上的查询会得到错误的或矛盾的查询结果,降低了数据的利用价值.而现有的很多不一致数据查询处理方面的研究方案都存在信息丢失的问题.Annotation Based Query Answer方案针对这一问题,采用信任标签在属性级别上区分一致和不一致数据,避免了信息丢失.但同时考虑多类约束(函数依赖、健依赖、包含依赖和域约束)且任意分量都不可信时,该研究方案的不一致检测和初始标记算法失效,有一定的应用局限性.针对这一问题,采用启发式近似修复算法,在一个矛盾数据的各类可能修复操作中,通过比较其修复代价,以寻找出错概率更大的分量(或元组),以此纠正明显错误,并确定引起数据不一致的属性.实验结果表明,算法复杂度是候选修复数量的平方阶.     

一种提高相似重复记录检测精度的方法

如何消除数据源中的相似重复记录是数据清理研究中的一个重要问题。为了提高相似重复记录的检测精度，在相似重复记录检测算法的基础上，采用等级法为记录各字段指定合适的权重，从而提高了相似重复记录的检测精度。最后，以一个实例验证了该方法的效果。