数据质量评估方法研究

数据质量管理已经成为当今数据管理的关键问题,并得到了广泛的研究和应用。数据质量评估作为数据质量管理中的必要过程和基础部分,目前缺乏一种定量的系统的方法。针对数据质量评估中的这一问题,该文介绍了一些基本的数据质量评估指标,提出了一种数据质量评估模型,并阐述了该模型的构造技术和计算方法。     

一种基于改进分层置信规则库的社交账户可信度评估方法

社交账户可信度评估是确保网络社交生态良性发展的重要环节。针对社交账户可信度评估指标多维、数据信息不确定性多样等问题,提出了一种基于改进分层置信规则库的可信度评估方法。首先从账户属性、交际属性和内容属性三个角度分析了可信度评估各指标之间的相互关系,并依此构建了置信规则库的分层结构。其次,在信息转换函数中引入了自适应系数以更好描述和处理指标间的特性差异。最后,为了弥补专家知识局限性带来的模型误差,采用带有投影算子的协方差矩阵自适应进化策略对自适应系数和模型参数进行了优化。以新浪微博账户作为实验对象,结果表明该方法能够在数据样本有限的情况下获得更高的可信度评估精度。     

基于证据推理和置信规则库的装备寿命评估

针对航天产品试验样本少,寿命评估难的特点,结合产品在研制阶段多种工作环境的失效数据,提出了一种基于证据推理(evidential reasoning,ER)和置信规则库(belief-rule-base,BRB)进行装备寿命评估的新方法.首先,分析了模型的合理性并使用多维BRB模型将多种环境下的寿命数据折合为标准工作环境下的寿命数据,然后通过ER算法将折合后数据和实际工作环境数据进行融合.其次,详细说明了BRB--ER模型的推理过程和寿命评估的步骤.最后,采用某航天产品的失效数据对该方法进行了验证,并用已有的产品寿命的固定值进行BRB的参数更新.研究结果表明,在专家知识准确合理时,该模型能够准确地评估产品寿命,并可根据已有的产品的固定寿命进行训练,建立更加准确的寿命预测模型.     

基于置信规则库的工业控制系统安全状态评估

当前工业控制系统存在严重安全问题,针对现有工业控制系统安全状态评估模型存在的不足,提出一种基于置信规则库(BRB)专家系统的工业控制系统安全状态评估方法.该方法首先利用置信规则库专家系统将工业控制系统中定性知识与定量监测数据相结合.然后采用证据推理(ER)算法进行知识推理,并对所建立的BRB模型初始参数进行优化.最后以...     

数据缺失的扩展置信规则库推理方法

数据驱动的扩展置信规则库专家系统能够处理含有定量数据或定性知识的不确定性问题.该方法已被广泛地研究和应用,但仍缺乏在不完整数据问题上的研究.鉴于此,针对不完整数据集上的问题,提出一种新的扩展置信规则库专家系统推理方法.首先提出基于析取范式的扩展规则结构,并通过实验讨论了在新的规则结构下,置信规则前提属性参考值个数对推理方法的影响;然后提出通过不完整数据生成具有不完整置信规则,并构成析取范式置信规则库的方法,同时引入衰减因子修正不完整规则权重,使不完整规则可以更合理地参与信息融合过程;最后,选取若干个公共数据集对所提方法进行验证.与其他方法的实验对比显示,新方法在完整数据集上有良好表现的同时,对具有不同缺失程度和缺失模式的数据集表现出更好更稳定的推理效果.     

基于主动规则对象的数据质量管理

数据质量的煌制与管理研究一般而言可从技术扣管理两个方面迸行。在技术上,不仅要保证数据的精确和高效率,而且还霎保证系统中有关数据在逻     

数据质量检测规则挖掘方法

数据质量规则是检测数据库质量的关键。为从关系数据库中自动发现数据质量规则,并以其为依据检测错误数据,研究质量规则表示形式及其评估度量,提出以数据项分组及其可信度为依据的最小质量规则计算准则、挖掘算法以及采用质量规则检测错误数据的思路。该数据质量规则形式借鉴关联规则的可信度评估机制、条件函数依赖的表达能力,统一描述函数依赖、条件函数依赖、关联规则等,具有简洁、客观、全面、检测异常数据准确等特性。与相关研究相比,降低挖掘算法的时间复杂度,提高检错率。用实验证明该方法的有效性和正确性。     

地理数据质量评估的统计学方法

本文回顾了地理数据质量评估和使用的原理，提出了一个面向对象的等级模型用以存贮和利用地理数据集的质量信息，为了评估不同层次上数字地理信息的质量，本模型利用了统计方法和聚类方程。     

基于分段线性插值的规则库缩减方法

分析了Koczy和Hirota提出的规则库缩减原理,提出了一种新的采用论域分区并用分段线性插值迭代来实现缩减规则库的方法。通过同一个实例的缩减比较,表明我们的算法的计算复杂性要小得多。     

基于改进置信规则库推理的分类方法

通过引入置信规则库的线性组合方式,设定规则数等于分类数及改进个体匹配度的计算方法,提出了基于置信规则库推理的分类方法。比较传统的置信规则库推理方法,新方法中规则数的设置不依赖于问题的前件属性数量或候选值数量,仅与问题的分类数有关,保证了方法对于复杂问题的适用性。实验中,通过差分进化算法对置信规则库的规则权重、前件属性权重、属性候选值和评价等级的置信度进行参数学习,得到最优的参数组合。对3个常用的公共分类数据集进行测试,均获得理想的分类准确率,表明新分类方法合理有效。     

一种基于不确定规则的数据时效性判定方法

数据过时是影响数据质量的重要因素,因此判定数据时效性对于提高数据质量至关重要.当前判定数据时效性的方法可分为两类:基于时间戳的方法和基于规则的方法.基于时间戳的方法要求精确完整的时间戳,但这样的时间戳在很多应用中不存在.基于规则的方法不要求时间戳,但现有方法均依赖于冗余元组,且不能对数据时效性做出定量判定.同时,这些方法均基于确定规则,无法表达不确定的领域知识.针对上述问题,提出不确定时效规则及相应的数据时效性模型.基于该模型,进一步给出了两个可定量地判定数据时效性的算法.同时,还给出了时效规则的学习算法.真实数据上的实验结果验证了算法的有效性.     

基于基集与概念格的关联规则挖掘算法

传统关联规则挖掘算法的挖掘效率较低,且挖掘结果中存在大量冗余。针对该问题,提出一种基于概念格与基集的关联规则挖掘算法。利用规定种子项分布范围的基集代替原始数据库以缩小挖掘源规模,从而建立概念格快速求解出关联规则。实验结果表明,该算法在时间效率方面优于Base和Apriori算法。     

基于业务规则的错误数据清理方法

针对数据源中出现的错误数据,分析了业务规则在错误数据清理中的重要作用,提出了一种基于业务规则的错误数据检测方法,并研究了如何采用业务规则来检测这些错误数据。最后,以一个实例介绍了该方法的应用。     

基于关联规则的分类规则约简方法

分析分类规则内属性之间的相关性,提出一种分类规则约简方法。针对原始训练集构造FP树,获取相应的关联规则集,对关联规则后件属性(集),采用置信度α描述该属性(集)相对于其所在分类规则的重要程度。在分类规则集中,约简α值小于阈值?的属性,从而约简分类规则长度。利用UCI机器学习及SDSS DR7数据进行实验,结果表明该方法具有较高的分类效率。     

规则引擎在气象资料质量控制中的应用研究

为了提高气象观测资料的质量,为大气运动规律研究及各类气象业务系统提供可靠的数据来源,提出一种基于RETE算法和Drools规则引擎的气象观测资料质量控制方法.该方法能对各类字符编码的气象报文进行实时、准确的检查,并具有灵活的规则自定义与维护功能,以适应各类气象观测资料不断发展、变化的要求.该方法的应用,既继承了传统的历...     

基于遗传算法的城市公交服务质量评价知识规则挖掘方法

城市公共交通服务质量评价知识规则是城市公共交通企业进行服务质量评价的重要依据,优质、合理的评价知识规则将使服务质量评价更加公正、更加客观。本文在分析城市公共交通服务质量评价指标体系的基础上,将一种改进的遗传算法用于城市公共交通服务质量评价价的知识规则挖掘,提出一种基于遗传算法的城市公共交通服务质量评价知识规则挖掘方法,阐述算法的实现途径。实例表明,该方法在进行知识规则挖掘时是完全可行的、有效的。     

数据挖掘在高中生综合素质评价中的应用

自普通高中学生综合素质评价工作开展以来,在高等院校选拔人才时起到了辅助作用。文中引入数据挖掘技术,使其与综合素质评价工作有机地结合起来,符合时代潮流的发展趋势,具有一定的研究价值。文中把改进的基于0-1矩阵向量内积法运用到普通高中学生综合素质评价工作中,这种方法与经典Apriori算法相比,由于只需要对事物数据库进行一次扫描,所以效率比经典Apriori算法提高很多。实验结果证明用这种算法来处理学生综合素质评价数据较为合理。     

A New Safety Assessment Method Based on Belief Rule Base With Attribute Reliability

Safety assessment is one of important aspects in health management. In safety assessment for practical systems, three problems exist: lack of observation information, high system complexity and environment interference. Belief rule base with attribute reliability (BRB-r) is an expert system that provides a useful way for dealing with these three problems. In BRB-r, once the input information is unreliable, the reliability of belief rule is influenced, which further influences the accuracy of its output belief degree. On the other hand, when many system characteristics exist, the belief rule combination will explode in BRB-r, and the BRB-r based safety assessment model becomes too complicated to be applied. Thus, in this paper, to balance the complexity and accuracy of the safety assessment model, a new safety assessment model based on BRB-r with considering belief rule reliability is developed for the first time. In the developed model, a new calculation method of the belief rule reliability is proposed with considering both attribute reliability and global ignorance. Moreover, to reduce the influence of uncertainty of expert knowledge, an optimization model for the developed safety assessment model is constructed. A case study of safety assessment of liquefied natural gas (LNG) storage tank is conducted to illustrate the effectiveness of the new developed model.      

关系数据库表示规则知识的理论与方法

知识库及其组织结构在智能系统中具有相当重要的作用。针对当前知识库的难点问题,结合实际应用,给出了一种基于关系型数据库的简便通用的知识库结构设计,利用表记录项中的复合数据表示复杂信息,同时,提出了一种编码方法来保证知识的管理与检索。最后给出了一个实例,表明该方法可以完善地表达事实——规则知识体系,具有很好的普适性。