逼真生成表格式数据的非时间属性关联模型

针对数据仿真过程中表格数据属性间关联难的问题,提出一种刻画表格数据中非时间属性间关联特征的H模型。首先,从数据集中提取评价主体和被评价主体关键属性,进行两重频数统计,得到关于关键属性的4个关系对;然后,计算各关系对的最大信息系数（MIC）来评估各关系对的相关性,并采用拉伸指数分布（SE）对各关系对进行关系拟合;最后,设置评价主体和被评价主体的数据规模,根据拟合出的关系计算出评价主体的活跃度和被评价主体的流行度,通过活跃度总和等于流行度总和建立关联,得到非时间属性关联的H模型。实验结果表明,利用H模型能有效地刻画真实数据集中非时间属性间的关联特征。     

基于向量内积的非频繁项挖掘算法研究

针对负关联规则中非频繁项集的生成问题,将向量内积引入到该领域.通过对事务数据库的布尔化表示及对数据存储结构的合理分配,提出了一种新的非频繁项集快速生成算法.该算法首先将布尔化所得矩阵中的向量进行内积运算,通过逐层递增的思想,用两级支持度模型来约束非频繁项集与频繁项集的产生,使非频繁项集不仅可由频繁项集之间连接产生,而且...     

一种基于约束的关联规则挖掘算法

基于约束的关联规则挖掘是一种重要的关联挖掘,能按照用户给出的条件来实行有针对性的挖掘。大多数此类算法仅处理具有一种约束的挖掘,因而其应用受到一定程度的限制。提出一种新的基于约束的关联规则挖掘算法MCAL,它同时处理两种类型的约束:非单调性约束和单调性约束。算法包括3个步骤:第一步,挖掘当前数据集的频繁1项集;第二,应用约束的性质和有效剪枝策略来寻找约束点,同时生成频繁项的条件数据库;最后,递归地应用前面两步寻找条件数据库中频繁项的约束点,以生成满足约束的全部频繁项集。通过实验对比,无论从运行时间还是可扩展性来说,本算法均达到较好的效果。     

面板数据下的灰色指标关联聚类模型与应用

针对面板数据聚类研究存在的问题及现实需要, 构建面板数据下新的灰色指标关联聚类(AGRA) 模型. 构造所有指标不同对象下时间序列的累加生成序列, 用生成序列的平均生成速率表征原序列的动态变化趋势; 单个指标所有对象的平均生成速率构成该指标的平均生成速率序列, 从而综合偏离、差离和分离的三重差异信息, 构建指标关联分析模型; 提出面板数据下Mean-AGRA灰色指标关联聚类算法, 并应用于我国区域生态环境评价指标的降维问题. 分析结果验证了所提出模型的实用性和有效性.

     

基于近似正交表的大型数据集决策树生成方法研究

在对大型数据集的决策树生成方法进行探讨的基础之上,提出了一种基于属性关联近似正交表的决策树生成算法.该算法既能处理大型数据集,保留了基本划分组合算法的高效性,又能对提高决策树的精度具有一定的作用.     

稠密数据库有趣规则的快速挖掘

目前,关联规则的挖掘算法主要用于非稠密数据,很少有挖掘稠密数据的算法,而现实世界中有许多数据是稠密的。由于现行的算法不适合稠 密数据的挖掘,本文定义了兴趣度函数,给出了挖掘稠密数据有趣关联的有效算法。该算法与以往不同的是提前过滤掉不满足约束的属性组合,因而提高了速度,同时,使发现的规则更有趣,更易理解。     

多属性约束事件序列的关联规则挖掘方法

传统序列模式挖掘算法往往忽略了序列模式本身的时间特性,所考查的序列项都是单一事件,无属性约束.提出了一种挖掘多属性约束事件序列关联规则的方法.此方法基于传统的Apriori和AprioriAU算法.考虑了应用环境下事件序列模式中事件之间的过渡时间,采用分层式挖掘思想,先挖掘频繁序列模式,然后从频繁事件序列中挖掘多属性约束项的关联规则.实例分析为挖掘带时间限多属性约束的序列模式提供了实施思路.     

优先关联的Web日志数据逼真生成算法

字段关联的构建方法是Web数据逼真生成中的困难问题.提出一种基于MIC的字段优先关联的Web数据逼真生成算法.该算法与现有的方法完全不同：首先,提取真实Web日志数据集中相应字段间的MIC系数;然后,结合字段的重尾特性,采用SE分布对字段的重尾性进行建模;最后,建立字段关联模型,模拟出真实数据集中的字段间依赖性,从而逼真生成目标数据集.实验表明,生成的数据集能够保持合理的字段间的均衡性以及节点间的相似性.     

分布式入侵告警关联分析

为了精简分布式入侵检测系统中重复性的、不完善的或不完整的告警数据，降低误告警率，解决具有因果关系和非因果关系共存的告警关联问题，提出了一种分级关联算法．利用告警数据的检测时间属性的接近度将关联分析分为两类：概率关联和因果关联．给出了自调节增量贝叶斯分类器和实时因果关联算法，从而实现了多种特征混合的告警关联，提高了告警关联率．使用MIT Lincoln Lab提供的2000 DARPA入侵检测攻击场景数据集LLDOS1．0对该算法进行了性能测试，实验结果验证了算法的有效性．     

前后部项约束关联规则并行化算法

为了解决大规模数据环境下挖掘出的关联规则过多,用户需要耗费大量时间在这些关联规则中寻找自己感兴趣规则的问题,提出了一种基于Map/Reduce并行化编程模型的前后部项约束关联规则挖掘算法FRPFP.通过对用户感兴趣的规则前后部项进行标记和分组挖掘,并在各分组挖掘过程中根据标记的规则前后部约束项,对事务集进行压缩,从而筛选出有效的频繁项集,最终得到含有用户感兴趣项的关联规则.该算法在Spark框架中实现,实验结果表明,该算法能够有效地减少冗余规则的产生,计算开销较少,具有较好的规模增长性.     

基于属性相关性的无线传感网络缺失值估计方法

针对无线传感器网络(WSN)中感知数据易缺失问题,提出了一种基于感知数据属性相关性的缺失值估计方法。该方法采用多元线性回归模型,对属性相关的感知数据的缺失值进行估计;同时,为提高算法估计的鲁棒性,提出了基于感知数据属性的数据交织传送策略。仿真结果表明,所提出的估计方法能有效估计无线传感器网络中的缺失值,相比基于时空相关性的线性插值模型(LM)算法和传统的最近邻插值(NNI)算法具有更高的精度和稳定性。     

无线传感器网络数据的相关性自适应压缩感知

为减小无线传感器(WSN)网络数据传输过程中相关性发生变化对压缩感知重构精度的影响,提出一种相关性自适应的网络数据重构方法。该方法首先通过迭代对待重构数据的相关性进行估计,进而采用支集元素的两步相关检验方法对网络数据稀疏系数向量中非零元素进行重构,最终得到更为精确的重构数据。仿真结果表明,该算法能有效抑制实际传输过程中各种干扰对网络数据重构的影响,提高网络数据相关性变化情况下的重构准确度。     

基于邻域值差异度量的离群点检测算法

针对离群点检测中传统距离法不能有效处理符号型属性和经典粗糙集方法不能有效处理数值型属性的问题,利用邻域粗糙集的粒化特征提出了改进的邻域值差异度量（NVDM）方法进行离群点检测。首先,将属性取值归一化并以混合欧氏重叠度量（HEOM）和具有自适应特征的邻域半径构建邻域信息系统（NIS）;其次,以NVDM构造对象的邻域离群因子（NOF）;最后,设计并实现了基于邻域值差异度量的离群点检测（NVDMOD）算法,该算法在计算单属性邻域覆盖（SANC）的方式上充分利用有序二分和近邻搜索思想改进了传统的无序逐一计算模式。在UCI标准数据集上与现有离群点检测算法——邻域离群点检测（NED）算法、基于距离的离群点检测（DIS）算法和K最近邻（KNN）算法进行了实验对比、分析。实验结果表明,NVDMOD算法具有更好的适应性和有效性,为混合型属性数据集的离群点检测提供了一条更有效的新途径。     

一种基于粗糙集和支持向量机的混合分类算法

结合粗糙集的属性约简和支持向量机的分类机理，提出了一种混合算法。应用粗糙集理论的属性约简过程作为预处理器，可以把冗余的属性和冲突的对象从决策表中删去，但不损失任何有效信息；然后基于支持向量机进行分类建模和预测。这样可以大大降低数据维数，降低支持向量机分类过程中的复杂度，减少占用的存储空间，并在不同程度上避免了训练模型的过拟合现象，但分类性能并不会隆低．最后的仿真实例说明了所提方法的有效性．     

基于形态学属性剖面的高光谱影像集成分类

传统高光谱遥感影像逐像素分类方法未考虑像元之间的空间关联性且泛化性能较低。形态学属性剖面是表征影像空间结构的有效方法,同时集成学习可显著提升分类算法的泛化能力。为了在高光谱影像分类中充分利用影像的空间信息并提高分类的稳定性,提出一种基于形态学属性剖面高光谱遥感影像集成学习分类方法。首先,用主成分分析和最小噪声变换进行特征提取,并借助形态学属性剖面获取影像的多重空间特征;然后用极限学习和支持向量机的方法进行分类;最后将多个分类结果以多数投票的方式集成。区别于已有集成学习方法,综合考虑了不同特征提取和不同分类方法的联合集成,并将形态学属性剖面引入其中以充分利用影像的空间信息。采用AVIRIS和ROSIS两组高光谱数据检验该方法的分类性能,实验结果表明该方法可获得高精度和高稳定性的分类结果,总体精度分别达到83.41%和95.14%。     

基于泊松分布的加权朴素贝叶斯文本分类算法

朴素贝叶斯(NB)算法应用于文本分类时具有简单性和高效性,但算法中属性独立性与重要性一致的假设,使其在精确度方面存在瓶颈.针对该问题,提出一种基于泊松分布的特征加权NB文本分类算法.结合泊松分布模型和NB算法,将泊松随机变量引入特征词权重,在此基础上定义信息增益率对文本特征词加权,削弱传统算法属性独立性假设造成的影响.在20-newsgroups数据集上的实验结果表明,与传统NB算法及其改进算法RwC-MNB和CFSNB相比,该算法可使文本分类的准确率、召回率和F1值得到提升,并且执行效率高于K-最近邻算法和支持向量机算法.     

不同类变量下属性聚类的朴素贝叶斯分类算法

朴素贝叶斯（NB）分类算法虽是一种简单且有效的分类方法,但其条件属性独立性假设忽略了属性变量间存在的相关性。考虑到条件独立性假设对分类效果的影响,提出一种新的将条件属性进行聚类的分组技术,不仅避免了传统朴素贝叶斯算法假设各条件属性间独立的这一缺陷,而且反映出了在不同类别情况下条件属性间具有的不同依赖程度。经过对UCI的几个数据集的仿真实验,结果表明了新算法的有效性。     

属性加权的朴素贝叶斯集成分类器

为提高朴素贝叶斯分类器的分类精度和泛化能力,提出了基于属性相关性的加权贝叶斯集成方法（WEBNC）。根据每个条件属性与决策属性的相关度对其赋以相应的权值,然后用AdaBoost训练属性加权后的BNC。该分类方法在16个UCI标准数据集上进行了测试,并与BNC、贝叶斯网和由AdaBoost训练出的BNC进行比较,实验结果表明,该分类器具有更高的分类精度与泛化能力。     

高校课程相关性粗糙集分析模型及应用

将目前在数据挖掘领域应用广泛的粗糙集理论引入高校课程相关性分析中,提出了基于粗糙集的高校课程相关性分析模型。该模型首先运用粗糙集的相关性质对参与分析的决策数据进行属性约简,从而获得了较小决策数据集,然后应用基于分辨矩阵的关联规则提取算法提取关联规则,最后对规则进行评估与解释。通过对某高校某专业学生修读课程考试成绩数据进行实际应用分析,发现了课程成绩数据中隐藏的课程相关性规则,分析结果表明该模型在学分制体系下指导学生选课以及制定专业修读计划具有一定的辅助作用。