共查询到20条相似文献,搜索用时 281 毫秒
1.
基于分明矩阵方法的属性约简方法 总被引:3,自引:2,他引:1
属性约简和核是粗糙集理论研究的核心内容,进过约简后的数据更有价值.文中详细介绍了A.Skowron基于分明矩阵的属性约简算法,并对此方法进行了简化,以及利用生成的分明矩阵的方法如何求核集和约简的一种方法. 相似文献
2.
随着机器学习模型的广泛应用,研究者们逐渐认识到这类方法的局限之处。这些模型大多数为黑盒模型,导致其可解释性较差。为了解决这一问题,以集成学习模型为基础,提出了一种基于规则的可解释模型以及规则约简方法,包括生成优化的随机森林模型、冗余规则的发现和约简等步骤。首先,提出了一种随机森林模型的评价方法,并基于强化学习的思想对随机森林模型的关键参数进行了优化,得到了更具可解释性的随机森林模型。其次,对随机森林模型中提取的规则集进行了冗余消除,得到了更加精简的规则集。在公开数据集上的实验结果表明,生成的规则集在预测准确率和可解释性方面均表现优秀。 相似文献
3.
一种安全协议的形式化设计方法 总被引:1,自引:0,他引:1
本文以协议分析器为辅助工具,结合定理证明方法,给出一个安全协议形式化设计方法。该方法首先根据协议规范构造全信息项及冗余协议,使用定理证明保证冗余协议的安全性。对冗余协议利用安全性保持约简规则和随机约简规则进行约简,从而得到最优约简协议。该方法实现了安全协议的自动设计,具有良好的扩展性,可以根据需求和协议的发展增加设计规则和约简规则。 相似文献
4.
吴新玲 《计算机工程与应用》2007,43(18):174-176
样本数据集的不一致性和冗余特征会降低分类的质量和效率。提出了一种一致化特征选择约简方法,该方法基于贝叶斯公式,采用阈值,将非一致数据归为最可能的一类,使数据集一致化。并在一致数据集上,运用类别区分矩阵选择可准确区分各类数据的最小特征变量集。给出的启发式搜索策略和应用实例表明:一致化特征选择约简方法能有效消除分类数据集的不一致性,选择最优的特征变量、降低数据的维数、减少数据集中的冗余信息。 相似文献
5.
一种基于粗糙集的离散化算法 总被引:1,自引:0,他引:1
石红 《模式识别与人工智能》2006,19(3)
粗糙集理论以其独特的数据约简能力在不确定信息处理的相关领域得到广泛关注和研究,而连续属性的离散化是粗糙集方法及其它归纳学习系统中的重要环节.将离散化视作一种信息概括、抽象和约简,利用粗糙集理论提出一种全局的离散化算法.算法通过定义一致性度量,实现全局离散,弥补了局部离散化MDLP方法引入不一致的缺陷.然后在保持一致性前提下,进一步对离散中分割点的冗余进行约简.实验采用ID3和粗糙集分类工具ROSETTA在多个大数据集上对提出的离散方法进行分类验证,实验结果表明该算法的有效性和优越性. 相似文献
6.
7.
测试数据生成是组合测试的一个关键问题。提出一种基于贪心算法和模拟退火的组合测试用例约简算法,可以大幅约简成对组合测试用例的生成。分别采用爬山法、一般模拟退火算法和约简模拟退火算法对成对组合测试用例生成进行比较,实验表明所提出的模拟退火算法有较好的运行效率和约简效果。 相似文献
8.
基于k-原型聚类和等价关系下的粗糙集理论,对含有连续值和符号值的目标信息系统提出了一种新的适用于混合数据的属性约简方法.首先,k-原型聚类可以通过定义混合数据的距离而得到信息系统的类簇,形成对论域的划分.将所得到的类簇代替粗糙集理论中的等价类,提出基于聚类的近似集、正域以及正域约简的概念,并根据信息熵定义属性重要性度量,建立了变精度正域约简方法.这种属性约简可以同时处理数值型和符号型数据,去除其中的冗余属性,提高分类性能,降低存储和算法运行时间耗费,并通过调节聚类参数k得到对论域不同粒度的划分,对所得到的约简进行优化.最后在UCI数据集上进行了大量的实验,针对分类问题采用了常见的4种分类算法,比较了约简前后的分类精度,详细分析了参数对结果的影响,验证了约简方法的有效性. 相似文献
9.
针对大数据环境下数据冗余量大的问题,以粗糙集理论为基础,提出了一种基于香农信息熵(Shannon entropy)融合模糊综合评判的相似重复数据检测方法,首先基于香农熵对数据集中的属性进行约简,然后采用模糊综合评判方法获取约简后各属性的重要性权值,最后依据约简属性及其权值进行相似数据的检测。理论分析与实验对比表明,该方法在结构化大数据集的相似数据检测中,有较高的检测精度与效率。 相似文献
10.
11.
针对高维数据集中存在不相关的属性与冗余数据导致无法检测出异常值的问题,提出了一种新的基于稀疏子空间的局部异常值检测算法(SSLOD)。根据数据对象在每个维度上的局部密度定义了对象的异常因子;依据异常因子阈值约简数据集中与局部异常值不相关的属性以及冗余的数据对象;用改进的粒子群优化算法在约简后的数据集中搜索稀疏子空间,该子空间中的数据对象即为异常值。通过在仿真数据集和真实数据集上的综合实验验证了该算法的有效性和准确性。 相似文献
12.
为了提高神经网络分类器的性能,提出一种基于K均值聚类的分段样本数据选择方法.首先通过K均值聚类把训练样本根据已知的类别数进行聚类,对比聚类前后的各类样本,找出聚类错误的样本集和聚类正确的样本集;聚类正确的样本集根据各样本到聚类中心的距离进行排序并均分为五段,挑选各类的奇数段样本和聚类错误的样本构成新的训练样本集.该方法能够提取信息量大的样本,剔除冗余样本,减少样本数量的同时提高样本质量.利用该方法,结合人工和UCI数据集对三种不同的神经网络分类器进行了仿真实验,实验结果显示在训练样本平均压缩比为66.93%的前提下,三种神经网络分类器的性能都得到了提高. 相似文献
13.
14.
由于网络混合属性集的冗余数据量多,影响数据检测的查全率,为此提出结合粗糙集理论的网络大数据混合属性特征检测方法。首先构建一个四元组,利用四元组的任意邻域信息测算其长度函数,以判断信息特征的相似性,结合粗糙集理论求解相似信息特征的邻域熵,以检测并分类重复数据属性。为优化数据分类效率,引入支持向量机分类思想,将大数据混合属性的分类问题变换为线性可分问题,实现网络大数据混合属性特征检测与分类。实验结果表明,所提方法能够有效根据数据特征筛选出无关数据信息,使用经过训练后的分类装置对约简后的特征集进行分类,与基于特征和分类器参数组合优化的网络属性特征检测方法比较,证明了所提方法的有效性,为网络大数据混合特征检测技术提供一种新的有效解决方式。 相似文献
15.
16.
17.
针对传统区块链网络难以满足不同应用场景差异化服务质量(QoS)需求的问题,提出一种基于命名数据网络的区块链网络QoS保障方法。从实时性角度对交易和区块进行分类,为交易和区块设计新的命名空间。为不同类型的区块链数据创建各自的数据传播结构,以缓解流量的集中化程度。针对不同应用场景对实时性的要求,采用差异化路由机制对交易和区块进行排队转发。实验结果表明,该方法能够有效提高区块链网络的信息传输效率,减少网络中的冗余流量,其网内流量相比基于TCP的区块链网络约下降24%。 相似文献
18.
Runmei Li Chaoyang Jiang Fenghua Zhu Xiaolong Chen 《IEEE/CAA Journal of Automatica Sinica》2016,3(2):141-148
This paper proposes a long-term forecasting scheme and implementation method based on the interval type-2 fuzzy sets theory for traffic flow data. The type-2 fuzzy sets have advantages in modeling uncertainties because their membership functions are fuzzy. The scheme includes traffic flow data preprocessing module, type-2 fuzzification operation module and long-term traffic flow data forecasting output module, in which the Interval Approach acts as the core algorithm. The central limit theorem is adopted to convert point data of mass traffic flow in some time range into interval data of the same time range (also called confidence interval data) which is being used as the input of interval approach. The confidence interval data retain the uncertainty and randomness of traffic flow, meanwhile reduce the influence of noise from the detection data. The proposed scheme gets not only the traffic flow forecasting result but also can show the possible range of traffic flow variation with high precision using upper and lower limit forecasting result. The effectiveness of the proposed scheme is verified using the actual sample application. 相似文献
19.
为了有效滤除传感器网络动态数据携带的冗余信息,提高网络数据准确性与网络节点生命周期,提出了基于时间间隔与数据间隔双重增量的自适应加权动态数据融合算法。获取一段时间内的数据,结合数据间隔得出基准数据,利用其它数据与基准数据的偏差进行数据融合处理,有利于减少网络的负载压力;并根据递推估计将同一类型数据采取多次融合计算,引入自适应理论,利用相对方差对各个数据加权做相应调节,同时对数据修正后的估计权值做融合处理,得到最终的二次加权融合结果,进而提高动态数据融合的精度。通过仿真结果,验证了双重增量自适应加权算法在网络动态数据融合方面的有效性,显著降低了数据冗余程度,提高了数据准确性。 相似文献
20.
数据流挖掘是当前数据挖掘研究的一个热点,概念漂移检测是数据流挖掘的一个重要研究方向.虽然有不少概念漂移的探测方法,但是它们都有一些共同的缺陷:没有整体上删除冗余属性以及利用外部属性去探测概念漂移(比如利用对外部数据的分类准确率)等.利用粗糙集和F-粗糙集的基本原理和基本方法,把数据流中的滑动窗口当成决策子表簇,提出了一种对数据流进行并行约简、整体删除冗余属性的方法,并运用并行约简后数据流决策子表簇中属性重要性的变化探测概念漂移现象.与传统的方法不同,新方法利用数据的内部特性对概念漂移进行探测.实验结果显示,该方法能够有效地整体删除冗余属性、探测概念漂移现象,并且基于互信息的属性重要性在概念漂移探测效果方面比基于正区域的属性重要性要好些. 相似文献