基于分明矩阵方法的属性约简方法

属性约简和核是粗糙集理论研究的核心内容,进过约简后的数据更有价值.文中详细介绍了A.Skowron基于分明矩阵的属性约简算法,并对此方法进行了简化,以及利用生成的分明矩阵的方法如何求核集和约简的一种方法.     

面向简化规则的集成学习模型及规则约简策略

随着机器学习模型的广泛应用,研究者们逐渐认识到这类方法的局限之处。这些模型大多数为黑盒模型,导致其可解释性较差。为了解决这一问题,以集成学习模型为基础,提出了一种基于规则的可解释模型以及规则约简方法,包括生成优化的随机森林模型、冗余规则的发现和约简等步骤。首先,提出了一种随机森林模型的评价方法,并基于强化学习的思想对随机森林模型的关键参数进行了优化,得到了更具可解释性的随机森林模型。其次,对随机森林模型中提取的规则集进行了冗余消除,得到了更加精简的规则集。在公开数据集上的实验结果表明,生成的规则集在预测准确率和可解释性方面均表现优秀。     

一种安全协议的形式化设计方法

本文以协议分析器为辅助工具,结合定理证明方法,给出一个安全协议形式化设计方法。该方法首先根据协议规范构造全信息项及冗余协议,使用定理证明保证冗余协议的安全性。对冗余协议利用安全性保持约简规则和随机约简规则进行约简,从而得到最优约简协议。该方法实现了安全协议的自动设计,具有良好的扩展性,可以根据需求和协议的发展增加设计规则和约简规则。     

分类数据集的一致化特征选择约简

样本数据集的不一致性和冗余特征会降低分类的质量和效率。提出了一种一致化特征选择约简方法,该方法基于贝叶斯公式,采用阈值,将非一致数据归为最可能的一类,使数据集一致化。并在一致数据集上,运用类别区分矩阵选择可准确区分各类数据的最小特征变量集。给出的启发式搜索策略和应用实例表明:一致化特征选择约简方法能有效消除分类数据集的不一致性,选择最优的特征变量、降低数据的维数、减少数据集中的冗余信息。     

一种基于粗糙集的离散化算法

粗糙集理论以其独特的数据约简能力在不确定信息处理的相关领域得到广泛关注和研究,而连续属性的离散化是粗糙集方法及其它归纳学习系统中的重要环节.将离散化视作一种信息概括、抽象和约简,利用粗糙集理论提出一种全局的离散化算法.算法通过定义一致性度量,实现全局离散,弥补了局部离散化MDLP方法引入不一致的缺陷.然后在保持一致性前提下,进一步对离散中分割点的冗余进行约简.实验采用ID3和粗糙集分类工具ROSETTA在多个大数据集上对提出的离散方法进行分类验证,实验结果表明该算法的有效性和优越性.     

入侵检测中的数据约简研究

为解决入侵检测中的数据约简问题,提出一种基于粗糙集的入侵检测数据约简算法,其中包括特征选择与属性值约简。特征选择部分采用互信息的方法消除冗余特征,属性值约简部分采用归纳值约简算法消除冗余属性值。实验结果表明,该方法不仅能缩短训练及检测时间,减小数据存储代价,还能提高分类精确度。     

一种新的基于模拟退火的测试用例生成与约简算法

测试数据生成是组合测试的一个关键问题。提出一种基于贪心算法和模拟退火的组合测试用例约简算法,可以大幅约简成对组合测试用例的生成。分别采用爬山法、一般模拟退火算法和约简模拟退火算法对成对组合测试用例生成进行比较,实验表明所提出的模拟退火算法有较好的运行效率和约简效果。     

基于k-原型聚类和粗糙集的属性约简方法

基于k-原型聚类和等价关系下的粗糙集理论,对含有连续值和符号值的目标信息系统提出了一种新的适用于混合数据的属性约简方法.首先,k-原型聚类可以通过定义混合数据的距离而得到信息系统的类簇,形成对论域的划分.将所得到的类簇代替粗糙集理论中的等价类,提出基于聚类的近似集、正域以及正域约简的概念,并根据信息熵定义属性重要性度量,建立了变精度正域约简方法.这种属性约简可以同时处理数值型和符号型数据,去除其中的冗余属性,提高分类性能,降低存储和算法运行时间耗费,并通过调节聚类参数k得到对论域不同粒度的划分,对所得到的约简进行优化.最后在UCI数据集上进行了大量的实验,针对分类问题采用了常见的4种分类算法,比较了约简前后的分类精度,详细分析了参数对结果的影响,验证了约简方法的有效性.     

信息熵与模糊综合评判融合的相似数据检测方法

针对大数据环境下数据冗余量大的问题,以粗糙集理论为基础,提出了一种基于香农信息熵（Shannon entropy）融合模糊综合评判的相似重复数据检测方法,首先基于香农熵对数据集中的属性进行约简,然后采用模糊综合评判方法获取约简后各属性的重要性权值,最后依据约简属性及其权值进行相似数据的检测。理论分析与实验对比表明,该方法在结构化大数据集的相似数据检测中,有较高的检测精度与效率。     

大规模复杂数据集的约简方法

对样本点数量巨大、用于刻画对象特征的指标众多、带有时空动态特性、包含大量噪声等特点的大规模复杂数据集进行定义。针对大规模复杂数据集的挖掘要求,结合统计分析、粗糙集、模糊集理论中的数据约简思想和方法,提出一种基于样本模糊聚类和粗糙集属性约简的大规模复杂数据集约简方法。     

基于稀疏子空间的局部异常值检测算法

针对高维数据集中存在不相关的属性与冗余数据导致无法检测出异常值的问题,提出了一种新的基于稀疏子空间的局部异常值检测算法（SSLOD）。根据数据对象在每个维度上的局部密度定义了对象的异常因子;依据异常因子阈值约简数据集中与局部异常值不相关的属性以及冗余的数据对象;用改进的粒子群优化算法在约简后的数据集中搜索稀疏子空间,该子空间中的数据对象即为异常值。通过在仿真数据集和真实数据集上的综合实验验证了该算法的有效性和准确性。     

基于K均值聚类的分段样本数据选择方法

为了提高神经网络分类器的性能,提出一种基于K均值聚类的分段样本数据选择方法.首先通过K均值聚类把训练样本根据已知的类别数进行聚类,对比聚类前后的各类样本,找出聚类错误的样本集和聚类正确的样本集;聚类正确的样本集根据各样本到聚类中心的距离进行排序并均分为五段,挑选各类的奇数段样本和聚类错误的样本构成新的训练样本集.该方法能够提取信息量大的样本,剔除冗余样本,减少样本数量的同时提高样本质量.利用该方法,结合人工和UCI数据集对三种不同的神经网络分类器进行了仿真实验,实验结果显示在训练样本平均压缩比为66.93％的前提下,三种神经网络分类器的性能都得到了提高.     

基于异常数据驱动的WSN簇内数据融合方法

引入数据驱动的思想,提出了一种基于异常数据驱动的簇内数据融合方法.在节点数据采集过程中,仅当异常数据发生时才发送给簇头,减少了监测网络的数据传输量.在簇头数据融合过程中,建立了各传感器之间的相互支持度矩阵,支持度值较低的监测数据将被剔除,支持度值较高的监测数据进行最优加权融合,从而保证了融合结果的准确性和有效性.仿真实验结果表明,与算术平均值法及自适应加权融合法相比,本文方法能有效去除冗余信息,在融合精度、能量消耗方面具有明显的优势.     

粗糙集下网络大数据混合属性特征检测仿真

由于网络混合属性集的冗余数据量多,影响数据检测的查全率,为此提出结合粗糙集理论的网络大数据混合属性特征检测方法。首先构建一个四元组,利用四元组的任意邻域信息测算其长度函数,以判断信息特征的相似性,结合粗糙集理论求解相似信息特征的邻域熵,以检测并分类重复数据属性。为优化数据分类效率,引入支持向量机分类思想,将大数据混合属性的分类问题变换为线性可分问题,实现网络大数据混合属性特征检测与分类。实验结果表明,所提方法能够有效根据数据特征筛选出无关数据信息,使用经过训练后的分类装置对约简后的特征集进行分类,与基于特征和分类器参数组合优化的网络属性特征检测方法比较,证明了所提方法的有效性,为网络大数据混合特征检测技术提供一种新的有效解决方式。     

基于ReliefF和蚁群算法的特征基因选择方法

针对高维小样本的DNA微阵列数据多分类问题,提出一种基于ReliefF和蚁群算法的特征基因选择方法(ReliefF and Ant Colony Optimization, ReFACO)。该方法首先采用ReliefF算法评估特征权重,根据阈值筛选出无关基因;然后引入改进的蚁群算法,在迭代改进的过程中寻找最优基因子集;最后利用经典分类算法对维数约简后的数据分类识别。经实验证明,该方法可以有效地剔除无关和冗余基因,并利用较少特征基因达到较高多分类效果。     

基于时序聚类的北斗位置冗余数据压缩算法

在北斗用户机的位置数据采集过程中,容易出现数据冗余现象。为此,分析导致数据冗余的原因,提出一种基于时序聚类的冗余数据压缩算法。该算法采用基于密度的聚类方法将数据集进行分簇,把属于同一类运动特征的位置数据归为一类,根据簇直径判断该簇是否为冗余数据,并对冗余数据进行压缩。实验结果表明,该算法可以正确标识冗余数据,实现数据压缩。     

基于NDN的区块链网络服务质量保障方法

针对传统区块链网络难以满足不同应用场景差异化服务质量（QoS）需求的问题,提出一种基于命名数据网络的区块链网络QoS保障方法。从实时性角度对交易和区块进行分类,为交易和区块设计新的命名空间。为不同类型的区块链数据创建各自的数据传播结构,以缓解流量的集中化程度。针对不同应用场景对实时性的要求,采用差异化路由机制对交易和区块进行排队转发。实验结果表明,该方法能够有效提高区块链网络的信息传输效率,减少网络中的冗余流量,其网内流量相比基于TCP的区块链网络约下降24%。     

Traffic Flow Data Forecasting Based on Interval Type-2 Fuzzy Sets Theory

This paper proposes a long-term forecasting scheme and implementation method based on the interval type-2 fuzzy sets theory for traffic flow data. The type-2 fuzzy sets have advantages in modeling uncertainties because their membership functions are fuzzy. The scheme includes traffic flow data preprocessing module, type-2 fuzzification operation module and long-term traffic flow data forecasting output module, in which the Interval Approach acts as the core algorithm. The central limit theorem is adopted to convert point data of mass traffic flow in some time range into interval data of the same time range (also called confidence interval data) which is being used as the input of interval approach. The confidence interval data retain the uncertainty and randomness of traffic flow, meanwhile reduce the influence of noise from the detection data. The proposed scheme gets not only the traffic flow forecasting result but also can show the possible range of traffic flow variation with high precision using upper and lower limit forecasting result. The effectiveness of the proposed scheme is verified using the actual sample application.      

动态数据融合算法改进仿真研究

为了有效滤除传感器网络动态数据携带的冗余信息,提高网络数据准确性与网络节点生命周期,提出了基于时间间隔与数据间隔双重增量的自适应加权动态数据融合算法。获取一段时间内的数据,结合数据间隔得出基准数据,利用其它数据与基准数据的偏差进行数据融合处理,有利于减少网络的负载压力;并根据递推估计将同一类型数据采取多次融合计算,引入自适应理论,利用相对方差对各个数据加权做相应调节,同时对数据修正后的估计权值做融合处理,得到最终的二次加权融合结果,进而提高动态数据融合的精度。通过仿真结果,验证了双重增量自适应加权算法在网络动态数据融合方面的有效性,显著降低了数据冗余程度,提高了数据准确性。     

基于并行约简的概念漂移探测

数据流挖掘是当前数据挖掘研究的一个热点,概念漂移检测是数据流挖掘的一个重要研究方向.虽然有不少概念漂移的探测方法,但是它们都有一些共同的缺陷：没有整体上删除冗余属性以及利用外部属性去探测概念漂移(比如利用对外部数据的分类准确率)等.利用粗糙集和F-粗糙集的基本原理和基本方法,把数据流中的滑动窗口当成决策子表簇,提出了一种对数据流进行并行约简、整体删除冗余属性的方法,并运用并行约简后数据流决策子表簇中属性重要性的变化探测概念漂移现象.与传统的方法不同,新方法利用数据的内部特性对概念漂移进行探测.实验结果显示,该方法能够有效地整体删除冗余属性、探测概念漂移现象,并且基于互信息的属性重要性在概念漂移探测效果方面比基于正区域的属性重要性要好些.