结合ReliefF和互信息的多标签特征选择算法

针对传统单标签特征选择算法不能直接应用于多标签数据的问题,提出一种多标签特征选择算法——MML-RF算法.在ReliefF的基础上,MML-RF算法提出新的类内最近邻样本查找方式,并结合多标签的贡献值改进特征权值的计算方法,能很好地适应多标签数据的特点;同时为了减少特征冗余,MML-RF算法以互信息作为特征冗余度量方式,提出一种去冗余方法,能够得到更小的特征子集.实验表明,MML-RF多标签特征选择算法得到的特征子集规模较小,且在多标签数据集上具有很好的分类效果,能够提升多标签学习和数据挖掘工作的效率.     

基于特征选择算法的ECG信号分类

为了提高不同类别心电图(Electrocardiogram, ECG)信号的识别精度,使用小波分析提取心电信号特征,并使用分段距离的特征筛选方法对特征进行筛选排序,去除冗余和干扰特征,挑选出关键特征。通过缩减特征数量,提高分类的精度和效率。结合机器学习分类器对特征进行分类,比较分类效果。结果显示,在MIT-BIH数据集上,本方法的分类精度比不使用特征选择分类精度高0.22%,分类精度最高达到99.67%。试验证明本研究提出的模型能够区分4种常见的ECG信号,较传统方法优势明显。     

基于局部类相似的特征选择方法

常用的特征选择方法利用样本空间的整个区域提取最优的特征子集。与此相反,本文中提出一种新的局部特征选择方法,即样本空间的每个区域都与各自不同的最优特征集相关联,这些特征集能够最优地适应样本空间的局部变化。同时,在求解最优特征集对应的子空间时,基于最近邻思想,本文提出了一种度量测试数据与各个类相似性的方法,用来对测试样本进行分类。本文提出的方法可以描述为线性规划优化问题,因此可以通过简单的凸优化来求解全局最优解。在三组真实数据集和三个主流的方法上进行的对比实验结果证明了该算法的可行性和有效性。     

基于均匀设计的特征选择方法

针对模式识别系统中有效特征的选择问题,采用支持向量机作为分类器,提出了基于均匀设计的特征选择方法.根据均匀设计表的结构及采用的数据集进行训练、测试,最后检验所选的特征子集.实验结果表明,该方法能够有效地去除数据集的冗余特征,取得比使用特征全集更好的分类性能.     

基于条件互信息的低冗余短期负荷预测特征选择

为避免负荷预测特征集中冗余特征对预测精度的负面影响,降低预测器复杂度,提出一种基于条件互信息(CMI)和高斯过程回归(GPR)的短期负荷预测特征选择方法.首先,为降低建模所用特征量,根据与目标变量具有最大互信息的特征,选取剩余特征中可对目标变量提供最大信息增益的特征,计算CMI值并进行排序;然后,以GPR为预测器,以其预测结果平均绝对百分比误差为决策变量,按照特征CMI值排序顺序,采用序列前向选择方法,确定最优特征子集;最终,以最优特征子集构建GPR预测模型,并与皮尔逊相关系数法(PCC)和互信息(MI)2种特征选择方法分别结合支持向量机和反向传播神经网络开展对比实验.实验结果证明新方法降低了最优特征集合冗余度与预测模型复杂度,且具有更高的预测精度.     

一种基于相关分析的特征选择方法

特征选择是机器学习和模式识别等领域的重要问题之一.从特征相关性和冗余性的出发,分析了特征相关性的大小与分类能力之间的联系,并利用相关系数对相关特征和冗余特征进行预选取,然后使用顺序前向搜索方法作进一步的降维处理,得到了一种基于相关性的最优特征子集选择方法.实验结果表明,该方法是一种有效的特征选择方法.     

基于DNA微阵列数据的特征子空间集成分类

针对DNA微阵列数据应用于临床诊断时分类准确率过低的问题,结合其高维小样本的特点提出了一种特征子空间集成分类方法。该方法首先通过层次聚类与信噪比特征选择策略将原始训练数据集映射到一个非冗余的特征基因空间,然后随机抽取一些特征子空间构成训练子集并应用支持向量机训练基分类器,最后采用多数投票的方式决定测试样本的类属。最后在4个标准的微阵列数据集上与其他方法进行了对比实验,结果证明了本文方法的有效性。     

一种面向连续型属性的特征选取方法

特征选取是数据约简方法之一,其对提高机器学习的效率和效果具有重要影响。根据对象在特征空间中的分布,划分连续特征空间为类别单一、边界清晰的多个子空间。依统计学意义,把各个子空间分别投影到所有特征上,获取所有不同类别子空间对当前子空间特征区分能力的评估。通过构造区分能力评估矩阵,实现特征分类能力的排序。引入特征集区分能力信息增益,结合特征分类能力排序,逐一优选特征,最终完成特征子集的求解。采用UCI(University of California Irvine)数据集进行实验,获取特征子集,利用该特征子集,提高了机器学习效率和分类精度,表明了特征选取的可行性。     

一种基于信息论模型的入侵检测特征提取方法

在网络入侵检测中,由于原始数据特征维度高和冗余特征多,导致入侵检测系统的存储负担增加,检测分类器性能降低。针对该问题本文提出了一种基于信息论模型的入侵检测特征提取方法。它以具有最大信息增益的特征为搜索起点,利用搜索策略和评估函数迭代调整数据集分类标记、已选取特征子集和候选特征三者之间的相关度,最后通过终止条件确定选取特征子集。以入侵检测样本数据集为实验数据,将该方法选取的特征向量运用到支持向量机分类算法中,在特征维度大幅度降低的情况下,检测精度变化很小。实验结果证明了本方法的有效性。     

基于特征选择和时间卷积网络的工业控制系统入侵检测

针对工业控制系统流量数据存在特征冗余及深度学习模型对较小规模数据集检测能力较差的问题,提出了一种基于特征选择和时间卷积网络的工业控制系统入侵检测模型。首先,对源域数据集的异常特征和样本不平衡数据进行处理,提高源域数据集质量。其次,针对流量数据的特征冗余,利用信息增益率和主成分分析法构建IGR-PCA特征选择算法,筛选出最优特征子集实现数据降维。然后,根据工业控制系统流量数据的时间序列特性,在较大规模的源域数据集上,利用时间卷积网络（temporal convolution network,TCN）对时间序列数据优异的处理能力,构建源域时间卷积网络预训练模型。最后,在较小规模的目标域数据集上,结合迁移学习（transfer learning,TL）微调策略,获取源域样本数据的流量特征,构建目标域TCN-TL模型。利用公开的工业控制系统数据集进行实验测试,实验结果表明：流量数据经本文特征算法处理后,相较于其他方法,在降低数据维度减少计算量的同时仍具有良好的检测效果;在较大规模的源域数据集和较小规模的目标域数据集上,本文模型均取得了良好的检测效果,在目标域中利用迁移学习微调策略能够学习到源域中的知识,模型检测准确率为99.06%,在训练时间对比中,本文模型训练时间消耗更少,具有更好的泛化能力,能够更好地保护工业控制系统安全。     

一种采用冗余性动态权重的特征选择算法

由于候选特征与类标签间的相关性,候选特征、已选特征与类标签间的交互性以及特征间的冗余性是特征选择算法应考虑的重要因素,而一些基于互信息和三维互信息的特征选择算法没有同时考虑相关性、交互性和冗余性信息,这影响了它们的性能。针对该问题,提出一种采用冗余性动态权重的特征选择算法,将对称不确定性和三路交互信息作为评价指标,采用一种动态更新特征权重的方法使目标函数在考虑相关性、交互性的基础上,同时考虑特征间的冗余性。在10种数据集上利用3种分类器与典型的基于互信息的特征选择算法做了对比实验,结果表明所提算法具有更好的特征选择性能。     

基于最大相关信息系数的FCBF特征选择算法

在相关性快速过滤特征选择算法（FCBF）基础上,通过最大相关系数的方式改进FCBF算法.首先,通过最大相关系数和对称不确定性度量准则,计算出每个特征与标签之间的相关度量值,并按照数值大小顺序进行排序;其次,通过最大相关系数和近似马尔可夫毯原理进行无关特征和冗余特征的筛选,最终选择出最优特征子集.在加利福尼亚大学欧文分校的机器学习库（UCI）的8个公开数据集中进行对比实验结果表明基于最大相关系数的特征选择算法（NFCBF）总体优于FCBF算法,它所选择出特征数比FCBF算法所选择特征数平均少了3.625个,分类准确率平均提高了0.075%.与互信息最大算法（MIM）、最少的绝对收缩和选择算法（Lasso）和岭算法（Ridge）等相比也具有明显的优势.     

基于LS-SVM与模糊补准则的特征选择方法

针对传统特征选择算法采用单一度量的方式难以兼顾泛化性能和降维性能的不足,提出新的特征选择算法(least squares support vector machines and fuzzy supplementary criterion, LS-SVM-FSC)。通过核化的最小二乘支持向量机(least squares support vector machines, LS-SVM)对每个特征的样本进行分类,使用新的模糊隶属度函数获得每个样本对其所属类的模糊隶属度,使用模糊补准则选择具有最小冗余最大相关的特征子集。试验表明:与其他10个特征选择方法与7个隶属度决定方法相比,所提算法在9个数据集上都具有很高的分类准确率和很强的降维性能,且在高维数据集中的学习速度依然很快。     

改进粒子群与支持向量机混合的特征变换

研究了数据挖掘中通过特征变换的数据预处理来提高支持向量机(SVM)分类精度的方法,提出了改进粒子群优化(PSO)和SVM混合的方法. 用推广t统计、Fisher判别式和随机森林的线性加权度量来排序特征,得到预选特征子集,再用启发式信息加速改进PSO搜索特征的线性变换因子,并用二进制PSO对特征变换子集进行特征选择,在后处理中通过格子搜索获取了高精度SVM分类器. 在NIPS 2003的madelon及10个UCI数据集上的实验表明,与有C-SVM分类精度相比,新方法在4个数据集上的精度更高.     

A bidirectional feature selection method based on mutual information and redundancy-synergy coefficient

Featuresubsetselection(FSS)istoselectrele vantfeaturesandcastawayirrelevantandredundantfeaturesfromtheoriginalfeaturesetaccordingtoaFSSmeasure[1].IfafeaturesubsetsatisfiestheFSSmeas ureandhastheminimumsize,itisconsideredapartoftheoptimalfeaturesubset.Comp…     

基于显著稀疏强关联的脑功能连接分类方法

针对脑功能连接数据维度过高、冗余特征过多影响神经网络分类准确率的问题,提出一种基于显著稀疏强关联的脑功能连接分类方法. 该方法利用显著特征稀疏模块对原始特征进行筛选增强;采用稀疏强关联特征上下文融合模块对不同感受野内的显著特征信息进行聚合;使用全连接神经网络进行分类预测. 在ABIDE以及ADHD-200数据集上的实验结果表明,所提方法相较于现有的脑功能连接分类算法在准确率上分别提升了10.41%和12.50%. 重要特征的可视化结果表明所提方法能准确定位与疾病相关的脑区,具有一定实际应用价值.     

基因数据的交互依赖特征选择算法

特征选择是生物信息领域中数据预处理阶段必不可少的步骤。传统特征选择算法忽视了特征之间的依赖相关性和冗余性,因此提出一种联合互信息的特征选择算法(JFRR)。该算法利用互信息计算特征之间的冗余值,并利用联合互信息分别计算已选特征集合、候选特征及类标签之间的相关性。将JFRR与其他6个特征选择算法在2个分类器上,使用9个不同基因数据集,进行分类准确率指标(Precision_micro和F1_micro)验证。实验结果表明,该算法能有效提高分类精度。