基于互信息的特征子集选择

通过互信息的思想提出一个新的评价函数来评价属性之间的相关性,并结合LV算法进行特征子集选择.结果表明,该方法对分类问题效果明显.     

Feature selection algorithm for text classification based on improved mutual information

In order to solve the poor performance in text classification when using traditional formula of mutual information (MI),a feature selection algorithm were proposed based on improved mutual information.The improved mutual information algorithm,which is on the basis of traditional improved mutual information methods that enhance the MI value of negative characteristics and feature’s frequency,supports the concept of concentration degree and dispersion degree.In accordance with the concept of concentration degree and dispersion degree,formulas which embody concentration degree and dispersion degree were constructed and the improved mutual information was implemented based on these.In this paper,the feature selection algorithm was applied based on improved mutual information to a text classifier based on Biomimetic Pattern Recognition and it was compared with several other feature selection methods.The experimental results showed that the improved mutual information feature selection method greatly enhances the performance compared with traditional mutual information feature selection methods and the performance is better than that of information gain.Through the introduction of the concept of concentration degree and dispersion degree,the improved mutual information feature selection method greatly improves the performance of text classification system.     

文本分类中一种新的特征选择方法

文本分类面临的一个主要问题就是如何降低文本巨大的特征维数,并且保持分类精度甚至提高分类精度。针对该问题,提出了一种基于信息论的特征再提取方法,旨在删除稀疏分布的特征、保留有利于分类的特征。使用该方法时配合特征选择方法,可进一步降低特征维数。实验结果表明,该方法能将特征维数降低到几百维,而且能提高分类器的性能。     

并行免疫克隆特征选择算法

针对模式识别中传统的封装式特征选择算法,难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时问题,提出了一种用于特征选择的并行免疫克隆算法,采用免疫克隆算法搜索特征,并利用并行算法评价特征子集,即将种群中个体的适应度计算并行在多个计算节点上同时进行．将该算法在Linux刀片集群上基于MPICH软件对UCI数据集进行特征子集选择算法仿真,特征子集采用最近邻分类并采用留一法验证评价．结果表明该算法选出的特征子集优于经典的顺序浮动前向搜索算法和标准遗传算法,与串行算法运行时间相比,在40个CPU时其加速比最高可达29.57．     

基于LS-SVM与模糊补准则的特征选择方法

针对传统特征选择算法采用单一度量的方式难以兼顾泛化性能和降维性能的不足,提出新的特征选择算法(least squares support vector machines and fuzzy supplementary criterion, LS-SVM-FSC)。通过核化的最小二乘支持向量机(least squares support vector machines, LS-SVM)对每个特征的样本进行分类,使用新的模糊隶属度函数获得每个样本对其所属类的模糊隶属度,使用模糊补准则选择具有最小冗余最大相关的特征子集。试验表明:与其他10个特征选择方法与7个隶属度决定方法相比,所提算法在9个数据集上都具有很高的分类准确率和很强的降维性能,且在高维数据集中的学习速度依然很快。     

雷达波形优化的特征互信息方法

针对扩展目标识别中距离敏感性的波形优化问题,在通用注水法的基础上提出了基于特征提取的波形优化设计方法,简称为特征互信息方法．该方法通过最大化识别特征与目标特性之间的互信息以达到增加各类目标可分性的目的．仿真结果表明,相对于线性调频信号和注水法优化信号,特征互信息方法优化信号可以得到更大的互信息,并能较好地提高目标的识别性能．     

一种面向连续型属性的特征选取方法

特征选取是数据约简方法之一,其对提高机器学习的效率和效果具有重要影响。根据对象在特征空间中的分布,划分连续特征空间为类别单一、边界清晰的多个子空间。依统计学意义,把各个子空间分别投影到所有特征上,获取所有不同类别子空间对当前子空间特征区分能力的评估。通过构造区分能力评估矩阵,实现特征分类能力的排序。引入特征集区分能力信息增益,结合特征分类能力排序,逐一优选特征,最终完成特征子集的求解。采用UCI(University of California Irvine)数据集进行实验,获取特征子集,利用该特征子集,提高了机器学习效率和分类精度,表明了特征选取的可行性。     

基于蚁群算法的行为识别特征优选方法

为了降低特征冗余,提高移动用户行为识别的准确率,提出一种基于蚁群算法的移动用户行为识别加速度信号特征优选方法。首先对样本数据进行预处理,根据特征对不同行为的分类敏感度进行初次优选,降低特征搜索空间的维度;然后利用蚁群算法结合神经网络分类器,以特征的分类准确度为评价准则对特征集合进行了二次优选。实验结果表明,该方法优选出的特征集具有较好的识别性能。     

基于改进遗传算法的超光谱图像特征选择方法

提出的特征选择新方法充分利用遗传算法并行搜索、全局寻优的优点，并结合超光谱图像特征选择的具体应用，选择表征类别可分性的判别标准作为评价函数计算个体适应度，通过交叉和变异操作实现个体进化．为加快算法收敛速度，提高遗传算法性能，在遗传算法中引入了两代竞争机制，获取最佳的分类特征组合．利用一幅200波段的AVIRIS超光谱图像进行的仿真实验结果表明，所提出的方法用于特征选择具有分类精度高，计算耗时少的优点．     

一种基于SVM的快速特征选择方法

针对现有特征选择方法计算量大、速度慢的缺点,提出了一种基于SVM的快速特征选择算法。该算法使用SVM作为分类器,并利用粒子群优化算法进行搜索。通过利用SVM线性核与多项式核函数的特性,减少了在特征选择中训练分类器的次数,降低了计算复杂度。实验结果表明在不损失分类精度的情况下,能显著提高特征选择的速度。     

面向不平衡问题的集成特征选择

传统的特征选择方法基本上是以精度为优化目标,没有充分考虑数据样本类别分布倾斜性,在数据分布不平衡的数据集上性能表现不理想。在不平衡数据集上通过有放回的抽样方法独立地从数据集大类样本集中随机抽取多个样本子集,使每次随机抽取的样本数量与小类样本数量一致,然后将各抽取的样本子集分别与小类样本集组合成多个新的训练样本集。对多个新样本集的特征子集以集成学习的方式采用投票机制进行投票,数据集的最终特征子集以得票数目超过半数的特征共同组合而成。在UCI不平衡数据集上的实验结果显示,提出的方法表现出了较好的性能,是一种能够处理不平衡问题的有效特征选择方法。     

基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法

为了提高AdaBoost集成学习算法的数据分类性能,提出基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法. 综合考虑待检测样本与邻居样本的相似度及与不同类别样本集的隶属关系,引入合群度和隶属度的概念,提出新的噪声检测方法. 在此基础上,为了更好地选择那些能够有效区分错分样本的特征,在传统过滤器特征选择方法的基础上提出通用的结合样本权重的动态特征选择方法,以提高AdaBoost算法针对错分样本的分类能力. 以支持向量机作为弱分类器,在8个典型数据集上分别从噪声检测、特征选择及现有方法比较3个方面进行实验. 结果表明,所提算法充分考虑了噪声样本和样本权重对AdaBoost分类结果的影响,相对于传统算法在分类性能上获得显著提升.     

一种基于模糊信息熵的协同过滤推荐方法

针对评分数据的稀疏性制约协同过滤推荐性能的情况,提出一种新的相似性度量方法。首先,定义了用户的模糊信息熵以反映用户评分偏好的不确定程度;其次,利用两两用户的模糊互信息衡量用户之间的相似程度;最后,同时考虑用户之间的模糊互信息和用户的模糊信息熵,并设计一种基于模糊信息熵的相似性度量方法以计算用户之间的相似性。在两个公开数据集上的试验结果表明:基于模糊信息熵的相似性度量方法能够降低数据稀疏性的影响,并能显著提高推荐系统的推荐性能。     

一种基于互信息的波形优化设计方法

将注水法改进成一种适用于杂波背景下的通用注水法,通过最大化目标回波与扩展目标特性之间的互信息降低目标特性的不确定性．然后把这种思想应用于目标识别波形优化问题,从而增加各类目标的可分性．仿真结果证明,相对于线性调频信号和注水信号,该方法优化波形可以得到更大的互信息,并能将目标识别率提高3％左右,在信杂噪比较低的时候提高更加明显．     

基于小波分解和最大互信息的图像配准方法研究

研究了基于最大互信息图像配准的理论和实现算法,提出了将小波分解与之相结合的算法,证明了该算法优于基于最大互信息的图像配准。通过实验数据比较可以得出,提出的基于小波分解和最大互信息的图像配准的算法可以有效地提高配准的速度和具有较好的配准效果。     

攻击特征在线选择方法的研究

针对入侵检测的需求,设计了一种攻击特征的在线选择方法。该方法不涉及专业领域知识,较为客观。通过自行设计的攻击平台,模拟了几个攻击,进行了这些攻击有关特征的选择,通过与可视化工具展示的特征值的变化情况进行对比,验证了该方法及其特征选择算法的有效性。     

基于肯定选择分类算法的恶意代码检测方法

针对恶意代码,尤其是顽固、隐匿的未知恶意代码危害日益加剧的问题,提出一种基于肯定选择分类算法的恶意代码检测方法.将样本文件转换成十六进制格式,提取样本文件的所有n-gram,计算具有最大信息增益的N个n-gram的词频,并做归一化处理,采用改进的肯定选择分类算法进行分类.该方法保留了肯定选择分类算法高分类准确率的优点,优化了分类器训练过程,提高了训练和检测效率.结果表明,该方法的检测效果优于朴素贝叶斯、贝叶斯网络、支持向量机和C4.5决策树等算法.     

基于SVM的网络数据无监督特征选择算法

面向线性不可分的未知格式网络数据,提出了一种基于支持向量机的无监督特征选择算法。该算法通过非线性映射函数将不可分的网络数据映射到高维空间中,然后在高维空间中进行无监督的特征选择。该算法在特征选择之前不需要人工构造候选特征集合,直接从原始网络数据中自动地选择关键特征。利用人工数据集和网络数据集进行的实验结果表明:本文算法在特征选择可行性和有效性方面都有良好的表现。     

一种网络流量分类特征的产生及选择方法

在基于机器学习方法的网络流量分类系统中,特征产生及特征选择将直接影响到分类的速度及精度。针对这种情况,在特征产生方面,结合Packet-Level和Flow-Level上的信息,对报文属性(大小、个数、时间、标志位)、流的属性(时间)进行分析和研究,产生了37个网络流量统计特征。在特征选择方面,提出一种结合Filter模型和Wrapper模型的网络流量特征选择方法,实现了降维作用。实验表明,提出的方法提高了分类的精度。     

一种类内方差与相关度结合的特征选择算法

为了解决现有特征选择算法没有同时考虑特征之间以及特征与类别之间的相关性,且存在计算量大、适用范围窄等问题,从均方误差最小的分类训练准则出发,并借鉴线性鉴别分析的思想,提出了一种类内方差与相关度结合的特征选择算法,并使用核方法将其推广到可以解决非线性分类的特征选择问题.该算法不仅同时考虑了样本特征之间以及特征与分类标号之...