模糊kNN在文本分类中的应用研究

自动文本分类是根据已经分配好类标签的训练文档集,来对新文档分配类标签.针对模糊kNN算法用于文本分类的性能进行了一系列的实验研究与分析.在中英文两个不同的语料集上,采用四种著名的文本特征选择方法进行特征选择,对改进的模糊kNN方法与经典kNN及目前广泛使用的基于相似度加权的kNN方法进行实验比较.结果表明,在不同的特征选择方法下,该算法均能削弱训练样本分布的不均匀性对分类性能的影响,提高分类精度,并且在一定程度上降低对k值的敏感性.     

基于特征选择及Condensing技术的文本取样

作为一种基于实例的方法,k-近邻(kNN)分类器有大量的计算及存储需求.同时,训练数据分布的不均衡,也会导致kNN分类器的性能下降.针对这些缺陷,文中提出特征选择与Condensing技术相结合的取样方法,以达到下述目的.在减少kNN分类的计算量及存储量的同时,保证分类器的性能.首先由传统的特征选择方法产生训练集里每类训练数据的特征.再根据文档自身的类特征,结合Condensing策略移去多余的训练实例.大量实验表明,用该方法所取得的样本作为训练集,不仅极大减少kNN方法的时空开销,而且降低噪声,提高分类器性能.     

改进离散烟花算法求解旅行商问题的研究

旅行商问题是一个经典的组合优化难题,它具有重要的理论研究价值以及实际应用意义.针对此问题提出一种基于改进选择策略的离散烟花算法,将上一代适应度值最小的火花保留,同时加入动态参数自适应调整选择数目和概率,将最优火花和动态选择火花作为子代,该选择方式兼顾了适应度大小及子代选择的优劣性,并且使算法能够跳出局部最优增强了算法的全局搜索能力,保证了种群的多样性.实验表明了改进后的算法的优化程度及可行性.     

基于黑寡妇算法的特征选择方法研究

特征选择通过去除无关和冗余特征提高学习算法性能,本质是组合优化问题。黑寡妇算法是模拟黑寡妇蜘蛛生命周期的元启发式算法,在收敛速度、适应度值优化等方面具有诸多优势。针对黑寡妇算法不能进行特征选择的问题,设计五种优化策略：二进制策略“、或门”策略、种群限制策略、快速生殖策略以及适应度优先策略,提出黑寡妇特征选择算法（black widow optimization feature selection algorithm,BWOFS）和生殖调控黑寡妇特征选择算法（procreation controlled black widow optimization feature selection algorithm,PCBWOFS）,从特征空间中搜索有效特征子集。在多个分类、回归公共数据集上验证新方法,实验结果表明,相较其他对比方法（全集、AMB、SFS、SFFS、FSFOA）,BWOFS和PCBWOFS能找到预测精度更高的特征子集,可提供有竞争力、有前景的结果,而且与BWOFS相比,PCBWOFS计算量更小,性能更好。     

数据降维中特征选择方法研究

特征选择是常用的数据降维方法之一。特征选择可以有效地降维,消除不相关的数据,提高学习精度,提高结果的可理解性。数据的维数增加给许多特征选择算法带来了严重的挑战,有效地降低数据的维度,并去除冗余特征是当今研究的热点和难点。选取了4种经典的特征选择算法对3类不同数据进行处理,并分析了这几种算法的优缺点。     

基于稀疏矩阵结构的特征选择算法现状研究

在信息时代,数据获取方式简单快捷,使得数据量呈指数型增长。然而这些数据往往是多源高维的,增加了模型的复杂度,容易造成模型过拟合,并且数据中存在的冗余特征会降低模型分类精度。特征选择算法旨在通过去除不相关、冗余或嘈杂的特征,从原始特征中选择一小部分最有效特征,达到降维的效果。目前特征选择算法种类繁多,其中,基于稀疏矩阵结构的特征选择算法由于具有模型简单易懂和易求解的特点而被学者们广泛关注。本文归纳总结了基于稀疏矩阵结构的特征选择算法分类,重点介绍了鲁棒特征选择模型和多视图特征选择模型。首先,介绍了基于稀疏矩阵结构的特征选择算法基本框架;然后,介绍了基于稀疏矩阵结构的一般模型、鲁棒特征选择模型、多视图的特征选择模型,比较了它们在解决目前特征选择算法研究难点中存在的优势和不足;最后,对基于稀疏矩阵结构的特征选择算法进行了总结。文章阐明了理论研究中存在的问题和难点,探讨了基于稀疏矩阵结构的特征选择算法发展思路。     

带固定半径近邻搜索3-opt的离散烟花算法求解旅行商问题

传统烟花算法求解大规模离散问题存在收敛速度慢、求解精度不高等问题.针对旅行商问题的特点,提出一种带固定半径近邻搜索3-opt的离散烟花算法.该算法基于基本烟花算法进行离散化改进,采用整数编码的路径表示方法来表示旅行商问题的解,对爆炸算子、高斯变异算子进行离散化操作策略设计.为了使算法具有较好的局部搜索能力,提出固定半径近邻搜索3-opt策略来提高算法精度和收敛速度,同时采用不检测标志策略提高算法效率.实验结果表明:该算法能有效地求解旅行商问题,其离散烟花算子在全局收敛能力、收敛精度、求解时间和稳定性等方面均优于传统烟花算子;基准测试算例的最优解平均误差率仅为0.002％,优于对比算法.     

新的文本分类特征选择方法研究

特征降维是文本分类过程中的一个重要环节。在现有特征选择方法的基础上,综合考虑特征词在正类和负类中的分布性质,综合四种衡量特征类别区分能力的指标,提出了一个新的特征选择方法,即综合比率(CR)方法。实验采用K-最近邻分类算法(KNN)来考查CR方法的有效性,实验结果表明该方法能够取得比现有特征选择方法更优的降维效果。     

基于改进CHI和PCA的文本特征选择

针对文本数据中含有大量噪声和冗余特征,为获取更有代表性的特征集合,提出了一种结合改进卡方统计(ICHI)和主成分分析(PCA)的特征选择算法(ICHIPCA).首先针对CHI算法忽略词频、文档长度、类别分布及负相关特性等问题,引入相应的调整因子来完善CHI计算模型;然后利用改进后的CHI计算模型对特征进行评价,选取靠前...     

一种基于Canopy和粗糙集的CRS-KNN文本分类算法

针对KNN算法的分类效率随着训练集规模和特征维数的增加而逐渐降低的问题,提出了一种基于Canopy和粗糙集的CRS-KNN（Canopy Rough Set-KNN）文本分类算法。算法首先将待处理的文本数据通过Canopy进行聚类,然后对得到的每个类簇运用粗糙集理论进行上、下近似分割,对于分割得到的下近似区域无需再进行分类,而通过上、下近似作差所得的边界区域数据需要通过KNN算法确定其最终的类别。实验结果表明,该算法降低了KNN算法的数据计算规模,提高了分类效率。同时与传统的KNN算法和基于聚类改进的KNN文本分类算法相比,准确率、召回率和[F1]值都得到了一定的提高。     

森林优化特征选择算法的增强与扩展

特征选择作为一种重要的数据预处理方法,不但能解决维数灾难问题,还能提高算法的泛化能力.各种各样的方法已被应用于解决特征选择问题,其中,基于演化计算的特征选择算法近年来获得了更多的关注并取得了一些成功.近期研究结果表明,森林优化特征选择算法具有更好的分类性能及维度缩减能力.然而,初始化阶段的随机性、全局播种阶段的人为参数设定,影响了该算法的准确率和维度缩减能力;同时,算法本身存在着高维数据处理能力不足的本质缺陷.从信息增益率的角度给出了一种初始化策略,在全局播种阶段,借用模拟退火控温函数的思想自动生成参数,并结合维度缩减率给出了适应度函数;同时,针对形成的优质森林采取贪心算法,形成一种特征选择算法EFSFOA(enhanced feature selection using forest optimization algorithm).此外,在面对高维数据的处理时,采用集成特征选择的方案形成了一个适用于EFSFOA的集成特征选择框架,使其能够有效处理高维数据特征选择问题.通过设计对比实验,验证了EFSFOA与FSFOA相比在分类准确率和维度缩减率上均有明显的提高,高维数据处理能力更是提高...     

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法（SBS）与支持向量机（SVM）包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.     

覆盖算法下文本分类特征选择的研究

文本分类是信息检索和数据挖掘的基础,被广泛应用于网络数据挖掘及搜索引擎等方面。首先对文本进行分词,对分词的结果分别使用x2统计量(CHI)方法与相关系数法(CC法)进行降维,并使用维数调节的思想进行特征提取。在得到特征集后,使用覆盖算法作为文本分类器进行学习。实验结果表明,通过结合相关系数法、覆盖算法以及维数调节方法,可实现一个效果较好的文本分类器。     

全局调距和声特征选择算法

特征选择技术能有效解决维数灾难问题，许多搜索策略已经被应用到特征选择问题中。针对和声特征选择算法搜索能力低下的问题，提出了一种基于全局自适应调距的和声特征选择算法（HSFS-GPA）。将特征集的距离定义引入到特征选择问题中，在算法搜索过程中结合全局信息对随机产生的新和声进行调整，以一定概率减小候选和声与当前最优和声的距离来加快算法搜索速度，或减少候选和声与最差和声的距离以避免陷入局部最优；同时，采用竞争选择方案随时更新和声库全局信息，改进和声库的更新机制提高算法搜索质量。将HSFS-GPA与原始和声特征选择算法、粒子群算法和遗传算法进行对比实验，HSFS-GPA所选特征子集的大小比原始和声算法减少15%，子集评价值平均提高到0.98。实验结果表明，HSFS-GPA能在相同的条件下搜索到更优质的特征子集。     

基于不平衡数据的特征选择算法研究

不平衡分类问题广泛存在于医疗、经济等领域,对于不平衡数据集分类,特别是高维数据分类时,有效的特征选择算法至关重要。然而多数特征选择算法未考虑特征协同的影响,导致分类性能下降。对FAST特征选择算法进行改进,并考虑特征的协同作用,提出一种新的特征选择算法FSBS。运用AUC对特征进行评估,以相互增益衡量协同作用大小,选出有效特征,进而对不平衡数据进行分类。实验结果表明,该算法能有效地选择特征,尤其在特征数量较少的情况下可保持较高的分类准确率。     

基因数据集混合特征选择算法研究

基因数据的特点是高维度、小样本、大噪声,在处理过程中容易造成维数灾难和过度拟合等问题。针对这种情况提出一种新的基因数据集的特征选择方法,第一步是通过ReliefF算法对基因特征进行权重重要度的筛选;第二步是对筛选过的特征集合进行mRMR算法判断,留下与目标类别高度相关而其间相关性较小的基因特征;第三步利用邻域粗糙集特征选择算法对简化后的基因数据集进行寻优处理,选出最优化的特征基因子集。为了证明新算法的有效性,以SVM为分类器,使用外部交叉验证法对整个过程来计算,从而验证本文新特征选择方法的有效性。     

遗传算法与文本特征选择方法相结合的研究

对文本特征选择的传统方法进行了深入分析并对各自的优缺点进行了详细的对比;其次,通过利用遗传算法自身的寻优特点,把它与传统特征选择方法相结合,并得出了算法。最后,在对各自算法进行了分析,表明了在性能上有了明显的提高。