Particle swarm optimization-based feature selection in sentiment classification

Sentiment classification is one of the important tasks in text mining, which is to classify documents according to their opinion or sentiment. Documents in sentiment classification can be represented in the form of feature vectors, which are employed by machine learning algorithms to perform classification. For the feature vectors, the feature selection process is necessary. In this paper, we will propose a feature selection method called fitness proportionate selection binary particle swarm optimization (F-BPSO). Binary particle swarm optimization (BPSO) is the binary version of particle swam optimization and can be applied to feature selection domain. F-BPSO is a modification of BPSO and can overcome the problems of traditional BPSO including unreasonable update formula of velocity and lack of evaluation on every single feature. Then, some detailed changes are made on the original F-BPSO including using fitness sum instead of average fitness in the fitness proportionate selection step. The modified method is, thus, called fitness sum proportionate selection binary particle swarm optimization (FS-BPSO). Moreover, further modifications are made on the FS-BPSO method to make it more suitable for sentiment classification-oriented feature selection domain. The modified method is named as SCO-FS-BPSO where SCO stands for “sentiment classification-oriented”. Experimental results show that in benchmark datasets original F-BPSO is superior to traditional BPSO in feature selection performance and FS-BPSO outperforms original F-BPSO. Besides, in sentiment classification domain, SCO-FS-BPSO which is modified specially for sentiment classification is superior to traditional feature selection methods on subjective consumer review datasets.     

Chaotic maps based on binary particle swarm optimization for feature selection

Feature selection is a useful pre-processing technique for solving classification problems. The challenge of solving the feature selection problem lies in applying evolutionary algorithms capable of handling the huge number of features typically involved. Generally, given classification data may contain useless, redundant or misleading features. To increase classification accuracy, the primary objective is to remove irrelevant features in the feature space and to correctly identify relevant features. Binary particle swarm optimization (BPSO) has been applied successfully to solving feature selection problems. In this paper, two kinds of chaotic maps—so-called logistic maps and tent maps—are embedded in BPSO. The purpose of chaotic maps is to determine the inertia weight of the BPSO. We propose chaotic binary particle swarm optimization (CBPSO) to implement the feature selection, in which the K-nearest neighbor (K-NN) method with leave-one-out cross-validation (LOOCV) serves as a classifier for evaluating classification accuracies. The proposed feature selection method shows promising results with respect to the number of feature subsets. The classification accuracy is superior to other methods from the literature.     

S-shaped and V-shaped gaining-sharing knowledge-based algorithm for feature selection

In machine learning, searching for the optimal feature subset from the original datasets is a very challenging and prominent task. The metaheuristic algorithms are used in finding out the relevant, important features, that enhance the classification accuracy and save the resource time. Most of the algorithms have shown excellent performance in solving feature selection problems. A recently developed metaheuristic algorithm, gaining-sharing knowledge-based optimization algorithm (GSK), is considered for finding out the optimal feature subset. GSK algorithm was proposed over continuous search space; therefore, a total of eight S-shaped and V-shaped transfer functions are employed to solve the problems into binary search space. Additionally, a population reduction scheme is also employed with the transfer functions to enhance the performance of proposed approaches. It explores the search space efficiently and deletes the worst solutions from the search space, due to the updation of population size in every iteration. The proposed approaches are tested over twenty-one benchmark datasets from UCI repository. The obtained results are compared with state-of-the-art metaheuristic algorithms including binary differential evolution algorithm, binary particle swarm optimization, binary bat algorithm, binary grey wolf optimizer, binary ant lion optimizer, binary dragonfly algorithm, binary salp swarm algorithm. Among eight transfer functions, V₄ transfer function with population reduction on binary GSK algorithm outperforms other optimizers in terms of accuracy, fitness values and the minimal number of features. To investigate the results statistically, two non-parametric statistical tests are conducted that concludes the superiority of the proposed approach.

     

基于离散粒子群和支持向量机的特征基因选择算法

基因芯片表达谱信息,为识别疾病相关基因及对癌症等疾病分型、诊断及病理学研究提供一新途径。在基因表达谱数据中选择特征基因可以提高疾病诊断、分类的准确率,并降低分类器的复杂度。本文研究了基于离散粒子群(binary particle swarm optimization,BPSO)和支持向量机(support vector machine,SVM)封装模式的BPSO-SVM特征基因选择方法,首先随机产生若干种群(特征子集),然后用BPSO算法优化随机产生的特征基因,并用SVM分类结果指导搜索,最后选出最佳适应度的特征基因子集以训练SVM。结果表明,基于BPSO-SVM的特征基因选择方法,的确是一种行之有效的特征基因选择方法。     

改进的基于粒子群优化的支持向量机特征选择和参数联合优化算法

针对支持向量机(SVM)中特征选择和参数优化对分类精度有较大影响,提出了一种改进的基于粒子群优化(PSO)的SVM特征选择和参数联合优化算法(GPSO-SVM),使算法在提高分类精度的同时选取尽可能少的特征数目。为了解决传统粒子群算法在进行优化时易出现陷入局部最优和早熟的问题,该算法在PSO中引入遗传算法(GA)中的交叉变异算子,使粒子在每次迭代更新后进行交叉变异操作来避免这一问题。该算法通过粒子之间的不相关性指数来决定粒子之间的交叉配对,由粒子适应度值的大小决定其变异概率的大小,由此产生新的粒子进入到群体中。这样使得粒子跳出当前搜索到的局部最优位置,提高了群体的多样性,在全局范围内寻找更优值。在不同数据集上进行实验,与基于PSO和GA的特征选择和SVM参数联合优化算法相比,GPSO-SVM的分类精度平均提高了2%~3%,选择的特征数目减少了3%~15%。实验结果表明,所提算法的特征选择和参数优化效果更好。     

多层次降维的头颈癌图像特征选择方法

针对原始病理图像经软件提取形态学特征后存在高维度,以及医学领域上样本的少量性问题,提出ReliefF-HEPSO头颈癌病理图像特征选择算法。该算法构建了多层次降维框架,首先根据特征和类别的相关性,利用ReliefF算法确定不同的特征权重,实现初步降维。其次利用进化神经策略(ENS)丰富二进制粒子群算法(BPSO)的种群的多样性,提出混合二进制进化粒子群算法(HEPSO)对候选特征子集完成最佳特征子集的自动寻找。与7种特征选择算法的实验对比结果证明,该算法能更有效筛选出高相关性的病理图像形态学特征,实现快速降维,以较少特征获得较高分类性能。     

针对高维数据的马尔科夫毯特征选择

针对不满足忠实分布的高维数据分类问题,一种新的基于粒子群算法的马尔科夫毯特征选择方法被提出。它通过有效地提取相关特征和剔除冗余特征,能够产生更好的分类结果。在特征预处理阶段,该算法通过最大信息系数衡量标准对特征的相关度和冗余性进行分析得到类属性的马尔科夫毯代表集和次最优特征子集;在搜索评价阶段,采用新的适应度函数通过粒子群算法选出最优特征子集;用此模型对测试集进行预测。实验结果表明,该算法在12个数据集上具有一定的优势。     

改进的云粒子群优化算法及其断路器优化应用

针对断路器的能耗优化设计中复杂的多维参数设定常采用经验选取的方式,易导致断路器自身能耗过大。为此,提出一种结合鲶鱼效应与云模型的改进粒子群优化算法对其多维相关参数进行优化选取,先将传统的粒子群优化算法与云模型相结合,对多维寻优粒子加以分类,控制不同粒子群在不同搜索状态下快速寻优;再引入鲶鱼效应扰动机制增加寻优粒子多样性,提高寻优精度;最后采用该改进算法对断路器能耗模型优化仿真以及断路器参数设定。结果表明,提出的改进方法可以实现断路器低能耗设计要求,并能有效提高其设计效率。     

Modified binary PSO for feature selection using SVM applied to mortality prediction of septic patients

This paper proposes a modified binary particle swarm optimization (MBPSO) method for feature selection with the simultaneous optimization of SVM kernel parameter setting, applied to mortality prediction in septic patients. An enhanced version of binary particle swarm optimization, designed to cope with premature convergence of the BPSO algorithm is proposed. MBPSO control the swarm variability using the velocity and the similarity between best swarm solutions. This paper uses support vector machines in a wrapper approach, where the kernel parameters are optimized at the same time. The approach is applied to predict the outcome (survived or deceased) of patients with septic shock. Further, MBPSO is tested in several benchmark datasets and is compared with other PSO based algorithms and genetic algorithms (GA). The experimental results showed that the proposed approach can correctly select the discriminating input features and also achieve high classification accuracy, specially when compared to other PSO based algorithms. When compared to GA, MBPSO is similar in terms of accuracy, but the subset solutions have less selected features.     

用于特征子集选择的异步并行微粒群优化方法

针对大量无关或冗余的特征通常会降低模式分类中分类器性能的问题,提出一种基于异步并行微粒群优化的特征子集选择方法（AP-PSO）.该方法采用二进制微粒群优化搜索特征子集,利用异步并行方式提高算法的运算效率;为有效协调种群的全局探索和局部开发能力,充分利用混沌运动的遍历性和随机性,提出一种一致混沌变异算子.与已知4种特征子集选择方法进行比较,所得结果验证了该算法的有效性.     

融合Shapley值和粒子群优化算法的混合特征选择算法

针对在模式分类问题中,数据往往存在不相关的或冗余的特征,从而影响分类的准确性的问题,提出一种融合Shapley值和粒子群优化算法的混合特征选择算法,以利用最少的特征获得最佳分类效果。在粒子群优化算法的局部搜索中引入博弈论的Shapley值,首先计算粒子（特征子集）中每个特征对分类效果的贡献值（Shapley值）,然后逐步删除Shapley值最低的特征以优化特征子集,进而更新粒子,同时也增强了算法的全局搜索能力,最后将改进后的粒子群优化算法运用于特征选择,以支持向量机分类器的分类性能和选择的特征数目作为特征子集评价标准,对UCI机器学习数据集和基因表达数据集的17个具有不同特征数量的医疗数据集进行分类实验。实验结果表明所提算法能有效地删除数据集中55%以上不相关的或冗余的特征,尤其对于中大型数据集能删减80%以上,并且所选择的特征子集也具有较好的分类能力,分类准确率能提高2至23个百分点。     

基于动态双组粒子群的短期负荷预测

为提高电网短期负荷预测的精度,提出一种有效的优化支持向量机参数的算法。该算法首先将初始粒子群适应度排序,然后根据适应度的大小将初始粒子群划分为两组,并同时运用不同的权重进行全局搜索和局部搜索。前期,全局搜索的粒子群数量远多于局部搜索,且使用全局搜索能力强的较大的惯性权重;局部搜索的粒子群使用较小的惯性权重。随着迭代次数的增加,全局搜索的粒子群数量不断减少,局部搜索不断增多,两组粒子数量动态变化。并且引入平均粒距和适应度方差解决粒子群容易陷入局部最优这一问题,最后用改进的动态双组粒子群算法优化最小二乘支持向量机的参数用于短期负荷预测,实验结果表明该方法预测精度更高,可行且有效。     

改进粒子群算法应用于Android恶意应用检测

为进行Android恶意应用检测,提取了Android应用程序的API调用信息、申请权限信息、Source-Sink信息为特征,这些信息数量庞大,特征维数高达三四万维。为消除冗余特征和减少分类器构建时间,提出了使用[L1]与离散二进制粒子群算法（BPSO）进行混合式特征选择;同时针对BPSO易早熟收敛的缺点,提出了一种改进的二进制粒子群算法SVBPSO。通过研究不同映射函数对二进制粒子群算法的影响发现,使用S型映射函数的BPSO全局搜索能力强,使用V型映射函数的BPSO局部搜索能力强,故该算法使用S型映射函数进行全局搜索,每隔一定迭代次数使用V型映射函数进行局部探索。实验结果证明,SVBPSO具有良好的收敛效果,使用SVBPSO进行特征选择后能提高Android恶意应用检测正确率。     

基于IPSO算法的特征选择与目标识别

为了提高相似目标的分类识别率,实现降维,提出了一种基于改进的粒子群优化(IPSO)的特征选择与目标识别方法。IPSO利用二进制位串来计算位置和速度,并在速度更新公式中增加约束项,权衡识别率与特征维数的比重选择适应度函数。结合距离分类器,用IPSO在自建的相似目标特征库上进行最优特征子集选择及分类实验。实验结果表明了该算法的有效性,在UCI数据集上的对比实验结果表明了IPSO的改进效果。     

一种多尺度协同变异的粒子群优化算法

为了改善粒子群算法易早熟收敛、精度低等缺点,提出一种多尺度协同变异的粒子群优化算法,并证明了该算法以概率1收敛到全局最优解.算法采用多尺度高斯变异机制实现局部解逃逸.在算法初期阶段,利用大尺度变异及均匀变异算子实现全局最优解空间的快速定位;随着适应值的提升,变异尺度随之降低;最终在算法后期阶段,利用小尺度变异算子完成局部精确解空间的搜索.将算法应用6个典型复杂函数优化问题,并同其他带变异操作的PSO算法比较,结果表明,该算法在收敛速度及稳定性上有显著提高.     

基于粗糙集相对分类信息熵和粒子群优化的特征选择方法

特征选择是指从初始特征全集中,依据既定规则筛选出特征子集的过程,是数据挖掘的重要预处理步骤。通过剔除冗余属性,以达到降低算法复杂度和提高算法性能的目的。针对离散值特征选择问题,提出了一种将粗糙集相对分类信息熵和粒子群算法相结合的特征选择方法,依托粒子群算法,以相对分类信息熵作为适应度函数,并与其他基于进化算法的特征选择方法进行了实验比较,实验结果表明本文提出的方法具有一定的优势。     

采用异构搜索的多子群协同进化粒子群算法

针对传统的单种群粒子群优化算法易陷入局部最优、搜索精度低的问题,提出一种异构多子群粒子群算法。算法由自适应子群、精英子群和若干普通子群构成,精英子群由普通子群和自适应子群中的优秀个体组成,每个子种群采用不同策略进行进化,根据种群的早熟收敛程度和粒子的适应度值自适应地调整惯性权重,自适应子群根据普通子群的适应度值和速度自适应调整飞行方向,采用免疫克隆选择算子对精英子群进行精细搜索,普通子群、自适应子群与精英子群之间通过迁移操作实现信息的充分交流。针对典型的Benchmark 函数优化问题测试,仿真结果表明所提算法能较好地保持粒子多样性,收敛精度高且全局搜索能力强,具有良好优化性能。     

多目标优化在特征选择子集评价中的应用

特征选择是处理高维大数据常用的降维手段,但其中牵涉到的多个彼此冲突的特征子集评价目标难以平衡。为综合考虑特征选择中多种子集评价方式间的折中,优化子集性能,提出一种基于子集评价多目标优化的特征选择框架,并重点对多目标粒子群优化（MOPSO）在特征子集评价中的应用进行了研究。该框架分别根据子集的稀疏度、分类能力和信息损失度设计多目标优化函数,继而基于多目标优化算法进行特征权值向量寻优,并通过权值向量Pareto解集膝点选取确定最优向量,最终实现基于权值向量排序的特征选择。设计实验对比了基于多目标粒子群优化算法的特征选择（FS_MOPSO）与四种经典方法的性能,多个数据集上的结果表明,FS_MOPSO在低维空间表现出更高的分类精度,并保证了更少的信息损失。     

基于并行二进制免疫量子粒子群优化的特征选择方法

为提高文本挖掘算法的运行速度,降低占用的内存空间,提出一种基于并行二进制免疫量子粒子群优化的特征选择方法．该方法采用二进制免疫量子粒子群优化搜索特征子集,利用并行算法来提高时间效率,从而较快地获得较具代表性的特征子集．实验结果表明该算法是有效的．     

基于混合的GA-PSO神经网络算法

粒子群优化(PSO)算法是一类随机全局优化的技术,它通过粒子间的相互作用发现复杂搜索空间中的最优区域。提出了一种基于GA和PSO混合的算法(GA-PSO)用于神经网络训练。算法在产生下一代时,结合了交叉、变异算子和粒子群算法中的速度—位移公式,充分利用了遗传算法的全局寻优和粒子群算法收敛速度快的优点。经GA-PSO训练的神经网络应用于三元奇偶问题和IRIS模式分类问题,与BP、GA和PSO算法相比,该算法在提高训练误差精度的同时加快收敛速度,并能有效避免早熟收敛。仿真结果表明,GA-PSO算法是有效的神经网络训练算法。