改进正余弦算法优化特征选择及数据分类

针对传统正余弦算法（SCA）处理复杂优化问题时存在易得局部最优和收敛慢的不足,提出一种基于惯性权重与柯西混沌变异的改进正余弦算法IWCCSCA。首先设计了基于指数函数的曲线自适应振幅调整因子更新方法,用于均衡个体的全局搜索与局部开发能力;接着设计了自适应递减惯性权重更新机制,以改进个体位置更新方式,加快算法收敛;还设计了基于精英柯西混沌变异的个体扰动机制,以提升种群多样性,避免局部最优。利用8种基准函数寻优测试验证了IWCCSCA能够有效提升收敛速度和寻优精度。此外,将IWCCSCA应用于数据原始特征集中的特征子集选取问题,提出了基于IWCCSCA的特征选择算法IWCCSCA-FS。通过将正余弦函数的连续优化转换为特征选择的二进制优化,实现了个体位置与特征子集间的映射关系,以同步考虑特征选择量与分类准确率的适应度函数来评估候选解质量。UCI基准数据集的测试结果表明,IWCCSCA-FS算法可以有效选择最优特征子集,降低特征维度,提高数据分类准确率。     

基于信噪比与邻域粗糙集的特征基因选择方法

鉴于传统基因选择方 法会选出大量冗余基因从而导致样本预测准确率较低,提出了一种基于信噪比与邻域粗糙集 的特征基因选择方法（Signal noise ration and the neighborhood rough set, SNRS） 。 首先采用信噪比指标获得分类能力较强的预选特征子集;然后利用邻域粗糙集约简算法 对预选特征子集进行寻优;最后采用不同的分类器对特征基因子集进行分类。通过实验表 明,该方法能够克服传统分类算法精度不高的缺陷,并且能够在较少的特征基因下取得较高 的分类精度,验证了该方法的可行性和有效性。     

基于改进灰狼优化的文本聚类多阶段特征选择算法

为了降低文本特征维度，提高聚类准确度，提出改进灰狼优化多阶段特征选择与特征提取算法。结合平均绝对差和平均中位数作相关特征选择，利用合并/交叉融合特征子集；根据余弦相似性作特征提取，得到初选特征子集；基于初选特征子集，设计改进二进制灰狼优化算法(IBGWO)求解最优特征子集，利用累计词频和文档频率定义适应度，引入反向学习、非线性收敛系数衰减及精英反向学习机制，提升灰狼优化寻优性能。结果表明，该算法的聚类准确率、召回率及F1值指标优于同类算法，可以有效降低特征维度，提升聚类效率。     

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数（MIC）作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机（SVM）模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林（RF）、最大相关最小冗余（mRMR）、相关性特征选择（CFS）等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。     

改进混合二进制蝗虫优化特征选择算法

特征选择是从数据集的原始特征中选出最优或较优特征子集,从而在加快分类速度的同时提高分类准确率.提出了一种改进的混合二进制蝗虫优化特征选择算法:通过引入步长引导个体位置变化的二进制转化策略,降低了进制转换的盲目性,提高了算法在解空间中的搜索性能;通过引入混合复杂进化方法,将蝗虫群体划分子群并独立进化,提高了算法的多样性,降低了早熟收敛的概率.采用改进算法对UCI部分数据集进行特征选择,使用K-NN分类器对特征子集进行分类评价,实验结果表明:与基本二进制蝗虫优化算法、二进制粒子群优化算法和二进制灰狼优化算法相比,改进算法具有较优的搜索性能、收敛性能与较强的鲁棒性,能够获得更好的特征子集,取得更好的分类效果.     

决策信息系统的连续型特征选取方法

在大数据应用过程中,对特征集合进行约简,降低数据维度,有助于提升数据模型的泛化能力.采用随机森林模型选择和相似性度量结合的方式对特征集合进行特征初选,并通过前向搜索策略以距离为评价方式对初选集合进行二次筛选,最终获得特征子集.算法模型采用局部遍历以提高执行效率,同时通过前向选择算法解决传统方法无法确定最优特征数目的问题.实验结果表明,本文提出的方法能更有效地选择特征子集,提高模型的分类准确率.     

基于启发式集成特征选择的人体活动识别

针对人为提取的冗余特征集和无关特征集导致可穿戴传感器的人体活动识别分类性能降低的问题,提出一种基于启发式集成特征选择的人体活动识别方法。该方法首先选取了包含功率谱密度（Power spectrum density, PSD）的特征集用于识别易混淆的活动,在此基础上借助皮尔逊系数法（Pearson correlation coefficient, PCC）筛选出低相关的特征子集,然后使用改进的正余弦优化算法（Sine cosine algorithm, SCA）进行特征优化,通过两次特征筛选得到最优特征子集。实验结果表明,在实验室采集的数据集中使用该方法后的特征子集维数为34,识别准确率达到了98.21%。在公开的SCUT-NAA数据集中进行对比实验,特征子集维数为39,低于以往基于该数据集研究方法的特征维数,并且识别准确率达到了96.51%。     

基于混合优化算法的数据预处理算法Ⅱ

提出了KDD中数据预处理的一种基本算法.针对数据库中的属性,利用非监督学习算法,在获取了面向任务的目标数据子集的基础上,利用混合优化算法进行特征子集的选取.分析了遗传算法和混合遗传算法用于特征子集选择的基本算法,仿真实验说明了混合优化算法的有效性和可行性.     

基于佳点集遗传算法的特征选择方法

针对特征选择中降维效果与分类精度间的矛盾,通过分析传统的特征选择方法中的优点和不足,结合佳点集遗传算法的思想和K最近邻简单有效的分类特性,提出了基于佳点集遗传算法的特征选择方法.该算法对特征子集采用佳点集遗传算法进行随机搜索,并采用K近邻的分类错误率作为评价指标,淘汰不好的特征子集,保存较优的特征子集.通过实验比较看出,该算法可以有效地找出具有较高分类精度的特征子集,降维效果良好,具有较好的特征子集选择能力.     

一种求解混载校车路径的启发式算法

为了避免二进制粒子群算法(BPSO)容易陷入局部极值的缺陷,提出了一种改进的二进制粒子群算法(IBPSO)。该算法在运行过程中引入遗传算法的交叉和变异策略,以便增加种群的多样性,避免粒子的早熟收敛;同时采用免疫算法的疫苗机制,通过合理的疫苗提取、疫苗接种、疫苗选择有效地抑制种群退化的可能。首先采用Wilcoxon秩和检验指标来获得对分类起较大作用的预选特征子集,然后利用IBPSO算法对基因的特征子集和支持向量机(SVM)的参数进行寻优,最后采用IBPSO算法对结肠癌检测问题进行了研究。实验结果表明,该方法可以在较少的特征基因下取得较高精度,且所选的特征基因与结肠癌密切相关,进一步验证了方法的可行性和有效性。     

基于图像目标特征空间自学习分类算法

为解决图像分类过程中特征点选择的随机性对分类精度造成的影响,提出一种基于图像目标特征空间自学习分类算法。利用基于颜色和纹理特征的多通道局部主动轮廊模型找到图像的目标区域,在目标区域选取特征并对特征稀疏编码建立图像的目标特征空间。为进一步提高图像分类精度建立投票机制下基于图像目标特征空间的自学习算法。实验结果表明,该方法能避免特征选择的随机性对实验结果的影响,有效地提高图像分类的精度。     

基于多目标骨架粒子群优化的特征选择算法

针对在分类问题中,数据之间存在大量的冗余特征,不仅影响分类的准确性,而且会降低分类算法执行速度的问题,提出了一种基于多目标骨架粒子群优化（BPSO）的特征选择算法,以获取在特征子集个数与分类精确度之间折中的最优策略。为了提高多目标骨架粒子群优化算法的效率,首先使用了一个外部存档,用来引导粒子的更新方向;然后通过变异算子,改善粒子的搜索空间;最后,将多目标骨架粒子群算法应用到特征选择问题中,并利用K近邻（KNN）分类器的分类性能和特征子集的个数作为特征子集的评价标准,对UCI数据集以及基因表达数据集的12个数据集进行实验。实验结果表明,所提算法选择的特征子集具有较好的分类性能,最小分类错误率最大可以降低7.4%,并且分类算法的执行时间最多能缩短12 s,能够有效提高算法的分类性能与执行速度。     

基于动态相关性的特征选择算法

特征选择是从原始数据集中去除无关的特征并选择良好的特征子集,可以避免维数灾难和提高学习算法的性能。为解决已选特征和类别动态变化（DCSF）算法在特征选择过程中只考虑已选特征和类别之间动态变化的信息量,而忽略候选特征和已选特征的交互相关性的问题,提出了一种基于动态相关性的特征选择（DRFS）算法。该算法采用条件互信息度量已选特征和类别的条件相关性,并采用交互信息度量候选特征和已选特征发挥的协同作用,从而选择相关特征并且去除冗余特征以获得优良特征子集。仿真实验表明,与现有算法相比,所提算法能有效地提升特征选择的分类准确率。     

基于差别矩阵和mRMR的分步优化特征选择算法

分类问题普遍存在于现代工业生产中。在进行分类任务之前,利用特征选择筛选有用的信息,能够有效地提高分类效率和分类精度。最小冗余最大相关算法(mRMR)考虑最大化特征与类别的相关性和最小化特征之间的冗余性,能够有效地选择特征子集;但该算法存在中后期特征重要度偏差大以及无法直接给出特征子集的问题。针对该问题,文中提出了结合邻域粗糙集差别矩阵和mRMR原理的特征选择算法。根据最大相关性和最小冗余性原则,利用邻域熵和邻域互信息定义了特征的重要度,以更好地处理混合数据类型。基于差别矩阵定义了动态差别集,利用差别集的动态演化有效去除冗余属性,缩小搜索范围,优化特征子集,并根据差别矩阵判定迭代截止条件。实验选取SVM,J48,KNN和MLP作为分类器来评价该特征选择算法的性能。在公共数据集上的实验结果表明,与已有算法相比,所提算法的平均分类精度提升了2%左右,同时在特征较多的数据集上能够有效地缩短特征选择时间。所提算法继承了差别矩阵和mRMR的优点,能够有效地处理特征选择问题。     

Soft computing models based feature selection for TRUS prostate cancer image classification

Ultrasound imaging is the most suitable method for early detection of prostate cancer. It is very difficult to distinguish benign and malignant nature of the affliction in the early stage of cancer. This is reflected in the high percentage of unnecessary biopsies that are performed and many deaths caused by late detection or misdiagnosis. A computer based classification system can provide a second opinion to the radiologists. Generally, objects are described in terms of a set of measurable features in pattern recognition. The selection and quality of the features representing each pattern will have a considerable bearing on the success of subsequent pattern classification. Feature selection is a process of selecting the most wanted or dominating features set from the original features set in order to reduce the cost of data visualization and increasing classification efficiency and accuracy. The region of interest (ROI) is identified from transrectal ultrasound (TRUS) images using DBSCAN clustering with morphological operators after image enhancement using M3-filter. Then the 22 grey level co-occurrence matrix features are extracted from the ROIs. Soft computing model based feature selection algorithms genetic algorithm (GA), ant colony optimization (ACO) and QR are studied. In this paper, QR-ACO (hybridization of rough set based QR and ACO) and GA-ACO (hybridization GA and ACO) are proposed for reducing feature set in order to increase the accuracy and efficiency of the classification with regard to prostate cancer. The selected features may have the best discriminatory power for classifying prostate cancer based on TRUS images. Support vector machine is tailored for evaluation of the proposed feature selection methods through classification. Then, the comparative analysis is performed among these methods. Experimental results show that the proposed method QR-ACO produces significant results. Number of features selected using QR-ACO algorithm is minimal, is successful and has high detection accuracy.     

基于邻域粗糙集和帝王蝶优化的特征选择算法

针对经典的帝王蝶优化（MBO）算法不能很好地处理连续型数据,以及粗糙集模型对于大规模、高维复杂的数据处理能力不足等问题,提出了基于邻域粗糙集（NRS）和MBO的特征选择算法。首先,将局部扰动和群体划分策略与MBO算法结合,并构建传输机制以形成一种二进制MBO（BMBO）算法;其次,引入突变算子增强算法的探索能力,设计了基于突变算子的BMBO（BMBOM）算法;然后,基于NRS的邻域度构造适应度函数,并对初始化的特征子集的适应度值进行评估并排序;最后,使用BMBOM算法通过不断迭代搜索出最优特征子集,并设计了一种元启发式特征选择算法。在基准函数上评估BMBOM算法的优化性能,并在UCI数据集上评价所提出的特征选择算法的分类能力。实验结果表明,在5个基准函数上,BMBOM算法的最优值、最差值、平均值以及标准差明显优于MBO和粒子群优化（PSO）算法;在UCI数据集上,与基于粗糙集的优化特征选择算法、结合粗糙集与优化算法的特征选择算法、结合NRS与优化算法的特征选择算法、基于二进制灰狼优化的特征选择算法相比,所提特征选择算法在分类精度、所选特征数和适应度值这3个指标上表现良好,能够选择特征数少且分类精度高的最优特征子集。     

基于NBSR模型的入侵检测技术

为了更好地解决入侵检测技术中误用检测造成未知入侵行为误检率升高的问题,提出了一种基于NBSR模型的入侵检测技术。首先,为了弥补ReliefF特征选择算法对特征之间的相关性分析的不足,引入Pearson相关系数,提出Relieff-P算法。其次,利用Relieff-P算法对UNSW-NB15数据集进行处理,去除无关特征,得到新的特征子集。最后,将朴素贝叶斯分类器和Softmax回归分类器级联构成NBSR分类器,建立了NBSR模型。在UNSW-NB15测试集上的实验结果表明,NBSR模型较其他检测模型有较低的误检率。     

多通道三维视觉指导运动想象脑电信号特征选择算法

针对基于三维视觉指导的运动想象脑机接口多通道冗余信息较多、分类准确率差的问题,提出了一种基于小波包分解（WPD）—共空间滤波（CSP）—自适应差分进化（ADE）的模式脑电信号特征提取与选择分类方法。首先,对采集的多通道运动想象脑电信号进行WPD变化,划分出精细的子频带;然后,分别将WPD变换后的每个子空间作为CSP的输入,得到对应的特征向量;最后,使用ADE算法对特征向量进行选择,选择出用于分类的最佳特征子集。采用WPD-CSP-ADE模式进行特征提取与选择,较经典的WPD-CSP方法在分类正确率、特征个数方面有着更好的表现。同时,所提算法分类性能明显优于遗传算法、粒子群算法。实验结果表明,WPD-CSP-ADE方法能够有效地提高分类正确率,同时减少了用于分类的特征个数。     

基于矩阵分解优化的排序学习特征构造方法

在排序学习中引入特征选择可以提高学习的效率和准确率。出于对选择速度的考虑,当前的研究主要从特征选择的角度出发,根据特征对排序的作用和特征之间的相似性选择对排序区分度最大的特征集合。由于特征大都是人工归纳的,因此特征和特征之间难免存在重叠和冗余。为了减少特征之间的冗余,从特征生成的角度出发,对现有特征进行矩阵分解,从而生成新的特征集。考虑到使用奇异值分解(Singular Value Decomposition SVD)等方法进行矩阵分解时不能综合考虑排序结果对特征的影响,基于特征矩阵对排序的效果、特征矩阵与原矩阵之间的差距来构造优化算法,提出了一种基于矩阵分解的排序学习优化方法,并根据该优化方法设计了排序学习特征选择算法MFRank。实验中使用映射随机梯度下降法近似求得优化问题的最优值,在公开测试集MQ2008上的结果显示,所提MFRank方法获得了与当前最优的特征选择方法即RankBoost和RankSVM-Struct等排序算法相当的结果。     

Feature selection method based on multi-fractal dimension and harmony search algorithm and its application

Feature selection is an important method of data preprocessing in data mining. In this paper, a novel feature selection method based on multi-fractal dimension and harmony search algorithm is proposed. Multi-fractal dimension is adopted as the evaluation criterion of feature subset, which can determine the number of selected features. An improved harmony search algorithm is used as the search strategy to improve the efficiency of feature selection. The performance of the proposed method is compared with that of other feature selection algorithms on UCI data-sets. Besides, the proposed method is also used to predict the daily average concentration of PM2.5 in China. Experimental results show that the proposed method can obtain competitive results in terms of both prediction accuracy and the number of selected features.