基于多种群量子粒子群优化的属性约简

现代工业发展要求迅速、可靠地实现故障诊断。针对粒子群约简算法易陷入局部最优等问题,提出了一种多种群量子粒子群优化算法（MIQPSO）。该算法对量子粒子群算法进行分群,并通过接种疫苗,指导粒子朝更优化方向进化,提高了量子粒子群的收敛速度和寻优能力。利用UCI相关数据集,通过对Hu算法、粒子群算法、量子粒子群算法、多种群量子粒子群算法的粗糙集属性约简验证,结果表明,基于多种群量子粒子群优化的约简算法具有良好的约简效果。     

一种带禁忌搜索的粒子并行子群最小约简算法

为了提高基于群体智能的粗糙集最小属性约简算法的求解质量和计算效率,提出一个结合长期记忆禁忌搜索方法的粒子群并行子群优化算法.并行的各子群不仅具有禁忌约束,而且包含多样性和增强性策略.由于并行的子群共同陷入局部最优的概率小于一个粒子群陷入局部最优的概率,该算法可提高获得全局最优的可能性,并减少受初始粒子群体的影响.多个UC I数据集的实验计算表明,提出的算法相对于其他的属性约简算法具有更高的概率搜索到最小粗糙集约简.因此所提出的算法用于求解最小属性约简问题是可行和较为有效的.     

基于稀疏子空间的局部异常值检测算法

针对高维数据集中存在不相关的属性与冗余数据导致无法检测出异常值的问题,提出了一种新的基于稀疏子空间的局部异常值检测算法（SSLOD）。根据数据对象在每个维度上的局部密度定义了对象的异常因子;依据异常因子阈值约简数据集中与局部异常值不相关的属性以及冗余的数据对象;用改进的粒子群优化算法在约简后的数据集中搜索稀疏子空间,该子空间中的数据对象即为异常值。通过在仿真数据集和真实数据集上的综合实验验证了该算法的有效性和准确性。     

信息熵最小约简问题的若干随机优化算法

现有的启发式属性约简算法一般无法得到信息熵意义下的最小属性约简。为此,文中探讨应用随机优化算法计算信息熵意义下最小属性约简的问题。首先通过定义适当的适应值函数,将信息熵意义下的最小属性约简问题转化为不含约束的适应值优化问题,证明问题转化的等价性。研究基于遗传算法、粒子群优化算法、禁忌搜索以及蚁群算法等若干随机优化算法的求解效率和求解质量,并用一批UCI数据集来加以测试。实验结果表明,文中设计的带增强策略的基于全息粒子群的属性约简算法,具有较高的获得信息熵意义下最小属性约简的概率和较优的算法性能。关键词随机优化算法,粗糙集,信息熵,最小属性约简,全息粒子群中图法分类号TP181ResearchonComputingMinimumEntropyBasedAttributeReductionviaStochasticOptimizationAlgorithmsMASheng-Lan,YEDong-Yi(CollegeofMathematicsandComputerScience,FuzhouUniversity,Fuzhou350108)ABSTRACTExistingheuristicattributereductionalgorithmsgenerallyfailtogetaminimumentropy-basedattributereductionofadecisiontable。Somestochasticoptimizationalgorithmsarediscussedtosolvetheproblemofentropy-basedattributereduction。Firstly,aproperfitnessfunctionisdefinedtotransformtheminimumattributereductionproblemintoafitnessoptimizationproblemwithoutadditionalconstraintsandtheequivalenceoftransformationisproved。Then,thesolvingefficiencyandthesolutionqualityofsomestochasticoptimizationalgorithmsarestudiedsuchasGeneticAlgorithm,ParticleSwarmOptimization,TabusearchandAntColonyOptimization。SomeUCIdatasetsareappliedtotestthoseperformances。TheexperimentalresultsshowthatthefullyinformedPSObasedattributereductionalgorithmwithrefineschemehasahigherprobabilitytofindaminimumentropy-basedattributereductionandgoodperformance。     

基于粒子熵的参数自适应变异PSO算法研究

为了避免普通粒子群算法（PSO）可能出现的局部收敛及精度不高现象,围绕影响PSO算法性能的两个重要参数[w]和[pgd],提出了一种面向全局优化的参数自适应变异PSO改进算法。算法定义了粒子熵集概念,可以精确反映粒子群数据的全局聚集特性,由粒子群各维数据的熵值大小决定是否对各维数据的惯性权重[w]进行回归变异,对全局变量[pgd]进行随机变异,并采取引入变异次数因子等方法来避免寻优发散。仿真研究表明该算法比常用算法在寻优精度、摆脱局部陷阱、稳定性等方面均有明显提高,在求解复杂多峰问题上有着良好的表现。     

基于蚁群遗传算法的属性约简

针对普通蚁群算法在属性约简中求解最小约简存在局部最优、迭代次数多、收敛慢的问题,将复制、交叉、变异这些遗传算子引入蚁群算法中,改进蚂蚁的产生方式和蚂蚁构造可行解的过程,提高算法的收敛速度和全局搜索能力。算法在加州大学机器学习数据库中的数据集的测试结果表明,该算法能快速有效地求解属性约简,能够找到最小约简集。     

一种新的属性约简算法

粗集是一种处理模糊和不确定性数据的工具,属性约简和核是粗集理论的核心内容,经过约简后的数据更有价值,更能准确地获取知识。很多属性约简算法以核为起点,计算繁杂。文中提出并分析了后删除属性约简算法,该算法不需要计算核,节约时间,减少占用空间,简化求解过程。文中以实例验证了算法的正确性。     

入侵检测系统中的属性约简算法研究

为了在庞大的入侵检测数据中获得属性依赖度较大且数目较少的属性相对约简,文章提出了一种基于粗糙集与量子粒子群优化(QPSO)的属性约简算法。该算法解决了传统属性约简算法需要大量标记样本这一弊端,利用粗糙集的知识构造适当的适应度函数,使得该算法可以在少量的标记样本下实施。在KDDCUP99标准数据集上的仿真结果表明,该算法不仅可以获得属性数目较少的属性约简,而且检测精度也优于同类的其他算法。     

一种新的属性约简算法

粗集是一种处理模糊和不确定性数据的工具，属性约简和核是粗集理论的核心内容，经过约简后的数据更有价值，更能准确地获取知识。很多属性约简算法以核为起点，计算繁杂。文中提出并分析了后删除属性约简算法，该算法不需要计算核，节约时间，减少占用空间，简化求解过程。文中以实例验证了算法的正确性。     

基于矩阵保留策略的邻域粗糙集属性约简算法

在基于邻域粗糙集的属性约简算法中,正域计算是保证其有效性的重要依据,也是影响其时间开销的最主要部分。为了减少算法时间开销,通过对现有算法FHARA的正域计算进行改进,采取保留策略,利用矩阵保留度量计算值的平方,将原本◢n◣维上的计算改进为1维上的计算,从而缩减了每次度量计算的时间,并在此基础上提出了基于矩阵保留策略的邻域粗糙集属性约简算法,最后通过多个UCI数据集验证了该算法。与现有算法相比较,实验结果表明,对大部分数据集而言,该算法能有效且更快速地得到数据集的属性约简。     

一种基于Rough-GA-BP的文本分类算法

分析BP算法的缺点,并结合遗传算法和粗糙集理论构造出一种基于Rough—GA—BP的文本分类方法。该方法通过基于粗糙集理论的数据约简方法对文本输入向量进行数据约筒,通过遗传算法对BP算法初始输入进行搜索和优化。实验表明,该方法相对于传统的BP算法,节省了存储空间,缩短了算法学习时间,增加了网络的泛化能力,解决了传统BP算法容易陷入局部极小的问题,提高了分类准确率。     

A novel attribute weighting algorithm for clustering high-dimensional categorical data

Due to data sparseness and attribute redundancy in high-dimensional data, clusters of objects often exist in subspaces rather than in the entire space. To effectively address this issue, this paper presents a new optimization algorithm for clustering high-dimensional categorical data, which is an extension of the k-modes clustering algorithm. In the proposed algorithm, a novel weighting technique for categorical data is developed to calculate two weights for each attribute (or dimension) in each cluster and use the weight values to identify the subsets of important attributes that categorize different clusters. The convergence of the algorithm under an optimization framework is proved. The performance and scalability of the algorithm is evaluated experimentally on both synthetic and real data sets. The experimental studies show that the proposed algorithm is effective in clustering categorical data sets and also scalable to large data sets owning to its linear time complexity with respect to the number of data objects, attributes or clusters.     

Nonlinear discriminant clustering based on spectral regularization

Owing to sparseness, directly clustering high-dimensional data is still a challenge problem. Therefore, obtaining their low-dimensional compact representation by dimensional reduction is an effective method for clustering high-dimensional data. Most of existing dimensionality reduction methods, however, are developed originally for classification (such as Linear Discriminant Analysis) or recovering the geometric structure (known as manifold) of high-dimensional data (such as Locally Linear Embedding) rather than clustering purpose. Hence, a novel nonlinear discriminant clustering by dimensional reduction based on spectral regularization is proposed. The contributions of the proposed method are two folds: (1) it can obtain nonlinear low-dimensional representation that can recover the intrinsic manifold structure as well as enhance the cluster structure of the original high-dimensional data; (2) the clustering results can also be obtained in the dimensionality reduction procedure. Firstly, the desired low-dimensional coordinates are represented as linear combinations of predefined smooth vectors with respect to the data manifold, which are characterized by a weighted graph. Then, the optimal combination coefficients and the optimal cluster assignment matrix are computed by maximizing the ratio between the between-cluster scatter and the total scatter simultaneously as well as preserving the smoothness of the cluster assignment matrix with respect to the data manifold. Finally, the optimization problem is solved in an iterative procedure, which is proved to be convergent. Experiments on UCI data sets and real world data sets demonstrated the effectiveness of the proposed method for both clustering and visualization high-dimensional data set.     

A New Locality-Preserving Canonical Correlation Analysis Algorithm for Multi-View Dimensionality Reduction

Canonical correlation analysis (CCA) is a well-known technique for extracting linearly correlated features from multiple views (i.e., sets of features) of data. Recently, a locality-preserving CCA, named LPCCA, has been developed to incorporate the neighborhood information into CCA. Although LPCCA is proved to be better in revealing the intrinsic data structure than CCA, its discriminative power for subsequent classification is low on high-dimensional data sets such as face databases. In this paper, we propose an alternative formulation for integrating the neighborhood information into CCA and derive a new locality-preserving CCA algorithm called ALPCCA, which can better discover the local manifold structure of data and further enhance the discriminative power for high-dimensional classification. The experimental results on both synthetic and real-world data sets including multiple feature data set and face databases validate the effectiveness of the proposed method.     

基于自组织映射的流形学习与可视化

针对自组织映射(SOM)在学习和可视化高维数据内在的低维流形结构时容易产生“拓扑缺陷”的这一问题,提出了一种新的流形学习算法--动态自组织映射(DSOM)。该算法按照数据的邻域结构逐步扩展训练数据集合,对网络进行渐进训练,以避免局部极值,克服“拓扑缺陷”问题;同时,网络规模也随之动态扩展,以降低算法的时间复杂度。实验表明,该算法能更加真实地学习和可视化高维数据内在的低维流形结构;此外,与传统的流形学习算法相比,该算法对邻域大小和噪声也更加鲁棒。所提算法的网络规模和训练数据集合都将按照数据内在的邻域结构进行同步扩展,从而能更加简洁并真实地学习和可视化高维数据内在的低维流形结构。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

基于Krylov子空间方法的网络入侵数据聚类

网络信息安全中的数据具有维数高、规模复杂等特性。网络入侵检测需要对网络入侵信息进行合理的分析,筛选出危险的带有攻击性的行为。随着数据维数的不断升高,传统的基于距离的聚类分析方法不再适用。针对此,本文提出一种基于Krylov子空间方法的高维数据聚类分析算法,首先将高维数据投影到低维空间,实现数据的降维,再用基于遗传算法的K-means算法在低维空间中进行数据的聚类,避免了数据属性的丢失,同时也提高了高维数据聚类分析的效率。最后,使用KDD Cup 99数据进行实验,实验验证了方法的有效性和精确性。     

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题，它是一类重要的特征提取算法，但其本质上只能提取数据的线性特征，应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法，该文研究了如何将这一原理应用于典型相关判别分析，提出了基于核化原理的非线性典型相关判别分析，并且给出了求解该问题的一个自适应学习算法．数值实验表明，基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效，另外，该文从理论上证明，所提出的新方法与Fisher核判别分析等价。     

基于单元区域的高维数据聚类算法

高维数据空间维数较高,数据点分布稀疏、密度平均,从中发现数据聚类比较困难,而用基于距离的方法进行高维数据聚类,维数的增多会使得计算对象间距离的时间开销增大. CAHD(clustering algorithm of high-dimensional data)算法首先采用双向搜索策略在指定的n维空间或其子空间上发现数据点密集的单元区域,然后采用逐位与的方法为这些密集单元区域进行聚类分析.双向搜索策略能够有效地减少搜索空间,从而提高算法效率,同时,聚类密集单元区域只用到逐位与和位移两种机器指令,使得算法效率得到进一步提高.算法CAHD可以有效地处理高维数据的聚类问题.基于数据集的实验表明,算法具有很好的有效性.     

Modified self-organising maps with a new topology and initialisation algorithm

Mapping quality of the self-organising maps (SOMs) is sensitive to the map topology and initialisation of neurons. In this article, in order to improve the convergence of the SOM, an algorithm based on split and merge of clusters to initialise neurons is introduced. The initialisation algorithm speeds up the learning process in large high-dimensional data sets. We also develop a topology based on this initialisation to optimise the vector quantisation error and topology preservation of the SOMs. Such an approach allows to find more accurate data visualisation and consequently clustering problem. The numerical results on eight small-to-large real-world data sets are reported to demonstrate the performance of the proposed algorithm in the sense of vector quantisation, topology preservation and CPU time requirement.