一种支持向量机的快速分类算法

鉴于传统支持向量机分类过程的计算量和支持向量的个数成正比,为了提高分类决策的速度,提出一种约简支持向量的快速分类算法,该算法对原始的支持向量进行特定比例的模糊均值聚类操作,按照分类误差最小的原则构建最小线性二乘回归模型,求解新的支持向量系数和决策函数的偏置.人造数据集和标准数据集上的实验表明,约简50%支持向量后,可以在保持分类精度在无统计意义的明显损失的前提下,使得分类速度提高50%.     

基于OC-SVM的大型数据集分类方法

支持向量机是最有效的分类技术之一,具有很高的分类精度和良好的泛化能力,但其应用于大型数据集时的训练过程还是非常复杂。对此提出了一种基于单类支持向量机的分类方法。采用随机选择算法来约简训练集,以达到提高训练速度的目的;同时,通过恢复超球体交集中样本在原始数据中的邻域来保证支持向量机的分类精度。实验证明,该方法能在较大程度上减小计算复杂度,从而提高大型数据集中的训练速度。     

提高支持向量机训练速度的CM-SVM方法

针对支持向量机在大规模样本学习时，学习速度慢，需要存储空间大等问题，提出了一种将支持向量机方法与C均值方法结合的CM-SVM方法。在该方法中，先采用C均值方法对训练样本集进行聚类，然后依据聚类域中样本的类型特点确定样本的约简方式。仿真图像实验结果表明，CM—SVM方法提高了支持向量机的学习速度，同时支持向量机的分类精度几乎没有降低，表现出较好的样本约简性能。     

大样本情况下的一种新的SVM迭代算法

针对SVM方法在大样本情况下学习和分类速度慢的问题，提出了大样本情况下的一种新的SVM迭代训练算法。该算法利用K均值聚类算法对训练样本集进行压缩，将聚类中心作为初始训练样本集，减少了样本间的冗余，提高了学习速度。同时为了保证学习的精度，采用往初始训练样本集中加入边界样本和错分样本的策略来更新训练样本集，迭代训练直到错分样本数目不变为止。该文提出的基于K均值聚类的SVM迭代算法能在保持学习精度的同时，减小训练样本集及决策函数的支持向量集的规模，从而提高学习和分类的速度。     

不均衡数据集文本分类中少数类样本生成方法研究*

针对传统的分类算法在处理不均衡样本数据时,其分类器预测倾向于多数类,少数类分类误差大,提出了一种基于聚类和遗传算法的样本生成方法。先通过K-means算法将少数类样本聚类分组;再在每个聚类的内部使用遗传交叉和变异操作获取新样本,并进行有效性验证;最后使用原始数据集和新数据集分别训练K最近邻（K nearest neighbor,KNN）及支持向量机(support vector machine,SVM）分类器。实验结果表明此方法有效改善了少数类分类效果。     

一种改进的基于密度聚类模糊支持向量机

为了提高模糊支持向量机在数据集上的训练效率,提出一种改进的基于密度聚类（DBSCAN）的模糊支持向最机算法。运用DBSCAN算法对原始数据进行预处理,去除对分类贡献小的中心样本,用剩余的边缘样本集合完成模糊支持向量机的训练工作。实验表明,该方法形成的聚类边缘样本较好地保持了原样本的分布情况,在保证分类精度的同时,大大缩短了训练时间,提高了工作效率。     

模糊聚类光滑支持向量机

为了提高光滑支持向量机的分类速度和精度,构造一种模糊聚类光滑支持向量机(FCSSVM).运用模糊聚类将训练数据分解为若干子簇,通过引入 熵函数近似松弛向量的加函数,并利用最优解处权重向量的表达式导出精确光滑模型;定义测试样本的 最近邻子空间,以选择性集成策略组合若干近邻子空间中的分类决策函数.数值实验表明,FCSSVM的 分类精度高,迭代次数少,鲁棒性好,分类时间短.     

模糊层次商空间的快速属性约简算法

针对传统属性约简算法利用等价关系计算过程繁琐,样本集较大时运行时间长的问题,提出一种利用模糊欧氏距离的快速属性约简算法。定义模糊欧氏距离计算属性间距离;应用层次商空间结构构建约简粒层空间;以粒层空间聚类结果作为约简基础,实现样本集属性约简。仿真结果表明,该算法约简速度不受样本集样本数量限制,运算速度较快,能够在不删除样本的情况下实现数据的快速约简,约简后对数据集分类精度影响小,部分数据集分类精度有所提升,为大规模数据集约简提供了新的研究思路。     

一种新的模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能有效地解决支持向量机对噪声或孤立点敏感度高的问题,但是,由于它对支持向量赋予较小的隶属度,从而降低了其分类作用。基于此,提出一种新的隶属度函数设计方法;同时,针对模糊支持向量机普遍存在因核函数计算量大,而导致训练时间长的问题,通过使用一种高效的截集模糊C-均值聚类方法对训练样本进行聚类,然后以聚类中心作为样本进行训练,以减少训练样本来提高训练速度。根据上述新的隶属度函数设计方法和截集模糊C-均值聚类方法,构建了一种基于截集模糊C-均值聚类并改进了隶属度函数的模糊支持向量机,数值试验表明这种新的模糊支持向量机有效地提高了训练速度和分类精度。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

基于信息浓缩的隐私保护支持向量机分类算法

支持向量机(SVM)的分类决策过程涉及到对原始训练样本的学习,容易导致数据中隐私信息的泄漏。为解决上述问题,提出一种基于信息浓缩的隐私保护分类方法IC-SVM。该算法首先根据样本的邻域信息,通过模糊C均值(FCM)聚类算法进行聚类分析;接着,使用信息浓缩准则对聚类中心进行处理,得到浓缩点组成的新样本;最后,使用新样本进行训练并得到决策函数,并用它去进行分类测试,可以较好地保护数据的隐私。在UCI真实数据和PIE人脸数据上的实验结果表明,IC-SVM方法既能保护数据信息的安全,又有较高的分类准确率。     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

基于两阶段聚类的模糊支持向量机

为了提高模糊支持向量机在大数据集上的训练效率,提出一种基于两阶段聚类的模糊支持向量机算法。第1阶段为粗粒度聚类阶段,在每类训练样本上执行密度聚类算法,设置较大的邻域半径(给定邻域内最小点数),保证可能成为支持向量的样本点都被选取;第2阶段为自适应聚类阶段,在粗选的数据集合上,执行自适应密度聚类算法,根据各个点距离分类面的远近,自适应决定该点的邻域半径(给定邻域内最小点数)。这样可有效地减少远离分类面的聚类边缘点的数量,同时在分类面附近保持较多的样本点,试验结果表明,基于两阶段聚类模糊支持向量机算法,相比以往的方法,不仅提高了模糊支持向量机的训练效率,同时保持了较好的分类效果。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

SVM中不平衡数据的分离超平面的校正方法

针对两类不平衡数据的分离超平面的偏移问题提出一种平衡方法。首先,对两类样本数据在核空间中进行核主成分分析,分别求出两类样本数据的在特征空间中的主要特征值;然后,根据两样本容量以及各自的特征值所提供的信息,对两类数据给出惩罚因子比例;最后,通过优化训练,产生一个新的分离超平面。该分类面校正了标准的支持向量机的分类误差。实验显示了所提出方法的有效性,即与标准的支持向量机相比,不仅平衡了错分率而且还能减少错分率。     

基于KNN-SVM的网络安全态势评估模型

为了提高网络安全态势评估性能,提出一种K近邻和支持向量机相融合的网络安全态势评估模型（KNN-SVM）。将网络安全数据集输入到支持向量机学习,找到支持向量集,对于待评估网络安全态势样本,计算其与最优分类超平面间的距离,如果距离大于阈值,采用支持向量机进行网络安全态势评估,否则采用K近邻进行评估,以解决支持向量机对超平面附近样本易错分的缺陷,减少SVM的误判率。仿真结果表明,相对于单独SVM,KNN-SVM提高了网络安全态势评估正确率,而且性能更加稳定。     

基于支持向量机的睡眠结构分期研究

为了提高睡眠结构分期的准确度,克服分类时样本不足对分类的影响,使用MIT-BIH数据库整晚睡眠脑电数据作为研究样本,提取了时域、频域和非线性共16个参数作为分类特征,用支持向量机的一对一多类分类方法,采用顺序最小优化算法,以径向基函数作为核函数对样本分类。分类结果与专家的分类标注对比,分类准确率达到92%以上。支持向量机可作为睡眠分期的一种实用算法。     

Clustering support vector machines for protein local structure prediction

Understanding the sequence-to-structure relationship is a central task in bioinformatics research. Adequate knowledge about this relationship can potentially improve accuracy for local protein structure prediction. One of approaches for protein local structure prediction uses the conventional clustering algorithms to capture the sequence-to-structure relationship. The cluster membership function defined by conventional clustering algorithms may not reveal the complex nonlinear relationship adequately. Compared with the conventional clustering algorithms, Support Vector Machine (SVM) can capture the nonlinear sequence-to-structure relationship by mapping the input space into another higher dimensional feature space. However, SVM is not favorable for huge datasets including millions of samples. Therefore, we propose a novel computational model called Clustering Support Vector Machines (CSVMs). Taking advantage of both theory of granular computing and advanced statistical learning methodology, CSVMs are built specifically for each information granule partitioned intelligently by the clustering algorithm. This feature makes learning tasks for each CSVM more specific and simpler. CSVMs modeled for each granule can be easily parallelized so that CSVMs can be used to handle complex classification problems for huge datasets. Average accuracy for CSVMs is over 80%, which indicates that the generalization power for CSVMs is strong enough to recognize the complicated pattern of sequence-to-structure relationships. Compared with the conventional clustering algorithm, our experimental results show that accuracy for local structure prediction has been improved noticeably when CSVMs are applied.     

利用隐空间支持向量机设计IDS的检测算法

为解决网络入侵检测系统中检测算法分类精度不高训练样本数需要较多以及训练学习时间较长等问题,在基于支持向量机的基础上,提出一种新的利用隐空间支持向量机设计IDS的检测算法.仿真实验结果表明本算法较基于支持向量机的检测算法具有更良好的泛化性能,更快的迭代速度,更高的检测精度和更低的误报率.