单类支持向量机融合深度自编码器的异常检测模型

大规模高维不平衡数据是异常检测中的重大挑战.单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响.文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数.深度自编码器与单类支持向...     

基于熵和蚁群聚类算法的模糊支持向量机

摘 要: 模糊支持向量机(FSVM)对传统支持向量机(SVM)在对外围点和噪声数据敏感的缺陷做了重要改进。选取合适的聚类中心计算符合数据本身特征分布的隶属度,能使分类更加准确,提高测试精度。论文基于模糊支持向量机思想,提出一种新的模糊聚类模型—基于熵和蚁群聚类算法的模糊支持向量机(EAFSVM),为聚类中心和隶属度的计算提出了新方法。实验对比传统SVM和FSVM,结果表明EAFSVM测试精度较高,尤其对多类数据、大规模数据具有较好的分类能力。     

支持向量回归模型在曲线光顺拟合中的改进

几何逆向工程中的光顺曲线重构问题本质上属于回归问题。支持向量回归机是求解回归问题的新的十分有效的方法。论文研究用支持向量回归机处理光顺曲线的重构问题。鉴于后者有着对于光顺性的特殊要求,已有的支持向量机并不适用。通过修正惩罚因子对支持向量机加以改造,即根据测量数据点的分布情况,利用各测量点圆率的特性确定对应的惩罚因子,从而实现了自由曲线的光顺重构。数值试验表明新方法可以剔除输入数据中不光顺点的影响,并在给定的精度条件下有效地逼近曲线,达到较好的拟合效果。     

基于模糊极大似然估计聚类的点云数据分块

对散乱点云数据采用微切平面法进行法矢估计,对法矢方向进行全局协调性调整。采用稳定性较好的二次曲面拟合法估算点云数据的高斯曲率和平均曲率。将点的坐标、法矢和曲率合并为八维特征向量,通过模糊极大似然估计聚类技术,将具有类似几何特征的向量聚为一类,从而实现点云数据的分块。实验证明该方法有效。     

基于邻域分布局部线性嵌入的粗集支持向量机

针对粗集支持向量机面对高维特征值的训练样本分类效率低的问题,采用邻域点间的分布矩阵用于改进局部线性嵌入的权值矩阵重建,在粗集支持向量机上引入该邻域分布局部线性嵌入算法,对输入训练集进行数据降维操作。对三个数据集分别采用传统支持向量机、粗集支持向量机和基于邻域分布局部线性嵌入的粗集支持向量机进行数据分类测试,结果表明改进的支持向量机对于高维特征值的训练样本,可有效提高分类准确率及计算效率。     

基于支持向量机的激光焊接过程辨识与控制

激光焊接过程数学模型足一个较强非线性的数学模型,通常的线性辨识方法无法得到它精确的数学模型.支持向量机作为一种新的机器学习方法,具有较强的非线性拟合能力,应用支持向量机非线性系统回归建模方法,辨识出具有典型非线性特性的焊接过程模型,并采用预测控制算法对焊接过程进行控制.实验证明,支持向量机对非线性系统具有很好的拟合效果,基于支持向量机的预测控制具有较好的非线性控制效果.     

一种加权线性损失支持向量机

针对传统支持向量机无法适应大规模问题,通过引入加权线性损失函数,取代标准支持向量机的Hinge损失,提出一种加权线性损失支持向量机WLSVM(Weighted Linear Loss Support Vector Machine)。它的主要方法是:(1)通过对线性损失增加权重,提出对不同位置上的训练点给出不同惩罚,在一定程度上避免了过度拟合,增强了泛化能力。(2)仅需计算非常简单的数学表达式就可获得分类超平面,且方便解决大规模问题。通过在合成和真实数据集上的试验,结果表明:WLSVM的分类精度高于SVM和LSSVM,且减少了计算时间,尤其对于大规模问题。     

离散数据拟合模型的研究与实现

最小二乘支持向量机引入到离散数据拟合中,代替传统的最小二乘法解决离散数据拟合问题。推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的离散数据拟合模型,并对电机数据拟合进行了研究。结果表明,最小二乘支持向量机拟合离散数据比最小二乘法精度更高、拟合效果更好。     

基于小波核LS—SVM的网络流量预测

网络流量预测对大规模网络管理、规划、设计具有重要意义。支持向量机方法是近年来发展起来的新型机器学习算法,用于解决高度非线性分类及回归问题。介绍了基于小波核最小二乘支持向量机的网络流量预测方法,利用小波核函数的多分辨特性提高了支持向量机的非线性建模能力。通过对实测网络流量数据的学习,对未来网络流量进行预测。实验结果表明,取得了较好的预测效果。     

改进分块支持向量聚类在入侵检测中的应用

支持向量聚类(SVC)是在支持向量机的思想上发展而来一种聚类方法,针对其处理大规模数据集速度缓慢的缺点,提出了一种改进的分块支持向量聚类算法。改进的算法分为三个阶段:前期的预处理,中期的分块算法,后期的改进标类算法。提出的方法显著加快了SVC的速度,在保持原来SVC算法的优点的基础上,对大规模数据集以及非均匀分布数据集等具有良好的效果。将其应用到网络入侵检测,实验结果表明改进的算法行之有效。     

MLSVM4--一种多乘子协同优化的SVM快速学习算法

贯序最小优化（SMO）算法是解决大数据集支持向量机学习问题的一种有效方法,但SMO选择工作集的策略是选择数据集中最违背KKT条件的两个样本,而且还使用了随机函数,使得优化过程具有很大的随机性,影响了学习效率．在多拉格朗日乘子协同优化的通用公式基础上,吸收了Keerthi所提出的SMO修改算法中双阈值的优点,给出了乘子数为4时的一个算法MLSVM4,由于能更加精确地确定待优化样本的拉格朗日乘子值,使得学习收敛速度大大提高,特别是在使用线性核的场合下效果更加明显,在Adult、Web、手写体数字数据集上的实验结果表明,MLSVM4算法速度超过了SMO算法3到42倍．     

基于支持向量上采样的不平衡数据分类方法

传统的支持向量机在处理不平衡数据时效果不佳。为了提高少类样本的识别精度,提出了一种基于支持向量的上采样方法。首先根据K近邻的思想清除原始数据集中的噪声;然后用支持向量机对训练集进行学习以获得支持向量,进一步对少类样本的每一个支持向量添加服从一定规律的噪声,增加少数类样本的数目以获得相对平衡的数据集;最后将获得的新数据集用支持向量机学习。实验结果显示,该方法在人工数据集和UCI标准数据集上均是有效的。     

一种处理多类分类问题的强化支持向量机方法

提出了一种强化支持向量机方法,将支持向量机与强化学习结合,逐步对未知类别标记样本进行访问,根据对该样本分类结果正确与否的评价标记访问点的类别,并对当前的分类器进行更新,给出了更新分类器的规则。对模拟数据和真实数据分别进行了实验,表明该方法在保证分类精度的同时,大大降低了对已知类别标记的训练样本的数量要求,是处理已知类别标记样本获取困难的多类分类问题的一种有效的方法。     

基于预测值替代的相关向量回归稳健化方法

针对相关向量机的性能易受到奇异值影响的情况,提出了一种增强相关向量机稳健性的方法。其主要思想如下:首先用原始训练数据训练相关向量机;然后,利用某种准则,从原始数据中挑选一些样本,用其预测值代替输出变量值;随后,用改变后的训练样本重新训练相关向量机。这个过程可重复几次。数据试验表明,较之相关向量机和变分稳健相关向量机,新算法对奇异值更加不敏感。     

基于支持向量机的非线性预测控制技术

探讨了利用支持向量机进行非线性系统辨识的方法,并将支持向量机模型应用到非线性预测控制,提出了基于支持向量机模型的非线性预测控制算法.对一个CSTR反应器的仿真表明,支持向量机在小样本情况下具有良好的非线性建模能力和泛化能力.基于支持向量机的预测控制具有很好的控制性能,为通用非线性控制提供了一种新的控制思路.􀁽     

局部关注支持向量机算法

针对训练数据集的不均衡性这一问题,结合采样方法和集成方法,提出一种集成支持向量机分类算法。该算法首先对不均衡的训练集进行非监督聚类;然后依靠其底层的局部关注支持向量机进行数据集局部划分,以精确把控数据集间的局部特征;最后通过顶层支持向量机进行分类预测。在UCI数据集上的评测结果显示,该算法与当前流行的算法（如基于采样的核化少数类过采样技术（K-SMOTE）、基于集成的梯度提升决策树（GTB）和代价敏感集成算法（AdaCost）等）相比,分类效果有明显提升,能在一定程度上解决数据集的不均衡问题。     

Least Square Transduction Support Vector Machine

Support vector machine (SVM) is a general and powerful learning machine, which adopts supervised manner. However, for many practical machine learning and data mining applications, unlabeled training examples are readily available but labeled ones are very expensive to be obtained. Therefore, semi-supervised learning emerges as the times require. At present, the combination of SVM and semi-supervised learning principle such as transductive learning has attracted more and more attentions. Transductive support vector machine (TSVM) learns a large margin hyperplane classifier using labeled training data, but simultaneously force this hyperplane to be far away from the unlabeled data. TSVM might seem to be the perfect semi-supervised algorithm since it combines the powerful regularization of SVMs and a direct implementation of the clustering assumption, nevertheless its objective function is non-convex and then it is difficult to be optimized. This paper aims to solve this difficult problem. We apply least square support vector machine to implement TSVM, which can ensure that the objective function is convex and the optimization solution can then be easily found by solving a set of linear equations. Simulation results demonstrate that the proposed method can exploit unlabeled data to yield good performance effectively.     

基于粗糙集与支持向量机的故障智能分类方法

结合粗糙集的属性约简与支持向量机的分类功能,提出一种应用粗糙集与支持向量机的故障分类方法。该方法应用粗糙集理论属性约简作为诊断数据预处理器,可将冗余属性从诊断决策表中删除,而不损失有效信息,然后基于支持向量机进行故障分类建模和预测。谊方法可降低故障诊断数据维数及支持向量机在故障分类过程中的复杂度,但不会降低分类性能。将方法应用于某柴油机故障诊断数据的测试分类,结果表明该方法可快速正确的从数据获得故障类剐。     

基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。     

支持向量机和蚁群算法的网页分类研究

网页分类技术是Web数据挖掘的基础与核心,是基于自然语言处理技术和机器学习算法的一个典型的具体应用。基于统计学习理论和蚁群算法理论,提出了一种基于支持向量机和蚁群算法相结合的构造网页分类器的高效分类方法,实验结果证明了该方法的有效性和鲁棒性,弥补了仅利用支持向量机对于大样本训练集收敛慢的不足,具有较好的准确率和召回率。