基于云PSO 的RVM入侵检测

入侵检测可为计算机网络信息提供安全保障,在其方法研究中,由于相关向量机(RVM)具有高稀疏性且预测中使用概率因素,在网络入侵检测中优于支持向量机.然而RVM的核函数参数是经验估计的,为此,提出一种基于云模型的粒子群优化算法的RVM方法,即采用云粒子群算法确定RVM的核参数,构建RVM分类模型,再采用一对一分类方法进行多类检测分类.经入侵检测实验研究,所得结果表明所提出的方法优于基于常规相关向量机的检测方法,且具有更高的入侵检测精度.     

基于AIC的RVM核参数选择方法及其应用

在采用高斯径向基函数的相关向量机(RVM)回归模型中,核参数与模型性能之间关系复杂,针对如何确定RVM核参数的问题,提出一种基于AIC准则选择RVM的核参数的方法。首先基于Akaike Information Criterion (AIC)思想,得出一种新的统计量Q,同时将Q作为适应度函数;然后利用微分进化算法（Differential Evolution Algorithm,DE）对核参数进行寻优,以此选择确定核参数;最后利用该算法建立RVM回归模型对黄金价格进行短期预测。实验结果表明,该模型较传统方法建立的预测模型具有更高的拟合精度和更好的泛化能力,进一步证明基于AIC准则选择RVM的核参数的方法的可行性和有效性。     

基于保局部核RVM的说话人识别方法

针对说话人语音特征随音量、情绪、健康等因素变化呈现出的复杂分布结构,提出一种基于保局部核相关向量机(RVM)的说话人识别方法。在RVM模型所采用的高斯核函数中引入相似度因子,以保留数据局部结构,构成保局部核RVM模型。在模型训练过程中采用快速算法以避免大型矩阵逆操作,减少计算量,可适用于大样本场合。应用结果表明,该方法能加快测试速度,提高分类精度。     

基于LFOA算法的相关向量机核参数优化

相关向量机(RVM)核函数参数对其性能有较大影响,为了提高相关向量机的分类能力,提出了一种基于具有Levy飞行特征的双子群果蝇算法(LFOA)的RVM核参数优化方法。在适应度函数的评判下,果蝇种群经过多次Levy飞行和迭代对指定范围内的核参数进行全局搜索。4组UCI标准数据集的MATLAB仿真实验测试结果表明,所提出的方法有效、可靠,能够提升RVM的分类能力,相比于其他算法具备更高的寻优精度和稳定性。     

基于RVM联合GSA-SVM的ICS分层入侵检测算法

针对工业控制系统(ICS)入侵检测中的攻击检测和攻击类型识别问题,提出了一种基于相关向量机(RVM)联合遗传模拟退火(GSA)优化支持向量机(SVM)的分层入侵检测算法。首先利用RVM分类器对ICS的高维网络特征数据进行自适应选择和分类识别,在自动确定最优分类特征的同时将入侵数据分类为“正常”和“异常”两类,然后利用SVM对“异常”数据中的攻击类型进行分类,针对SVM识别性能受核参数选择影响较大的问题,利用SA算子对GA局部搜索能力进行改进,得到全局搜索和局部搜索能力较均衡的GSA优化算法,对SVM核参数进行全局寻优,确保其收敛于全局最优解,从而提升识别性能。基于密西西比州立大学(MSU)公开的ICS入侵检测评估数据集开展试验,结果表明所提方法与其他常见方法相比具有更强的攻击检测和攻击类型识别能力,能够有效提升ICS系统的安全性和可靠性。     

灰狼优化的混合参数多分类孪生支持向量机

孪生支持向量机(TWSVM)是在支持向量机(SVM)的基础上产生的一种高效二分类算法,由于现实中存在的问题大多数是多分类的,将二分类孪生支持向量机扩展到多分类孪生支持向量机(MTWSVM)是非常重要的。目前常用的MTWSVM一般是基于“一对一”策略,但该策略中各子分类器都采用相同的惩罚参数以及核参数,忽略了不同子分类器之间的差异,不能使其发挥最好的作用。通过提出一种基于混合参数的多分类孪生支持向量机(MP-MTWSVM),为不同的子分类器选取合适的参数,保持分类器的多样性,进而根据“一对一”策略构建MTWSVM。TWSVM本就面临着参数难确定的问题,而MP-MTWSVM算法又引入了大量的参数,通过灰狼算法(GWO)对MP-MTWSVM的参数进行寻优,进一步提出了基于灰狼优化的混合参数多分类孪生支持向量机(GWO-MP-MTWSVM)。通过实验表明,GWO可以快速找到各子分类器的最优参数,并进一步提升了算法的准确率。     

基于CSO-RVM的瓦斯涌出量预测模型研究

为了实时监测和精准预测煤矿回采工作面绝对瓦斯涌出量,提出猫群算法(CSO)优化相关支持向量机(RVM)的绝对瓦斯涌出量预测方法.相关向量机的组合核函数可实现多特征空间的信息融合,为有限样本、高维数瓦斯涌出量预测建模问题提供一种行之有效的方法.并用CSO算法对RVM瓦斯涌出量预测模型的核函数权重p和高斯核参数σ快速寻优.利用矿井无线传感器网络检测到的各项历史数据试验.结果表明,相比BP、SVM算法,该耦合模型有效提高了预测精度,具有更好的泛化能力,为矿井瓦斯预测提供理论支持.     

改进多分类决策策略的RVM及其在液压泵故障诊断中的应用*

针对传统多分类相关向量机（Relevance vector machine, RVM）采用“最大票数赢（MVW）”决策策略的不足,为了提升相关向量机的多分类能力,首先改进了RVM的多分类决策策略,并利用具有Levy飞行特征的果蝇算法（LFOA）对RVM核参数进行寻优,建立了LFOA-RVM分类模型。在适应度函数的评判下,果蝇种群经过多次迭代对指定范围内的核参数进行全局搜索寻优,完成模型建立。4组UCI标准数据集的MATLAB仿真实验结果表明,改进后的多分类决策策略和优化方法有效、可靠,能够提升RVM的分类能力;进一步将此模型应用于液压泵故障诊断,同样取得了较好的分类效果,验证了分类模型的有效性。     

改进的RVM在肺结节检测中的研究与应用

在模式识别问题中,相关向量机（RVM）作为一种新的机器学习方法备受关注,近年来,多核RVM方法的提出使得RVM得到更广泛的应用。多核RVM模型中核参数的取值及不同核函数组合权重系数的取值对模型分类性能至关重要,然而在实际应用中其值却多由经验值给定而非定量分析计算得到。为此,对基于粒子群算法（PSO）及基于二阶锥规划（SOCP）的多核RVM参数优化模型进行研究,构造合理的核函数组合,并给出快速求解方法。最后将该方法应用到肺结节检测中,采用公共数据集LIDC中的肺部CT图像,通过图像处理模块,提取候选结节的特征信息,利用改进的多核RVM模型对肺结节进行分类验证。实验结果表明,与基于PSO的多核RVM模型相比,基于PSO与SOCP相结合的多核RVM模型不仅提高了运算效率而且取得了更好的分类性能。     

面向脑电情感识别的改进多分类RVM模型研究

从相关向量机（RVM）和支持向量机（SVM）的相似性以及RVM的稀疏特性出发，将RVM应用于脑电信号（EEG）的情感识别中。针对一对一（OAO）和一对多（OAA）两种多分类方法各自的特点和不足，提出了一种全新的两层多分类模型（OAA-OAO），改进现有OAO算法中无效投票影响最终决策的现象。设计情感EEG信号识别对比实验，验证基于RVM的改进多分类算法在脑电信号情感识别中的应用。对于实验室采集的情感脑电信号，提取其非线性特征（功率谱熵、样本熵和Hurst指数）并采用主成分分析法进行降维。将OAA-OAO-RVM算法分别和OAO-SVM、OAO-RVM两种识别网络进行对比，分析RVM的识别性能以及OAA-OAO多分类算法的分类性能。结果表明，采用降维后的最优特征集合作为识别网络的输入向量得到的识别性能更高，且RVM表现出的性能优于SVM。同时，改进后的OAA-OAO算法较传统OAO模型的平均识别率提高了7.89%，证明OAA-OAO算法可有效去除一部分无效投票从而使分类精度得到显著提高，验证了此模型是一种有效的多分类模型。     

相关向量机在车型识别中的应用研究

相关向量机是一种稀疏的贝叶斯学习算法,对非线性、高维数的小样本问题有非常好的分类效果和学习推广能力.而且使用较少的核函数,研究了用相关向量机技术进行车型识别,设计了基于相关向量机的车型分类器.实验结果表明,基于相关向量机的车型分类器不仅具有基于支持向量机的车型分类器的相同性能,而且比支持向量机使用更少的核函数,实验取得了较好的分类效果.     

一种基于变分相关向量机的特征选择和分类结合方法

相关向量机(Relevance vector machine, RVM)是一种函数形式等价于支持向量机(Support vector machine, SVM)的全概率模型,利用变分贝叶斯(Variational Bayesian, VB)方法求解的RVM可以给出所有参数的后验分布. 进一步,通过对样本所在原始特征空间的稀疏化,基于线性核的RVM可以在分类的同时实现对原始特征的线性选择. 本文在传统VB-RVM的基础上提出一种特征选择和分类结合方法. 该方法采用Probit模型将分类问题与回归问题有机地结合起来, 同时,通过对特征维的幂变换扩展,不仅在分类时增加了样本的信息量, 可以构造非线性分类面,而且实现了非线性特征选择的功能. 通过对仿真数据和实测数据分别进行实验, 证明了该特征选择和分类结合方法的实用性和有效性.     

基于信息熵的RVM-AdaBoost组合分类器

针对AdaBoost算法不能有效提高RVM分类性能的问题,提出一种基于信息熵的RVM与AdaBoost组合分类器。依据RVM输出的后验概率来定义样本的信息熵,信息熵越高的样本越容易错分。提出使用自适应信息熵阈值对数据进行筛选,筛选出的数据使用基于AdaBoost算法的集成分类器进行分类,样本的分类结果由RVM与集成分类器组合给出。把未筛选出且分类错误的极少样本作为噪声对待,增强了组合分类器的稳定性,避免了随着AdaBoost算法迭代次数增加集成分类器出现退化的现象。使用UCI数据集从分类正确率、分类效率和稳定性三方面对提出的组合分类器进行验证,实验结果表明了此分类器的有效性。     

Force based tool wear monitoring system for milling process based on relevance vector machine

The monitoring of tool wear status is paramount for guaranteeing the workpiece quality and improving the manufacturing efficiency. In some cases, classifier based on small training samples is preferred because of the complex tool wear process and time consuming samples collection process. In this paper, a tool wear monitoring system based on relevance vector machine (RVM) classifier is constructed to realize multi categories classification of tool wear status during milling process. As a Bayesian algorithm alternative to the support vector machine (SVM), RVM has stronger generalization ability under small training samples. Moreover, RVM classifier results in fewer relevance vectors (RVs) compared with SVM classifier. Hence, it can be carried out much faster compared to the SVM. To show the advantages of the RVM classifier, milling experiment of Titanium alloy was carried out and the multi categories classification of tool wear status under different numbers of training samples and test samples are realized by using SVM and RVM classifier respectively. The comparison of SVM with RVM shows that the RVM can get more accurate results under different number of small training samples. Moreover, the speed of classification is faster than SVM. This method casts some new lights on the industrial environment of the tool condition monitoring.     

单核和多核相关向量机的比较研究

针对相关向量机中的核函数选择问题进行研究,对高斯核函数进行改进,提出修正的高斯核函数方法,并比较改进的高斯核函数与普通高斯核函数的特性,证明提出的核函数的优良特性。在对单一核函数改进的基础上,进行多核相关向量机核函数的研究,结合局部性高斯核函数和全局性多项式核函数形成混合核函数,并运用于相关向量机。在不同大小的数据集上对几种核函数进行对比实验,验证修正的高斯核函数及混合核函数的性能。     

基于对偶随机投影的线性核支持向量机

针对大型支持向量机（SVM）经随机投影特征降维后分类精度下降的问题,结合对偶恢复理论,提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机（drp-LSVM）。首先,分析论证了drp-LSVM相关几何性质,证明了在保持与基于随机投影降维的支持向量机（rp-LSVM）相近几何优势的同时,其划分超平面更接近于用全部数据训练得到的原始分类器。然后,针对提出的drp-LSVM快速求解问题,改进了传统的序列最小优化（SMO）算法,设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明,drp-LSVM在继承rp-LSVM优点的同时,减小了分类误差,提高了训练精度,并且各项性能评价更接近于用原始数据训练得到的分类器;设计的基于改进SMO算法的分类器不但可以减少内存消耗,同时可以拥有较高的训练精度。     

Learning Semi-Structured Document Categorization Using Bounded-Length Spectrum Sub-Sequence Kernels

In this paper we report an investigation into the learning of semi-structured document categorization. We automatically discover low-level, short-range byte data structure patterns from a document data stream by extracting all byte sub-sequences within a sliding window to form an augmented (or bounded-length) string spectrum feature map and using a modified suffix trie data structure (called the coloured generalized suffix tree or CGST) to efficiently store and manipulate the feature map. Using the CGST we are able to efficiently compute the stream's bounded-length sequence spectrum kernel. We compare the performance of two classifier algorithms to categorize the data streams, namely, the SVM and Naive Bayes (NB) classifiers. Experiments have provided good classification performance results on a variety of document byte streams, particularly when using the NB classifier under certain parameter settings. Results indicate that the bounded-length kernel is superior to the standard fixed-length kernel for semi-structured documents.