一种新的机器学习算法:Support Vector Machines

SVM是由Vapnik及其领导的AT&T Bell实验室研究小组提出的一种新的非常有发展前景的机器学习算法.本文通过它与神经网络学习算法的比较,说明了SVM具有较强的理论依据和较好的泛化性能.本文是SVM的发展综述,重点介绍了SVM的理论依据和一些值得研究的问题.     

一种新的支撑向量机增量学习算法

1引言 基于统计学习理论(statistical learning theory)的支撑向量机最早由V.Vapnik提出[1],用于解决分类问题,现已推广到解决回归、时序预测、信号处理等问题[2].由于SVM实现结构风险极小化(structural risk minimization)原理,使得SVM具有很高的推广能力.目前已经成为一种通用有效的机器学习方法.     

基于字符串核的免分词中文文本分类方法

文本分类是获取文本信息的重要一步,现有的分类方法主要是基于统计理论和机器学习的,其中著名的有Bayes[1]、KNN[2]、SVM[3]、神经网络等方法。实验证明这些方法对英文分类都表现出较好的准确性和稳定性[4]。对于中文文本分类,涉及对文本进行分词的工作。但是中文分词本身又是一件困难的事情[5]。论文尝试一种基于字符串核函数的支持矢量机方法来避开分词对中文文本分类,实验表明此方法表现出较好的分类性能。     

基于多维复杂度的精神分裂症脑磁信号区分

为了更有效地识别脑磁信号,提出一种基于多维复杂度的脑磁信号分类方法。首先提取信号的AR模型系数、频带能量、近似熵和Lempel-Ziv复杂度作为特征。然后运用增[L]减[R]搜索算法结合距离准则选择通道。最后采用遗传算法选择特征子集,分别运用BP神经网络和SVM分类器检测特征子集的性能并对信号分类。实验结果表明精神分裂症患者的近似熵和Lempel-Ziv复杂度都高于正常人,患者的脑磁信号可能更加复杂。增[L]减[R]搜索算法选择的通道大多分布在颞叶区,即颞叶区域的通道可能携带了更多的差异信息。采用BP神经网络和SVM对特征数据分类,分别得到了98.5%和99.75%的正确率。     

基于Q学习算法和BP神经网络的倒立摆控制

Q学习是Watkins[1]提出的求解信息不完全马尔可夫决策问题的一种强化学习方 法.将Q学习算法和BP神经网络有效结合,实现了状态未离散化的倒立摆的无模型学习控 制.仿真表明:该方法不仅能成功解决确定和随机倒立摆模型的平衡控制,而且和Anderson[2] 的AHC(Adaptive Heuristic Critic)等方法相比,具有更好的学习效果.     

一种神经网络自学习控制结构与算法

1　引言神经网络自学习控制代表性结果之一 [1 ] 是采用一个多层前馈网络 (对象仿真器 )辨识被控对象 ,采用另一个神经网络 (控制器 )学习控制仿真器后 ,再控制真实对象 .这个思想对于解决复杂工业过程对象优化控制问题具有一定意义 .但是 ,直接应用仍存在问题 :1)其中对象仿真     

基于深度学习的航空发动机传感器故障检测

针对传统反向传播(BP)神经网络和支持向量机(SVM)存在的过拟合、维数灾难、参数选择困难等问题,提出了一种基于深度学习算法的航空发动机传感器故障检测方法.对发动机参数记录仪采集的多维数据进行预处理,建立基于深度置信网络(DBN)的故障检测模型,利用预处理后的数据对检测模型进行训练,经过DBN故障检测模型逐层特征学习实现了传感器故障检测.仿真结果表明:在无人工特征提取和人工特征提取的情况下,基于DBN故障检测的准确率均高于BP神经网络和SVM模型.     

基于支持向量机的航空发动机叶片超声检测

支持向量机(SVM)是一种具有出色学习性能的新型机器学习方法,它能够较好地克服神经网络容易出现的过学习、网络结构难以确定以及局部极小等缺点。研究了小波包变换提取发动机叶片缺陷特征向量的问题,提出一种基于支持向量机的航空发动机叶片超声检测方法。实验表明,基于小波包分解提取特征向量结合支持向量机的识别方法,能够有效地区分发动机叶片部件的几种典型缺陷。     

基于SVM预测器的传感器故障诊断与信号恢复研究

支持向量机(SVM)是一种新兴的基于统计学习理论的机器学习方法.简要介绍了SVM回归原理,据此建立了基于SVM的时间预测器并用于传感器的故障诊断和信号恢复,阐述了具体的实现方法和步骤.仿真结果表明:SVM预测器有效地克服了神经网络的不足,能准确预测和跟踪传感器的输出信号,并在传感器发生故障后一定的时间段内能较精确的估计传感器的正常输出.     

自适应级联神经网络对脑电信号分类的研究

为克服神经网络受噪声和冗余特征的影响而出现过拟合,提出一种自适应级联神经网络(ACNN)及学习算法.ACNN从少量特征开始学习,在学习过程中根据特征对分类的有效性增加新特征,用映射递归算法调节权值,逐步确定网络结构,使其含有最少数目的输入和隐层神经元.此方法应用于区分两种思维状态下的脑电信号(EEG),经训练的网络对测试段的分类正确率为83.1%,与文献[1]中采用BP网络的结果相比,显示了ACNN较好的分类能力.     

几种机器学习方法在人脸识别中的性能比较

BP神经网络、RBF神经网络、支持向量机（SVM）和集成学习是目前应用最为广泛的四种机器学习方法。将这四种常用的机器学习方法分别应用于人脸识别,并利用ORL人脸图像库对各学习方法性能进行了测试和评估。测试结果表明SVM和集成学习在实验中取得了较好的性能,最适合用于人脸识别中特征分类器。     

支持向量机在工业过程中的应用

支持向量机(SVM)是一种基于统计学习理论,针对小样本学习问题的通用学习算法,它采用结构风险最小化(Structural risk minimization,SRM)准则,大大提高了模型的泛化能力,成功地解决了神经网络的过学习问题。目前主要应用在模式识别领域,在工业过程中的应用相对较少。本文首先从理论研究、算法结构、参数选择和扩展SVM4个方面详细介绍了近些年来支持向量机的研究进展;然后对SVM在工业过程中的应用现状进行分析,指出进一步研究的方向。     

基于KPCA粒子群算法的预报模型优化研究

空气质量关系着人们的身体健康,因此研究实时、高效的空气质量预报系统,不仅能为公众出行提供指导,还能指导职能部门防控重污染天气并提供相应技术支持.近几年,国内外对预报理论及方法的研究主要集中在BP神经网络预报[1].Deden Supriyatman[2]应用传统BP神经网络预报输气管道腐蚀速率,N.Haghdadi等人[3]应用改进BP网络预报半固态A356铝合金的热变形行为,对学习步长加入动量项,改善了收敛慢的问题,但预报精度较低.蒋吉丽基于BP神经网络的强对流天气预报模型,将观测实况资料作为专家样本对BP神经网络模型进行训练和测试,对训练好了的模型进行了对比测试,为强对流天气的预报提供了依据.分析学者们的预报方法,均考虑了问题的非线性特征,利用BP网络处理非线性问题的优势,建立预报模型,但忽略了数据的相关性和神经网络参数初始化的随意性带来的影响,因此,在实际应用中预报精度较低,速度较慢.     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于SVM二叉决策树方法的矿井提升机故障诊断

介绍了几种传统的支持向量机(SVM)多分类方法,分析了其存在的问题及缺点.提出了一种基于二叉决策树的SVM多分类方法,该方法具有简单、直观,训练样本少的特点.通过将其应用于提升机运行状态的故障诊断,结果表明,采用该方法比传统多类SVM方法和BP神经网络具有更高的诊断正确率.     

五种人民币序列号识别算法抗噪能力比较

为了比较不同的人工神经网络算法识别人民币序列号的性能,研究了离散Hopfield神经网络、BP神经网络、PNN神经网络、GRNN神经网络、SVM神经网络等五种算法的训练耗时、识别速度、识别率和抗噪声能力. 研究结果表明,在五种算法中BP算法的综合表现最差,其次为SVM和Hopfield算法,而PNN和GRNN算法表现最好,不仅识别率最高、训练和识别时间最短,而且具有较强的抗噪声能力.     

极限学习机在岩性识别中的应用

基于传统支持向量机(SVM)训练速度慢、参数选择难等问题,提出了基于极限学习机(ELM)的岩性识别.该算法是一种新的单隐层前馈神经网络(SLFNs)学习算法,不但可以简化参数选择过程,而且可以提高网络的训练速度.在确定了最优参数的基础上,建立了ELM的岩性分类模型,并且将ELM的分类结果与SVM进行对比.实验结果表明,ELM以较少的神经元个数获得与SVM相当的分类正确率,并且ELM参数选择比SVM简便,有效降低了训练速度,表明了ELM应用于岩性识别的可行性和算法的有效性.     

基于SVM-MLP的乳腺癌预测

乳腺癌一直是影响女性健康最重要的问题之一,已经成为全球女性发病率最高的恶性肿瘤.近年来,利用机器学习和深度学习方法来诊断癌症已经成为发展较快的一个分支.通过使用逻辑回归模型(LR)、高斯核函数支持向量机(SVM)、前馈神经网络(MLP)对同一数据集进行预测,得出其中SVM迭代时间最短,前馈神经网络预测准确率最高.为了减...     

基于支持向量机的非线性系统辨识

支持向量机（SVM）是一种新的通用学习机器，它从结构风险最小化的角度，分析了学习过程的一致性，收敛速度等。SVM能以任意精度逼近一类函数，而与输入的维数无关，克服了传统神经网络用于系统辨识的维数灾问题及结构难以确定等,在于这一辨识的维数灾问题及结构难以确定等特点，基于这一特性研究了对非线性动态系统的辨识问题，仿真结果表明SVM用于系统辨识有良好的辨识效果，并指出了今后研究的方向。     

卷积神经网络在车辆识别中的应用

针对现有车辆识别方法计算量大,提取特征复杂等问题,提出一种基于卷积神经网络(convolutional neural network,CNN)的车辆识别方法。构建卷积神经网络模型,分别使用不同的卷积核、网络层数、特征图数对网络进行训练;通过100次迭代的学习结果得到最优模型,提取隐含层所有特征,并结合支持向量机进行识别;系统分析了不同参数对测试正确率和样本均方误差的影响。实验结果显示,CNN+SVM在车辆识别中的准确率明显优于传统CNN、PCA+SVM、HOG+SVM、Wavelet+SVM,正确率为97.00%,分析了样本识别错误的原因以及今后需要改进的地方,为以后的研究指明了方向。