支持向量机理论与算法研究综述

统计学习理论(statistical learning theory,SLT)是一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.支持向量机(support vector maehinse,SVM)是一种基于SLT的新型的机器学习方法,由于其出色的学习性能,已经成为当前机器学习界的研究热点.该文系统介绍了支持向量机的理论基础,综述了传统支持向量机的主流训练算法以及一些新型的学习模型和算法,最后指出了支持向量机的研究方向与发展前景.     

一种基于Multiway cut的多对象图像分割*

多对象分割是图像处理中的一个难题,基于Multiway cut的图像分割是一种人工交互式多对象分割方法,能够实现图像的粗分割和精确分割。使用分水岭分割图像,把图像分割为属性相似的小区域;根据交互建立节点层次图,构建带权无向网络;不同层次的节点参与不同的运算,采用Multiway cut迭代分割;交互和分割可以多次执行,直至满足用户的要求。实验结果表明,该方法人工参与方便,准确度得到提高,速度满足现场操作的要求。     

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM,简称WRBM）,接下来,在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM）,并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM（ssRBM）的深度模型,并通过实验验证了模型的有效性.     

序列模式挖掘研究与发展

序列模式挖掘是数据挖掘的一个重要研究课题,它在很多领域中都有着广泛的应用.首先讨论了序列模式挖掘的相关背景,然后对序列模式挖掘进行分类,并在此基础上对每一类序列模式挖掘算法的特点进行了介绍和比较;最后,对序列模式挖掘未来的研究重点进行展望,以便研究者对序列模式挖掘做进一步的研究.     

煤矿监控图像中脸肤色和模板检测

煤矿监控图像的对比度低、灰度不均匀,使监控图像的处理和识别难度增大.在巷道环境下采集多角度的矿工监控图像,根据脸部肤色区域像素的统计特征,用上下限阈值的方法在HSV颜色空间分割出各种角度的矿工脸部,用半径为2的圆形结构元素进行数学形态学的开启和闭合操作,去除被误分为脸部区域的背景像素;根据脸部灰度分布特征构造了平均脸模板,用相似度函数作为脸部模板匹配的判别函数,检测矿工脸部位置.结果表明,用肤色分割和平均脸部模板匹配方法,可以快速检测出矿工脸部的精确位置.     

基于二阶k近邻的密度峰值聚类算法研究

密度峰值聚类(DPC)是近年来提出的一种新的密度聚类算法,算法的核心是基于局部密度和相对距离,通过画出决策图,人为选定聚类中心,进而完成聚类.DPC算法利用截断距离计算局部密度,本质上只考虑了周围近邻节点的数量,且算法采用单步分配策略,一定程度上限制了算法对任意数据集的计算精度和有效性.针对上述问题,提出基于二阶k近邻的密度峰值聚类算法(SODPC).算法通过引入节点的二阶k近邻,计算直接密度和间接密度,重新定义局部密度的计算方式.在此基础上,定义非中心节点的多步骤分配策略完成聚类.通过人工和真实数据的测试,证明了该算法对不规则、密度不均匀的数据集具有较好的聚类效果.     

一种粒子群优化的SVM-ELM模型

极限学习机(extreme learning machine,ELM)是一种简单易用、有效的单隐层前馈神经网络(single hidden layer feedforward neural networks,SLFNs)学习算法,近几年来已成为机器学习研究的热门领域之一。但是ELM单个隐层节点的判断能力不足,分类正确率的高低在一定程度上取决于隐层节点数。为了提高ELM单个隐层节点的判断能力,将支持向量机(support vector machine,SVM)和ELM结合,建立一种精简的SVM-ELM模型。同时,该模型为了避免人为选择参数的主观性,利用粒子群算法(particle swarm optimization,PSO)的全局搜索最优解对参数进行自动优化选取,建立了PSO-SVM-ELM模型。实验证明,该模型较SVMELM和ELM分类精度有较大的提高,具有很好的稳健性和泛化性。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.