关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重 要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计 学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的 统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种 新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和 SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的 基本思想、特点和研究发展现状,以引起国内学者的进一步关注.  

神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成，可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究，还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此，它被视为一种广阔应用前景的工程化神经计算技术，已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状，并对该领域值得进一步研究的一些问题进行了讨论。  

决策表核属性的计算方法

针对决策表核属性的计算问题，对前人的一些理论观点进行讨论，在认识这些理论观点缺陷的基础上，探讨Rough集理论代数观和信息观这两种形式的关系，发现它们在核属性和约简上的差异，提出决策表核属性的计算方法．  

基于机器学习的文本分类技术研究进展

文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.提出了基于机器学习的文本分类技术所面临的互联网内容信息处理等复杂应用的挑战,从模型、算法和评测等方面对其研究进展进行综述评论.认为非线性、数据集偏斜、标注瓶颈、多层分类、算法的扩展性及Web页分类等问题是目前文本分类研究的关键问题,并讨论了这些问题可能采取的方法.最后对研究的方向进行了展望.  

支持向量机的新发展

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法一支持向量机，比较成功地解决了模式分类问题，其后，机器学习界兴起了研究统计学习理论和支持向量机的热湖，引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机，依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等，对此，较为系统地回顾了近lO年来算法研究领域的新发展。  

决策树的优化算法

决策树的优化是决策树学习算法中十分重要的分支.以ID3为基础,提出了改进的优化算法.每当选择一个新的属性时,算法不是仅仅考虑该属性带来的信息增益,而是考虑到选择该属性后继续选择的属性带来的信息增益,即同时考虑树的两层结点.提出的改进算法的时间复杂性与ID3相同,对于逻辑表达式的归纳,改进算法明显优于ID3.  

支持向量机及其应用研究综述

在分析支持向量机原理的基础上，分别从人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理及其他应用研究等方面对SVM的应用研究进行了综述，并讨论了SVM的优点和不足，展望了其应用研究的前景．  

进化算法研究进展

进化算法是一类借鉴生物界自然选择和自然遗传机制的随机搜索算法，主要包括遗传算法，（ｇｅｎｅｒｉｃａｌｇｏｒｉｔｈｍｓ，简记为ＧＡｓ）、进化规划（ｅｖｏｌｕｔｉｏｎａｒｙｐｒｏｇｒａｍｍｉｎｇ，简记为ＥＰ）和进化策略（ｅｖｏｌｕｔｉｏｎａｒｙｓｔｒａｔｅｇｉｅｓ，简记为ＥＳｓ），它们可以用解决优化和机器学习等问题，进化算法的两个主要特点中群体搜索策略及群体中个体之间的信息交换，进化算法不依赖于梯度信  

基于支持向量机与无监督聚类相结合的中文网页分类器

提出了一种将支持向量机与无监督聚类相结合的新分类算法，给出了一种新的网页表示方法并应用于网页分类问题。该算法首先利用无监督聚类分别对训练集中正例和反例聚类，然后挑选一些例子训练SVM并获得SVM分类器，任何网页可以通过比较其与聚类中心的距离决定采用无监督聚类方法或SVM分类器进行分类。该算法充分利用了SVM准确率高与无监督聚类速度快的优点。实验表明它不仅具有较高的训练效率，而且有很高的精确度。  

最优特征子集选择问题

机器学习和模式识别面临的一个重要问题，就是特征子集的选择问题，即从一个大的已生征特集合，选择一个子集合来一致地描述已知例。特别，最优特征子集选择问题，即最小的特征子集问题的 计算杂性至今学不清楚。