基于支持向量机的纹理识别方法研究

支持向量机是基于统计学习理论的模式分类器。它通过结构风险最小化准则和核函数方法,可以自动寻找那些对分类有较好区分能力的支持向量,由此构造出的分类器可以最大化类与类的间隔,具有较好的推广性能和较高的分类准确率,研究了将支持向量机理论用于纹理分类识别的方法,实验结果表明,该方法比传统的基于BP神经网络的识别方法识别准确率高。     

基于SVM的软测量建模

支持向量机(Support Vector Machines)是一种基于统计学习理论的新型学习机，本 文提出用支持向量机建立软测量模型．理论分析和仿真研究表明，该方法学习速度快、跟踪 性能好、泛化能力强、对样本的依赖程度低，比基于RBF神经网络的软测量建模具有更好的 推广能力．     

基于驱动错误准则的SVM增量学习研究

增量学习广泛运用于人工智能、模式识别等诸多领域,是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点,在分析支持向量机的基础上,提出基于驱动错误准则的增量学习方法,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习。     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法，由于其建立在结构风险最小化准则之上，而不是仅仅使经验风险达到最小，从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足，提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明．该算法能成功地解决很多非监督分类问题。     

基于粗糙集理论的支撑向量机预测方法研究

分析了粗糙集理论方法与支撑向量机方法两者各自的优势和互补性，探讨了粗糙集与支撑向量机的结合方法．然后提出了一种基于粗糙集数据预处理的支撑向量机预测系统。该系统利用粗糙集理论在处理大数据量、消除冗余信息等方面的优势．减少支撑向量机的训练数据，克服支撑向量机方法因为数据量太大，处理速度慢等缺点。将该系统应用于股票价格预测中，与BP神经网络法和标准的支撑向量机方法相比，得到了较高的预测精度，从而说明了基于粗糙集理论的方法作为信息预处理的支撑向量机学习系统的优越性．     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

基于KKT条件与壳向量的增量学习算法研究

摘要针对经典支持向量机难以快速有效地进行增量学习的缺点,提出了基于KKT条件与壳向量的增量学习算法,该算法首先选择包含所有支持向量的壳向量,利用KKT条件淘汰新增样本中无用样本,减小参与训练的样本数目,然后在新的训练集中快速训练支持向量机进行增量学习。将该算法应用于UCI数据集和电路板故障分类识别,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且其学习速度比经典的SMO算法快,可以进行增量学习。     

基于支持向量机的货币识别应用研究

支持向量机是一种新的基于统计学习理论的机器学习算法，它可以应用于小样本、非线性和高维模式识别。研究了支持向量机的学习算法，依据支持向量机的特点采用了相应的货币特征数据获取及预处理方法，提出采用改进SMO训练算法和DAGSVM多值分类算法构建的支持向量机用于货币识别，从而达到对货币高效、准确识别。实验结果证实了该方案的有效性。     

在线草图识别中的用户适应性研究

提出一种在线草图识别用户适应性解决方法，该方法分别采用支撑向量机主动式增量学习和动态用户建模技术进行笔划和复杂图形的识别．支撑向量机主动式增量学习方法通过主动“分析”用户增量数据，并根据用户反馈从中选择重要数据作为训练样本，可有效地鉴别用户手绘笔划特征，快速地识别用户输入笔划．动态用户建模技术则采用增量决策树记录草图的笔划构成及其手绘过程，有效捕捉用户的复杂图形手绘习惯，进而利用模糊匹配在草图绘制过程中预测和识别复杂图形．实验表明：该方法具有很好的效果，为解决在线草图识别及其用户适应性问题提供参考．     

支持向量机核函数选择研究与仿真

支持向量机是一种基于核的学习方法,核函数选取对支持向量机性能有着重要的影响,如何有效地进行核函数选择是支持向量机研究领域的一个重要问题。目前大多数核选择方法不考虑数据的分布特征,没有充分利用隐含在数据中的先验信息。为此,引入能量熵概念,借助超球体描述和核函数蕴藏的度量特征,提出一种基于样本分布能量熵的支持向量机核函数选择方法,以提高SVM学习能力和泛化能力。数值实例仿真验证表明了该方法的可行性和有效性。     

粗糙集学习机器泛化性能控制的结构风险最小化方法

对影响粗糙集学习机器泛化性能的因素进行了分析,通过将结构风险最小化原则引入到粗糙集学习中,提出了粗糙集学习的结构风险最小化方法;通过12个UCI数据集上的实验分析,验证了提出方法的有效性.     

贪婪支持向量机的分析及应用

支持向量机推广性能的分析是机器学习中的一项重要内容.依据可通过最小化本性支持向量个数来构造支持向量机的思路,结合稀疏学习,从贪婪方法的角度出发,提出了一种新的支持向量机,称之为贪婪支持向量机.利用UCI数据库中的乳腺癌数据集来测试贪婪支持向量机算法在平衡估计精确性和解的稀疏性方面的性能.针对设计的贪婪支持向量机,利用经验过程中的方法,得到这一类型支持向量机的推广性能.     

Learning curves for Gaussian process regression: approximations and bounds

We consider the problem of calculating learning curves (i.e., average generalization performance) of gaussian processes used for regression. On the basis of a simple expression for the generalization error, in terms of the eigenvalue decomposition of the covariance function, we derive a number of approximation schemes. We identify where these become exact and compare with existing bounds on learning curves; the new approximations, which can be used for any input space dimension, generally get substantially closer to the truth. We also study possible improvements to our approximations. Finally, we use a simple exactly solvable learning scenario to show that there are limits of principle on the quality of approximations and bounds expressible solely in terms of the eigenvalue spectrum of the covariance function.     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

Support-Vector Networks

Thesupport-vector network is a new learning machine for two-group classification problems. The machine conceptually implements the following idea: input vectors are non-linearly mapped to a very high-dimension feature space. In this feature space a linear decision surface is constructed. Special properties of the decision surface ensures high generalization ability of the learning machine. The idea behind the support-vector network was previously implemented for the restricted case where the training data can be separated without errors. We here extend this result to non-separable training data.High generalization ability of support-vector networks utilizing polynomial input transformations is demonstrated. We also compare the performance of the support-vector network to various classical learning algorithms that all took part in a benchmark study of Optical Character Recognition.     

Deep convolutional learning for general early design stage prediction models

Designers rely on performance predictions to direct the design toward appropriate requirements. Machine learning (ML) models exhibit the potential for rapid and accurate predictions. Developing conventional ML models that can be generalized well in unseen design cases requires an effective feature engineering and selection. Identifying generalizable features calls for good domain knowledge by the ML model developer. Therefore, developing ML models for all design performance parameters with conventional ML will be a time-consuming and expensive process. Automation in terms of feature engineering and selection will accelerate the use of ML models in design.Deep learning models extract features from data, which aid in model generalization. In this study, we (1) evaluate the deep learning model’s capability to predict the heating and cooling demand on unseen design cases and (2) obtain an understanding of extracted features. Results indicate that deep learning model generalization is similar to or better than that of a simple neural network with appropriate features. The reason for the satisfactory generalization using the deep learning model is its ability to identify similar design options within the data distribution. The results also indicate that deep learning models can filter out irrelevant features, reducing the need for feature selection.     

一种新的支持向量机大规模训练样本集缩减策略

支持向量机(SVM)在许多实际应用中由于训练样本集规模较大且具有类内混杂孤立点数据,引发了学习速度慢、存储需求量大、泛化能力降低等问题,成为直接使用该技术的瓶颈。针对这些问题,通过在点集理论的基础上分析训练样本集的结构,提出了一种新的支持向量机大规模训练样本集缩减策略。该策略运用模糊聚类方法快速的提取出潜在支持向量并去除类内非边界孤立点,在减小训练样本集规模的同时,能够有效地避免孤立点数据所造成的过学习现象,提高了SVM的泛化性能,在保证不降低分类精度的前提下提高训练速度。     

基于角度优化的鲁棒极端学习机算法

极端学习机因其学习速度快、泛化性能强等优点,在当今模式识别领域中已经成为了主流的研究方向;但是,由于该算法稳定性差,往往易受数据集中噪声的干扰,在实际应用中导致得到的分类效果不是很显著;因此,为了提高极端学习机分类的准确性,针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法;该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果;其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能;通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

神经网络集成与支持向量机在多值分类问题上的比较研究

神经网络集成和支持向量机都是在机器学习领域很流行的方法。集成方法成功地提高了神经网络的稳健性和精度,其中选择性集成方法通过算法选择差异度大的个体,取得了很好的效果。而支持向量机更是克服了神经网络的局部最优,不稳定等缺点,也在多个方面取得了很好的结果。该文着重研究这两种方法在小样本多类数据集上的性能,在四个真实数据集上的结果表明,支持向量机性能要比神经网络集成稍好.     

Model selection of extreme learning machine based on multi-objective optimization

As a novel learning algorithm for single-hidden-layer feedforward neural networks, extreme learning machines (ELMs) have been a promising tool for regression and classification applications. However, it is not trivial for ELMs to find the proper number of hidden neurons due to the nonoptimal input weights and hidden biases. In this paper, a new model selection method of ELM based on multi-objective optimization is proposed to obtain compact networks with good generalization ability. First, a new leave-one-out (LOO) error bound of ELM is derived, and it can be calculated with negligible computational cost once the ELM training is finished. Furthermore, the hidden nodes are added to the network one-by-one, and at each step, a multi-objective optimization algorithm is used to select optimal input weights by minimizing this LOO bound and the norm of output weight simultaneously in order to avoid over-fitting. Experiments on five UCI regression data sets are conducted, demonstrating that the proposed algorithm can generally obtain better generalization performance with more compact network than the conventional gradient-based back-propagation method, original ELM and evolutionary ELM.