一种基于启发式奖赏函数的分层强化学习方法

针对强化学习在应用中经常出现的维数灾问题,即状态空间的大小随着特征数量的增加而发生指数级的增长,以及收敛速度过慢的问题,提出了一种基于启发式奖赏函数的分层强化学习方法.该方法不仅能够大幅度减少环境状态空间,还能加快学习的收敛速度.将此算法应用到俄罗斯方块的仿真平台中,通过对实验中的参数进行设置及对算法性能进行分析,结果表明:采用启发式奖赏函数的分层强化学习方法能在一定程度上解决维数灾问题,并具有很好的收敛速度.     

一种高斯过程的带参近似策略迭代算法

在大规模状态空间或者连续状态空间中,将函数近似与强化学习相结合是当前机器学习领域的一个研究热点;同时,在学习过程中如何平衡探索和利用的问题更是强化学习领域的一个研究难点.针对大规模状态空间或者连续状态空间、确定环境问题中的探索和利用的平衡问题,提出了一种基于高斯过程的近似策略迭代算法.该算法利用高斯过程对带参值函数进行建模,结合生成模型,根据贝叶斯推理,求解值函数的后验分布.在学习过程中,根据值函数的概率分布,求解动作的信息价值增益,结合值函数的期望值,选择相应的动作.在一定程度上,该算法可以解决探索和利用的平衡问题,加快算法收敛.将该算法用于经典的Mountain Car 问题,实验结果表明,该算法收敛速度较快,收敛精度较好.     

嵌入四分之一正交学习的人工蜂群算法

为解决人工蜂群算法收敛速度慢的问题,根据OL(正交学习)的特点,在最大化利用函数评价次数的前提下,对每次参与正交学习的维数进行优化,提出QOL(四分之一正交学习)方法.在此基础上,将随机选择与精英引导方法结合用于维的选择,保持探索能力的同时,加快收敛速度.QOL方法位于每一代搜索的末尾,方便嵌入ABC算法.在22个基准函数上的实验结果表明,QOL方法可以显著提高人工蜂群算法的求解精度、鲁棒性和收敛速度.     

连续超松弛支持向量机回归算法应用研究

支持向量回归问题的研究,对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对用于分类问题的SOR支持向量机有效算法,提出了SORR支持向量回归算法.在若干不同维数的数据集上,对SORR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值实验结果表明,SORR算法是有效的,与当前流行的支持向量机回归算法相比,在回归精度和学习速度上都有一定的优势.     

一种回归神经网络的快速在线学习算法

针对回归神经网络BP学习算法收敛慢的缺陷,提出了一种新的快速在线递推学习算法.本算法在目标函数中引入了遗忘因子,并借助于非线性系统的最大似然估计原理成功地解决了动态非线性系统回归神经网络模型权系数学习的实时性和快速性问题.仿真结果表明,该算法比传统的回归BP学习算法具有更快的收敛速度.     

结构未知系统降维辨识方法-----变量消去算法

针对结构未知的系统提出一种新的降维辨识方法.借助核函数方法,利用一个高维Volterra模型逼近未知系统.由于Volterra模型未知参数维数较高,为避免高阶矩阵求逆和求特征值,提出变量消去算法,将高维系统的辨识问题转化为两个低维系统辨识问题.通过理论证明采用降维算法后降维系统信息矩阵条件数变小,参数收敛速度得到提高.进一步引入Aitken加速方法提高算法收敛速度,增强算法对步长的鲁棒特性.最后通过仿真例子验证所提出方法的有效性.     

基于改进蜂群算法的K-means算法

针对标准人工蜂群算法搜索效率低、收敛速度慢等缺点提出一种改进的人工蜂群算法.通过引入算术交叉操作以及利用最优解指导搜索方向,增加算法收敛的速度.在7个基准函数上的测试结果表明了算法的有效性.在此基础上,针对K-means算法的缺点提出基于改进蜂群算法的K-means算法,并加入自动获得最佳聚类数的功能.在人工数据集和UCI真实数据集上的测试验证了所提出算法的性能.     

基于样本期望训练数的BP神经网络改进研究

BP算法是神经网络中最常用的算法之一.标准BP算法存在的最主要问题就是易于陷入局部极小、收敛速度慢等问题.针对BP算法的这些问题,出现了许多改进的措施,如引入变步长法、加动量项法等.提出了一种基于样本期望训练数的改进BP算法,仿真实验说明了该算法可以明显提高BP网络学习速度,并且具有简单通用性,可以和其他方法结合,进一步提高算法的收敛速度.     

一种大规模离散空间中的高斯强化学习方法

针对大规模离散空间中强化学习的"维数灾"问题,即状态空间的大小随着特征的增加而发生指教级的增长,提出了一种基于高斯过程的强化学习方法.在本方法中,高斯过程模型有表示函数分布的能力,使用该模型之后,可以得到的不只是一个所需的估计值,而是关于该值的一个分布.实验结果表明,结合了高斯过程的强化学习方法在各方面性能,如收敛速度以及最终实验效果等都有所提高.使用高斯方法的回归模型可以在一定程度上解决大规模离散空间上的"维数灾"问题.     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines, SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

Estimation of convergence rate for multi-regression learning algorithm

In many applications, the pre-information on regression function is always unknown. Therefore, it is necessary to learn regression function by means of some valid tools. In this paper we investigate the regression problem in learning theory, i.e., convergence rate of regression learning algorithm with least square schemes in multi-dimensional polynomial space. Our main aim is to analyze the generalization error for multi-regression problems in learning theory. By using the famous Jackson operators in approximation theory, covering number, entropy number and relative probability inequalities, we obtain the estimates of upper and lower bounds for the convergence rate of learning algorithm. In particular, it is shown that for multi-variable smooth regression functions, the estimates are able to achieve almost optimal rate of convergence except for a logarithmic factor. Our results are significant for the research of convergence, stability and complexity of regression learning algorithm.     

Estimation of learning rate of least square algorithm via Jackson operator

In this paper, regression problem in learning theory is investigated by least square schemes in polynomial space. Results concerning the estimation of rate of convergence are derived. In particular, it is shown that for one variable smooth regression function, the estimation is able to achieve good rate of convergence. As a main tool in the study, the Jackson operator in approximation theory is used to estimate the rate. Finally, the obtained estimation is illustrated by applying simulated data.     

An Equivalence between SILF-SVR and Ordinary Kriging

Support vector regression (SVR) is a powerful learning technique in the framework of statistical learning theory, while Kriging is a well-entrenched prediction method traditionally used in the spatial statistics field. However, the two techniques share the same framework of reproducing kernel Hilbert space. In this paper, we first review the formulations of SILF-SVR where soft insensitive loss function is utilized and ordinary Kriging, and then prove the equivalence between the two techniques under the assumption that the kernel function is substituted by covariance function.     

一种新型自适应神经网络回归估计算法

结合自适应谐振理论和域理论的优点,针对回归估计问题的特性,提出了一种新型神经网络回归估计算法ＦＴＡＲＴ３．该算法学习速度快、归纳能力强,不仅具有增量学习能力,还克服了ＢＰ类算法需要人为设置隐层神经元的缺陷,直线、下弦、二维墨西哥草帽、三维墨西哥草帽等４个实验表明,ＦＴＡＲＴ３在函数近似效果和训练时间代价上都优于目前常用于因归估计问题的ＢＰ类算法。     

支持向量机训练和实现算法综述

支持向量机是在统计学习理论基础上发展起来的一种新的机器学习方法,支持向量机已成为目前研究的热点,并在模式识别、回归分析、函数估计等领域有了广泛的应用。该文在介绍了支持向量机的目前研究、应用状况和新进展的基础上,对支持向量机训练和实现算法进行了综述,最后指出了进一步研究和应用亟待解决的一些问题。     

随机模糊神经网络的结构学习算法研究

基于输入层、隐层、输出层相互关系准则函数的随机模糊神经网络结构学习算法,综合考虑了输入、输出信号对隐层函数的影响。此算法的一个关键的问题是如何确定随机模糊神经网络的最佳隐层节点数。本文给出了确定最佳规则数的一般方法,并根据结果给出了相应的仿真实例。     

Fuzzy Regression Analysis by Support Vector Learning Approach

Support vector machines (SVMs) have been very successful in pattern classification and function approximation problems for crisp data. In this paper, we incorporate the concept of fuzzy set theory into the support vector regression machine. The parameters to be estimated in the SVM regression, such as the components within the weight vector and the bias term, are set to be the fuzzy numbers. This integration preserves the benefits of SVM regression model and fuzzy regression model and has been attempted to treat fuzzy nonlinear regression analysis. In contrast to previous fuzzy nonlinear regression models, the proposed algorithm is a model-free method in the sense that we do not have to assume the underlying model function. By using different kernel functions, we can construct different learning machines with arbitrary types of nonlinear regression functions. Moreover, the proposed method can achieve automatic accuracy control in the fuzzy regression analysis task. The upper bound on number of errors is controlled by the user-predefined parameters. Experimental results are then presented that indicate the performance of the proposed approach.     

基于改进k-最近邻回归算法的软测量建模

机器学习回归方法被广泛应用于复杂工业过程的软测量建模k-最近邻(kNN)算法是一种流行的学习算法,可用于函数回归问题.然而,传统kNN算法存在运行效率低、距离计算忽略特征权值的缺点.本文引入了二次型距离定义和样本集剪辑算法,改进了传统kNN回归算法,并将改进的算法用于工业过程软测量建模.仿真实验得到了一些有益的结论.     

基于线性规划支持向量回归的混沌系统预测

支持向量机是一种基于统计学习理论的新颖的机器学习方法,该方法已经广泛用于解决分类与回归问题。标准的支持向量机算法需要解一个二次规划问题,当训练样本较多时,其运算速度一般很慢。为了提高运算速度,介绍了一种基于线性规划的支持向量回归算法,并由此提出几种新的回归模型,同时将它们应用到混沌时间序列预测中,并比较了它们的预测性能。在实际应用中,可以根据具体情况灵活地选择所需模型。     

基于最小二乘支持向量机的航煤干点软测量应用研究

传统支持向量机是近几年发展起来的一种基于统计学习理论的学习机器,在非线性函数回归估计方面有许多应用。最小二乘支持向量机用等式约束代替传统支持向量机方法中的不等式约束,利用求解一组线性方程得出对象模型,避免了求解二次规划问题。本文采用最小二乘支持向量机解决了航空煤油干点的在线估计问题,结果表明,最小二乘支持向量机学习速度快、精度高,是一种软测量建模的有效方法。在相同样本条件下,比RBF网络具有较好的模型逼近性和泛化性能,比传统支持向量机可节省大量的计算时间。