高斯过程回归的近似方法及其应用

作为机器学习的一个分支,高斯过程回归在近年来越来越受到重视,在诸多领域得到了广泛的应用;该方法适用于非线性系统的建模,并可以自动在模型的复杂度和建模精度之间进行权衡;但是由于计算复杂度较高,其难以直接被应用于大数据量的学习任务,因此,很多近似方法被发展出来以降低其计算成本;根据是否将训练数据划分为子集,高斯过程回归的近似方法可以被分为全局近似方法和局部近似方法;文章首先阐述了高斯过程回归的理论基础,接下来对全局和局部这两种近似方法进行了分析,然后介绍了其在实际应用中的情况,特别是在软测量和控制领域,最后进行了总结和对其未来研究方向的展望。     

选用改进高斯过程回归模型的碳排放短期预测

针对于采矿过程中以电机为研究对象的碳排放来源的复杂性以及其影响因素的多样性所引起的碳排放短期预测精度不高的问题,结合灰色理论提出一种基于改进高斯过程回归模型的铅锌矿采矿过程碳排放预测方法。对碳排放来源及其影响因素进行分析,用灰色理论进行聚类分析以归并同类因素;根据灰色关联性分析得到主要影响因素;因传统高斯过程回归模型直接选定协方差函数的方式易导致与研究对象的物理过程拟合度不够高的问题,因而提出了一种依据先验知识的协方差函数选择方式,将四种常用协方差函数建模的训练结果作为反馈,结合极大似然估计法、最小二乘法和蒙特卡洛法参数估计的对比结果得到与研究对象拟合度最高即预测误差最小的协方差函数,进而得到预测效果最好的改进模型。经实验证明,基于该种方法选择协方差函数的模型相较于其他常规预测模型能更精确地预测铅锌矿采矿过程的碳排放量,其预测误差更小。     

基于高斯过程模型的异常检测算法

为检测数据中的异常信息,提出基于高斯过程模型的异常检测算法。高斯过程可以根据训练样本从先验分布转到后验分布,对核函数的超参数进行推理,预测输出具有清晰的概率解释。对基于高斯过程模型的异常检测算法进行定义和描述,用Server Computers(电脑服务器)数据进行仿真实验,结合高斯过程先验和回归理论,在实验中选取RBF作为核函数,利用目标类数据的特性构造特征向量集,在TE工业过程时序数据集上验证了该算法的适用性和有效性。     

基于计算机模拟与高斯过程回归的优化设计方法

为充分利用计算机试验数据,本文提出了一种基于计算机模拟的优化设计方法。该方法由正交试验设计、高斯过程回归及序列二次规划组成。其中,应用有限元软件进行正交试验,通过高斯过程回归建立输入响应关系,采用SQP算法求解优化模型。经实例验证,计算结果合理,优化方法有效,从而能够减少计算机模拟的次数,提高设计效率。     

基于高斯过程回归的三轴磁传感器校正方法研究

针对三轴磁传感器的转向差校准,本文提出基于高斯过程回归的误差补偿方法,在均匀磁场环境下多次旋转得到磁测数据,通过高斯过程回归拟合传感器磁测数据与真实磁场之间的映射关系,完成三轴磁传感器的校正.仿真和实验结果均证明该算法对小样本数据具有良好的校正效果,同时分析对比了几种常见核函数对校正性能的影响,进一步验证高斯过程回归法对磁传感器校正的有效性,将磁测数据的最大峰峰值误差从1168.44 nT降低到2.75 nT,显著降低了三轴磁传感器的测量误差.     

基于高斯过程回归的多姿态人脸识别

针对在人脸识别中,人脸姿态的变化会对识别结果造成严重的干扰这一问题,以及目前绝大多数人脸识别系统仅支持标准正脸的识别这一现状,基于高斯过程回归分析侧脸轮廓到正脸轮廓的映射关系,提出一种处理侧角在水平-45°到+45°之间的人脸图片的方法,显著地提升了人脸识别系统对侧脸图片的识别率。在Mulit-Pie和FERET两个人脸数据库上进行的多次识别实验表明了该方法的有效性。     

高斯过程机器学习的基线计算算法

为了对网络监视领域中样本进行预测和相关处理,大多数研究在计算基线时都忽略了样本的概率特征,未能结合样本的数据分布,对样本进行相关的处理,忽略了利用样本的周期特性和数据分布对样本进行相关处理的改进空间.因此,本文分析样本历史数据的噪音,通过引入高斯过程机器学习方法,提出基于周期样本的高斯过程机器学习方法,通过采用复合核函数,实现了网络主动监控中的基线计算.首先对＂周期数据＂进行聚类处理,同时将核函数拆分为全局核函数部分和局部核函数部分,使用聚类点训练全局核函数部分;使用局部点训练局部核函数.通过实验,与其它算法相比大大提高了效率,而且保证了近似的准确性.最终保障网络安全、提升网络性能和用户满意度.     

基于高斯过程回归的网络流量预测模型

针对传统网络流量预测精度低难题,为了获得理想的网络流量预测结果,提出一种基于高斯过程回归(GPR)的网络流量预测模型。该模型首先计算延迟时间和嵌入维数,构建高斯过程回归的学习样本;然后采用高斯过程回归对网络流训练集进行学习,并采用入侵杂草优化对高斯过程回归的参数进行优化;最后采用经典的网络流量测试集对该模型性能进行实验测试。实验结果表明,高斯过程回归模型提高了网络流量的预测精度。     

面向图像数据集的高斯过程分类

高斯过程分类是近年机器学习领域引起广泛关注的一类有监督的学习算法。该算法在高斯过程的先验假设下,以后验概率最大化的为目标,获得对新样本的预测值及属于该值的概率。针对图像数据的特性,提出一种将高斯过程应用于图像分类的方法,同时在此基础上给出对图片进行排序的一种方案。在公开的图像数据集上进行了实验,并与支持向量机分类器进行对比,证实了其有效性,为改进图像分类技术提供一条可供参考的途径。     

Stream water temperature prediction based on Gaussian process regression

The prediction of stream water temperature presents an interesting topic since the water temperature has a significant ecological and economical role, such as in species distribution, fishery, industry and agriculture water exploitation. The prediction of stream water temperature is usually based on appropriate mathematical model and measurements of different atmospheric factors. In this paper, a probabilistic approach to daily mean water temperature prediction is proposed. The resulting model is a combination of two Gaussian process regression models where the first model describes the long-term component of water temperature and the other model describes the short-term variations in water temperature. The proposed approach is developed even further by modeling the short-term variations with multiple Gaussian process regression models instead with a single one. Apart from that, variable selection procedure based on mutual information is presented which is suitable for input variable selection when nonlinear models for stream water prediction are developed. The proposed approach is compared with traditional modeling approaches on the measurements obtained on the Drava river in Croatia. The presented methodology can be used as a basis of the predictive tools for water resource managers.     

基于拍卖理论和高斯过程回归学习的频谱分配算法

针对认知无线网络中认知用户的频谱分配问题,提出了一种基于拍卖理论和高斯过程回归学习的频谱分配算法。该算法基于VCG拍卖模型,考虑认知用户对通信质量的要求,构造出更有效的收益函数。在频谱拍卖过程中,认知用户通过学习拍卖历史数据预测其他认知用户的竞价,并最优化其竞价策略。频谱拍卖人根据各认知用户提交的竞价来分配频谱资源。理论分析和仿真结果证明了该算法是有效的,并且能够提高频谱利用率和认知用户的收益。     

台风最大风速预测的高斯过程回归模型

针对影响台风最大风速的输入变量较多以及输入变量与输出变量之间的非线性变化特点,首先计算各个输入变量与输出变量间的互信息,这些互信息间接地反映了各个输入变量与输出变量间的相关性;然后根据t检验法确定一个阈值,对于互信息小于阈值的输入变量作不相关变量处理,筛选出最佳的模型输入变量;最后采用高斯过程回归模型对筛选后的样本集进行拟合,在贝叶斯非参数建模的框架下,确定高斯过程回归模型的协方差函数.仿真结果表明,所得高斯过程模型能够满足绝对误差的预定要求,且具有较大的实用价值.     

高斯过程及其在高光谱图像分类中的应用

高光谱遥感图像分类是高光谱成像信息处理的研究热点,高光谱成像的内在特点对于分类器设计具有直接影响.高斯过程是近年来发展迅速的一种新的机器学习方法,具备容易实现、超参数可自适应获取以及预测输出具有概率意义等优点,比较适合于处理图像分类问题.首先对高斯过程的基本概念及其主要的分类算法进行了简要介绍,然后在对高光谱图像分类的特点和高光谱图像分类的研究现状的分析基础上,讨论了基于高斯过程的高光谱图像分类的基本思想,提出了基于空间约束的高斯过程分类和基于半监督高斯过程分类等适合高光谱图像分类的新方法.最后对基于高斯过程的高光谱图像分类研究的发展趋势进行了展望.     

基于小波分析和Gaussian回归的急性低血压预测

急性低血压是危害病人健康的并发症之一,对急性低血压发生的提早预测,能够帮助医生对重症病人找到更好的医疗处理方案。提出了一个基于趋势分量的Gaussian函数拟合预测模型,即用小波多尺度分析提取出信号的趋势分量;再根据Gaussian回归模型对趋势分量进行函数拟合,得到的函数参数作为特征值,用支持向量机SVM对数据分类。Gaussian回归模型使用的是数据驱动,用系数来描述数据之间的关系。通过在较大病人数据集上实验得到了较好的效果。     

Robust Gaussian process modeling using EM algorithm

Gaussian process (GP) regression is a fully probabilistic method for performing non-linear regression. In a Bayesian framework, regression models can be made robust by using heavy-tailed distributions instead of using normal distribution for modeling noise. This work focuses on estimation of parameters for robust GP regression. In literature, these are learned by maximizing the approximate marginal likelihood of data. However, gradient-based optimization algorithms which are used for this purpose can be unstable or may require tuning. In this work, an EM algorithm based approach is derived and implemented to infer the parameters. The pros and cons of the two approaches are analyzed. The advantage of EM algorithm lies in its ease of implementation and theoretical guarantees of numerical stability and convergence while its prediction performance is still comparable to gradient-based approaches. In some cases EM algorithm may be slow to converge. To circumvent this issue a faster EM based approach known as Expectation Conjugate Gradient (ECG) is implemented on robust GP regression. Finally, the proposed EM approach to robust GP regression is validated using an industrial data set.     

A sparse Gaussian process regression model for tourism demand forecasting in Hong Kong

In recent years, Gaussian process (GP) models have been popularly studied to solve hard machine learning problems. The models are important due to their flexible non-parametric modeling abilities using Mercer kernels and the Bayesian framework for probabilistic inference. In this paper, we propose a sparse GP regression (GPR) model for tourism demand forecasting in Hong Kong. The sparsification procedure of the GPR model not only decreases the computational complexity but also improves the generalization ability. We experiment the proposed model with monthly demand data that are relevant to Hong Kong’s tourism industry, and compare the performance of the sparse GPR model with those of various kernel-based models to show its effectiveness. The proposed sparse GPR model shows that its forecasting capability outperforms those of the ARMA model and the two state-of-the-art SVM models.     

高斯过程回归模型多扩展目标多伯努利滤波器

针对复杂不确定性环境下不规则形状的多扩展目标跟踪问题, 本文提出了一种基于高斯过程回归(GPR) 模型的多扩展目标多伯努利(GPR–ETCBMeMBer)滤波算法. 首先, 在利用有限集统计理论(FISST)将多扩展目标的 状态集与量测集分别建模为多伯努利随机有限集(MBer RFS) 和泊松随机有限集(Poisson RFS) 的基础上, 通过 GPR方法建立多扩展目标随机超曲面的跟踪滤波模型. 然后, 基于容积卡尔曼滤波器(CKF)详细推导并提出GPR多 扩展目标多伯努利滤波算法的高斯混合(GM)实现. 最后, 通过构造对星凸形多扩展目标和多群目标跟踪的仿真实 验验证了本文所提算法的有效性.