基于一类局部固定核的支持向量回归建模

在考虑样本向量相似性的基础上,提出一种核函数--高斯余弦核,并证明了该核是一类局部固定核.局部固定核同时描述了样本全局和局部结构,因而高斯余弦核可将样本数据映射到信息描述更为丰富的特征空间.将该核用于Logistic混沌时间序列和煤气炉数据集的支持向量回归建模与预测,仿真结果表明所提出的方法能有效地提高预测精度,而且不增加算法的复杂度.     

一种新的回归型约简多分辨率相关向量机

提出一种新的稀疏贝叶斯回归算法.基于相关向量机,首先通过尺度核和小波核构造完备基以提高预测精度;然后利用保局投影对输入矩阵的列进行主成分提取以减少训练时间,从而形成算法的初步模型.为进一步减小较大规模训练数据集的回归时间压力,算法对训练数据集的分层采样建立了初步模型,进而产生实际较小规模的训练数据集.实验结果表明,算法在预测精度和鲁棒性上优于传统支持向量机和相关向量机,且其训练时间较相关向量机少.     

基于双支持向量回归机的增量学习算法

提出了一种基于双支持向量回归机的增量学习算法。将获取到的新样本加入训练数据集后,该算法无需在整个新的数据集上重新训练双支持向量回归机,而是充分利用增量前的计算信息,从而大大减少了模型更新中逆矩阵的计算量,提高了算法的执行效率。在人工数据集、时间序列预测和UCI数据集上的数值实验表明,该算法快速有效。     

基于核矩阵的Isomap增量学习算法研究

Isomap算法嵌入向量求解依赖于所有的初始样本,在增加新数据时需要较长时间重新计算所有数据样本间的测地距离.为了提高运算速度,提出一种基于核函数的增量学习Isomap算法,将测地距离矩阵当作一个核矩阵,并通过常数增加的方法保证测地距离矩阵满足Mercer条件,算法只需要计算新增点与原有数据点间的测地距离.与核主成分算法一样,新增点的投影值计算变为核矩阵上的特征分解.在Swiss,Helix和多姿态人脸数据中的实验结果表明,算法大大降低了计算复杂度,有利于快速发现隐藏在高维空间的低维流形分布.     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

基于贪心核特征提取方法的中期峰值负荷预测

针对中期电力负荷预测, 提出基于贪心核主元回归(GKPCR)、贪心核岭回归(GKRR) 的特征提取建模方法. 通过对核矩阵的稀疏逼近, GKPCR和GKRR两种贪心核特征提取方法旨在寻找特征空间中数据的低维表示, 计算需求低, 适用于大数据集的在线学习. 将所提出的方法应用于不同地区的电力负荷中期峰值预测, 并与现有预测方法进行了比较. 实验结果表明, 在同等条件下, 所提出的方法能有效地改进预测精度, 而且性能更好, 显示了其有效性和应用潜力.

     

基于层次聚类算法和偏最小二乘的特征选择

特征选择应尽可能考虑特征的预测能力、特征间的相关性以及算法的计算效率等因素.由于目前Filter和Wrapper两类特征选择方法均存在着缺陷,提出了一种适用于回归的基于层次聚类算法和偏最小二乘的特征选择方法,它不但能选取出预测能力较强的特征,而且使选出的特征间的相关性低.仿真实验表明,将该方法用于盾构隧道施工地面沉降的回归预测中,所选取的最优特征子集使回归模型的精度得到提高,训练时间明显下降.     

基于改进在线支持向量回归的离子浓度预测模型

针对湿法炼锌净化过程中杂质离子浓度检测的大滞后特性和模型失效问题.提出了基于在线支持向量回归的离子浓度预测模型.该模型对每个新样本进行增量学习,并能删除数据集中的一个旧样本.进而提出用分块矩阵的方法解决更新算法计算复杂的问题.将该建模方法应用于离子浓度的预测,结果表明预测模型具有较好的泛化性能,模型更新时间明显缩短,有效地提高了适应工况的实时性.     

基于核偏最小二乘回归分析的线损率预测

研究了线损率预测问题。由于影响线损率的因素间存在着复杂的非线性和强相关性,一般方法难以得到较高精度的预测结果。针对线损率的特点,为了提高预测精度,本文首次将核偏最小二乘回归算法应用于线损率预测。先以历年来的线损率及其相关数据为样本建立预测模型,然后对预测年线损率进行预测。以某电网为实例进行仿真,并将仿真结果与其他方法所得到的仿真结果进行比较。结果表明基于核偏最小二乘回归分析的线损率预测具有较高精度,能较好地克服变量相关性和非线性因素对预测模型的不利影响,为电力企业制订科学合理的线损率计划提供理论依据。     

基于类内方差和位置敏感哈希的多经验核学习

多随机经验核学习机（multiple random empirical kernel learning machine,MREKLM）选取少量样本来构造经验特征空间,但在投影时没有考虑数据的分布信息,并且样本选择时间长。为了利用样本的分布信息,引入了类内散度矩阵,提出了基于类内方差的多经验核学习（ICVMEKL）,使得样本在投影时能考虑样本类内信息,强化了分类边界,提高了分类精度。进一步,为了降低样本选择时间,利用了基于位置敏感哈希的边界点提取方法（BPLSH）来选择样本,提出了基于位置敏感哈希算法改进的ICVMEKL（ICVMEKL_I）,使构建经验核的样本不再需要从候选集中获取,降低了训练时间。多个数据集上的实验结果表明,ICVMEKL能有效提高精度,ICVMEKL_I能大幅降低训练时间,两者都表现出了良好的泛化性能。