高斯核选择的线性性质检测方法*

核选择直接影响核方法的性能.已有高斯核选择方法的计算复杂度为Ω(n²),阻碍大规模核方法的发展.文中提出高斯核选择的线性性质检测方法,不同于传统核选择方法,询问复杂度为O(ln(1/δ)/ ^{2),计算复杂度独立于样本规模.文中首先给出函数 线性水平的定义,证明可使用 线性水平近似度量一个函数与线性函数类之间的距离,并以此为基础提出高斯核选择的线性性质检测准则.然后应用该准则,在随机傅里叶特征空间中有效评价并选择高斯核.理论分析与实验表明,应用性质检测以实现高斯核选择的方法有效可行.}     

基于Voronoi图的定性路径

定性路径是定性空间推理的一个基本概念。给出了一个基于Voronoi图的定性路径表示与推理方法。该方法应用Voronoi图的邻近关系来表示定性位置和定性路径,即用运动点所在Voronoi区域的邻域来表示定性位置,用运动点所经过的定性位置序列来表示定性路径。设计并实现了一个定性路径推理算法,基于初始Voronoi图及不同时刻所有Voronoi区域的边数来动态更新Voronoi图邻近关系,可识别出运动点并找出定性路径。实验结果表明,该方法是可行的。     

基于Ising计算树的均值场区间传播算法

基于不完全泛函迭代,设计一个均值场区间传播算法,可给出变量期望界.首先,定义Ising均值场计算树模型来表示Ising均值场迭代计算过程.然后,基于Ising计算树设计均值场区间传播算法,通过在计算树上进行消息区间传播,计算出根变量簇变量期望区间.同时证明在2层计算树上区间传播算法给出的变量期望区间包含期望精确值,即给出变量期望界.最后,通过对比实验验证该算法的有效性和期望界的紧致性.     

一类新的球面核函数的构造

核方法是当前机器学习、模式识别和数据挖掘的重要方法,核函数的构造是应用核方法的关键.首先分析了核函数的基本性质,然后从理论上构造了一个新的球面核函数,并结合仿真实验进一步说明了该球面核函数的性质.理论分析和实验结果阐明了所提出的球面核函数的合理性和有效性.     

基于论据系统的带权定性概率推理机

定性概率推理是不确定性推理领域的一种重要方法。将定性概率推理的论据系统方法和抽象系统方法二者合而为一,在定性概率推理机(QPR)的基础上提出基于论据系统的带权定性概率推理机(WQPR)。首先扩展了带权定性概率网的定义,讨论了带权定性影响的对称性;其次将带权定性概率推理融入到论据系统中,提出WQPR推理系统,相比QPR能够在更精确的尺度进行不确定性推理,并证明了系统的正确性与完备性。     

正则化路径上三步式SVM贝叶斯组合

模型组合旨在整合并利用假设空间中多个模型提高学习系统的稳定性和泛化性.针对支持向量机(support vector machine,SVM)模型组合多采用基于样本采样方法构造候选模型集的现状,研究基于正则化路径的SVM模型组合.首先证明SVM模型组合Lh-风险一致性,给出SVM模型组合基于样本的合理性解释.然后提出正则化路径上的三步式SVM贝叶斯组合方法.利用SVM正则化路径分段线性性质构建初始模型集,并应用平均广义近似交叉验证(generalized approximate cross-validation,GACV)模型集修剪策略获得候选模型集.测试或预测阶段,应用最小近邻法确定输入敏感的最终组合模型集,并实现贝叶斯组合预测.与基于样本采样方法不同,三步式SVM贝叶斯组合方法基于正则化路径在整个样本集上构造模型集,训练过程易于实现,计算效率较高.模型集修剪策略可减小模型集规模,提高计算效率和预测性能.实验结果验证了正则化路径上三步式SVM模型组合的有效性.     

支持向量学习的多参数同时调节

模型选择是支持向量学习的关键问题.已有模型选择方法采用嵌套的双层优化框架,内层执行支持向量学习,外层通过最小化泛化误差的估计进行模型选择.该框架过程复杂,计算效率低.简化传统的双层优化框架,提出一个支持向量学习的多参数同时调节方法,在同一优化过程中实现模型选择和学习器训练.首先,将支持向量学习中的参数和超参数合并为一个参数向量,利用序贯无约束极小化技术(sequential unconstrained minimization technique,简称SUMT)分别改写支持向量分类和回归的有约束优化问题,得到多参数同时调节模型的多元无约束形式定义;然后,证明多参数同时调节模型目标函数的局部Lipschitz连续性及水平集有界性.在此基础上,应用变尺度方法(variable metric method,简称VMM)设计并实现了多参数同时调节算法.进一步地,基于多参数同时调节模型的性质,证明了算法收敛性,对比分析了算法复杂性.最后,实验验证同时调节算法的收敛性,并实验对比同时调节算法的有效性.理论证明和实验分析表明,同时调节方法是一种坚实、高效的支持向量模型选择方法.     

KMA-α:一个支持向量机核矩阵的近似计算算法

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.     

正则化路径上的支持向量机模型组合方法

模型组合是提高支持向量机泛化性的重要方法,但存在计算效率较低的问题。提出一种基于正则化路径上贝叶斯模型平均的支持向量机模型组合方法,在提高支持向量机泛化性的同时,具有较高的计算效率。基于正则化路径算法建立初始模型集,引入对支持向量机的概率解释。模型的先验可看做是一个高斯过程,模型的后验概率通过贝叶斯公式求得,使用贝叶斯模型平均对模型进行组合。在标准数据集上,实验比较了所提出的模型组合方法与交叉验证及广义近似交叉验证（GACV）方法的性能,验证所提出的模型组合方法的有效性。