基于贝叶斯神经网络的非参数回归

提高神经网络模型推广能力的关键是控制模型的复杂度.该文探索了贝叶斯神经网络的非参数回归的建模方法,通过融入模型参数的先验知识,在给定数据样本及模型假设下进行后验概率的贝叶斯推理,使用马尔可夫链蒙特卡罗算法来优化模型控制参数,实现了对神经网络模型中不同部分复杂度的控制,获得了模型参数的后验分布及预测分布.在5个含噪二维函数回归问题上的应用显示了模型的复杂度能根据数据的复杂度而自适应调整,并给出了较好的预测结果.     

基于主成分分析和分类回归树的客户欠费预测

针对电信数据维度增加导致的客户欠费预测算法复杂度过高的问题,提出基于主成分分析和分类回归树的电信客户欠费预测算法。该算法将原始电信数据进行数据缺失值处理、数据冗余识别和数据结构化后,进行数据规范化建模,利用主成分分析算法对建模后的电信数据进行降维处理,将降维后的数据作为分类回归树算法的输入数据对客户是否欠费进行分类,预测客户是否将存在欠费行为。利用实际电信数据进行验证,结果表明该算法的预测错误率为4.49%,预测耗时为17.05s,与分类回归树算法相比,在能够预测客户欠费的同时,还能提高预测效率。     

利用贝叶斯推理估计二维含源对流扩散方程参数

为了克服观测数据的不确定性给参数反演带来的困难,利用贝叶斯推理建立了二维含源对流扩散方程参数估计的数学模型.通过贝叶斯定理,获得了模型参数的后验分布,从而获得反问题的解.对于多参数反演问题,基于数值解计算得到的参数后验分布很难直观地表现出来,采用马尔科夫链蒙特卡罗方法对参数的后验分布进行采样,获得了扩散系数和降解系数的估计值.研究了观测点位置对计算结果的影响;同时研究了似然函数的形式对估计结果的影响,结果表明在异常值可能出现时采用Laplace分布型的似然函数可以获得稳健估计.对不同观测点数目下的估计值进行了对比,认为对于二维稳态对流扩散方程的双参数估计问题,至少需要两个观测点才有可能得到合理的解.     

非参数估计方法

为了解决函数估计问题,首先讨论了传统的参数回归方法.由于传统方法需要先验知识来决定参数模型,因此不稳健,且对模型敏感.因此,引入了基于数据驱动的非参数方法,无需任何先验知识即可对未知函数进行估计.本文主要介绍最新的8种非参数回归方法：核方法、局部多项式回归、正则化方法、正态均值模型、小波方法、超完备字典、前向神经网络、径向基函数网络.比较了不同的算法,给出算法之间的相关性与继承性.最后,将算法推广到高维情况,指出面临计算的维数诅咒与样本的维数诅咒两个问题.通过研究指出前者可以通过智能优化算法求解,而后者是问题固有的.     

基于后验概率特征的改进无监督语音样例检测

针对现有无监督语音样例检测精度不高的现状,提出一种基于后验概率特征和主成分分析的方法。该方法首先利用无标注语料训练GMM,得到训练数据频谱参数的高斯混元后验概率特征向量序列;采用层次聚类算法检测其边界信息得到声学分段,利用K means算法对所有声学分段聚类并添加标签,通过声学分段和标签训练基于后验概率的声学分段模型(ASMs);ASMs将查询项与检索文档的高斯混元后验概率转换为新的后验概率,利用主成分分析方法对其优化处理,保持概率向量维数不变,去除噪声信息,提高后验概率特征向量鲁棒性与区分性;最后通过分段动态时间规整算法检索查询项。实验证明该方法的检索精度较现有方法有显著提升。     

一种基于主成分回归的DV-Hop定位方法

DV-Hop定位算法是一种被广泛运用的定位算法。在各向同性的密集网络中,DV-Hop可以得到比较合理的定位精度,然而在实际分布的网络中,它的精度受到噪声和信标节点之间几何关系的限制。主成分回归方法利用主成分分析方法对原先数据进行重新构造,删除部分主成分,从而消除部分噪声和多重共线性对回归精度、稳定性的影响。根据DV-Hop算法定位过程,在节点位置估计阶段运用主成分回归的方法对定位数据进行重新综合与提取,仅利用有效定位信息进行位置估计。仿真实验结果证明该改进后的算法同样具有原先算法优良特性,且定位精确度有所提高。     

基于随机参数Gamma过程的剩余寿命预测方法

为了提高剩余寿命预测的可信度,针对进行过加速老化试验的产品,提出利用Gamma过程参数的非共轭先验分布进行Bayesian统计推断的剩余寿命预测方法.将加速老化数据作为先验信息,利用Gamma过程进行老化建模,通过加速因子获得形状参数在工作应力下的折算值,使用Anderson-Darling统计量确定随机参数的先验分布.将产品工作中的少量实测数据作为现场信息,利用基于Gibbs抽样的Markov Chain Monte Carlo(MCMC)仿真得到参数的后验均值.以某型导弹电连接器为例说明了该方法的研究意义和工程应用价值.     

岩土参数的概率分布拟合及Bayes方法优化

岩土材料参数由于多种原因具有较大的离散性,对其进行概率统计分析,并优化确定非常必要.以某地区粉质粘土的抗剪强度指标———粘聚力为例,介绍了在获得大样本参数的条件下,进行概率分布拟合的χ2检验法.并以此大样本概型为先验分布,具体工程小样本参数的概型为似然函数,利用Bayes方法得到验后分布的概型参数.计算结果表明,验后分布的方差小于先验分布和似然函数的方差,从而达到优化目的.     

张量线性判别分析算法的脑灰质MRI结像分析

大脑结构MRI数据本质上是三维张量数据,而传统机器学习方法在提取大脑结构特性信息时,需要将其展开为一维向量,破坏了数据的内在结构信息.为了克服数据向量化带来的缺点,提出使用张量线性判别分析算法,用于大脑结构MRI数据分析.并对比基于向量的主成分线性判别分析算法,对20个正常人和20个精神病患者的脑灰质MRI结像进行分类.结果表明张量线性判别分析算法的最高识别率达到95%,其总体识别率、鲁棒性都要优于主成分线性判别分析算法.张量线性判别分析算法在大脑MRI数据分类上要优于传统基于向量的机器学习方法.     

基于函数主成分的函数型数据分类研究

不同属性特征可以反映出数据不同的内在信息,越多的差异性特征对机器识别就更有利,但是越多的特征数目引起数据更高复杂度。针对函数型数据最主要的函数性和导数性这两大特征,本文提出对函数型数据函数特征、一阶导数特征和二阶导数特征的组合集成方法,然后引入函数型主成分分析的方法解决数据的复杂性问题,最后通过函数型主成分距离度量方式,采用k近邻(knn)分类以达到分类的效果。实验分析表明了函数型主成分分析方法与混合多特征组合距离的结合,在函数型数据分类中的有效性。