基于贝叶斯神经网络的非参数回归

提高神经网络模型推广能力的关键是控制模型的复杂度.该文探索了贝叶斯神经网络的非参数回归的建模方法,通过融入模型参数的先验知识,在给定数据样本及模型假设下进行后验概率的贝叶斯推理,使用马尔可夫链蒙特卡罗算法来优化模型控制参数,实现了对神经网络模型中不同部分复杂度的控制,获得了模型参数的后验分布及预测分布.在5个含噪二维函数回归问题上的应用显示了模型的复杂度能根据数据的复杂度而自适应调整,并给出了较好的预测结果.     

基于贝叶期神经网络的非参数回归

提高神经网络模型推广能力的关键是控制模型的复杂度，该文探索了贝叶期神经网络的非参数回归的建模方法，通过融入模型参数的先验知识，在给定数据样本及模型假设下进行后验概率的贝叶期推理，使用马尔可夫链蒙特卡罗算法来优化模型控制参数，实现了对神经网络模型中不同部分复杂度的控制，获得了模型和的后验分布及预测分布，在5个含噪二维函数回归问题上的应用显示了模型的复杂度能根据数据的复杂度而自适应调整，并给出了较好的预测结果。     

部分线性变系数模型误差方差的估计

半参数模型既含有参数分量,又含有非参数分量,在保留非参数模型灵活性的同时又克服了"维数灾祸"问题.处理这类模型的方法融合了参数回归模型中常用的方法和近年来发展起来的非参数方法,但是也并非这2类方法的简单叠加,其复杂性和难度都超过了单一性质的回归模型.不同于文献中研究回归系数的统计推断问题,而是研究部分线性变系数半参数模型误差变量的方差估计问题.首先,利用局部常数化回归函数系数,将半参数模型转换为了高维线性模型,进而构造了基于最小二乘法的方差估计量,并证明了所得估计量渐近服从正态分布.为了减少最小二乘法估计量的均方误差,还提出了基于该线性模型的一类惩罚估计量,称之为岭估计.最后,通过数值模拟验证了所提2种估计方法的有限样本性质.     

基于粒子滤波和优化TVAR模型的时频分析算法

传统的卡尔曼滤波(KF)或时变参数自回归(TVAR)模型对非高斯和强非平稳信号处理无能为力,其算法往往跟踪不上频率的变化。粒子滤波能够处理非线性/非平稳问题,并与TVAR模型结合可获得较好的时频跟踪性能。然而,巨大的计算量是粒子滤波的主要问题。由于粒子滤波通常依赖于大量的粒子数目,尤其是估计量维数较高时,会产生较大的计算负荷。文章提出了一种基于优化TVAR模型结合粒子滤波的时频分析算法,实现了对非平稳、非高斯信号时频谱的准确估计,通过优化的TVAR模型跨过时变参数而直接以频率为估计量,并动态检测频率成分个数,降低估计量维数,从而比传统方法减低了一半以上的计算复杂度。通过仿真信号实验证明,文中算法时频分析精准度明显优于传统算法,并较大幅度地改善了计算性能。     

基于粒子群算法的Universum SVM参数选择

分类器的模型参数对分类结果有直接影响.针对引入无关样本的Universum SVM算法中模型参数选择问题,采用粒子群优化(particle swarm optimization,PSO)算法对其进行优化.该方法概念简单、计算效率高且受问题维数变化的影响较小,可实现对多个参数同时优选.此外,在PSO中粒子适应度函数的选择是一个关键问题.考虑k遍交叉验证法的估计无偏性,利用交叉验证误差作为评价粒子优劣的适应值.通过舌象样本数据实验,对参数优选前后测试样本识别正确率进行比较,实验结果验证了该算法的有效性.     

随机右删失数据下单调回归函数的估计

为了在随机右删失数据情况下,给出单调回归函数的合理估计,利用最大凸弱函数的理论和把未删失数据垫高的统计思想,得到了单调回归函数的一个新的估计.与核估计等传统的估计相比,该估计保证了单调性,因此在实际应用中(如儿童的生长曲线的制定等),当出现右删失情况且由历史经验或常识断定回归函数是单调函数时,该估计方法更加自然和贴近实际.并在一定的假设条件下,研究了该估计的渐近分布和相合性,得到了较好的极限性质.     

消费函数的非参数回归与实证分析

讨论了传统线性消费函数模型估计的不足,采用随机变量密度函数的非参数核估计和核回归,对我国2004年城镇居民的实际消费数据进行实证分析,结果表明非参数回归结果要优于线性回归.     

函数型Logistic回归模型研究与应用

作为一种新型高维数据,函数型数据重在研究数据的内在本质而不是外在结构,通过非参数方法将数据拟合为函数型数据以捕捉更多信息.针对响应变量为二分类情形,建立贝叶斯框架下的函数型Logistic回归模型,引入适当的先验信息并利用MCMC算法获得参数的条件后验分布.具体解决流程为:选取由数据驱动的主成分基函数对回归系数函数和回归函数型自变量进行展开,对展开项数进行截断,利用主成分基函数的正交性,将高维数据进行低维表示;再利用Polya-Gamma变换,建立易于获得参数后验的Gibbs抽样算法,从而得到回归函数展开项系数的后验分布.蒙特卡洛模拟结果显示,该方法具有较好的分类性能.将该方法应用于Tecator实际数据,发现其分类效果优于别的方法.     

面向监控视频的行为模式挖掘

行为模式挖掘技术是监控视频语义分析的重要组成,由于先验知识的缺乏与特征维数约束,难以准确定义参数化挖掘模型的结构复杂度,通过非参数化的无限高斯混合聚类运动特征得到原子行为模式,并估计其持续时间分布,使用局部特征维测试验证了挖掘模型的运动相似性假设。结果表明所得到的行为模式集准确刻画了场景的潜在运动语义,而通过行为中存在的时间多形态分布进一步发现了隐藏运动知识。     

DEBBSS信号源盲分离算法的研究

在基于人工神经网络的信号源盲分离算法中,普遍需要使用通过源信号的概率密度函数定义的评价函数（score function）作为网络的激活函数（Activation function）.由于信号源未知,因此无法获得有关评价函数的信息,传统的方法是利用某些特定的非线性函数来替代源信号的评价函数.这种利用非线性函数替代源信号评价函数的方法能够成功地实现同系混合（homogeneous mixture）信号的盲分离,但都不能分离杂系混合（hybrid mixture）信号.文献[1]利用非参数法概率密度函数估计的核函数方法,通过对源信号评价函数的直接估计,提出了一种基于概率密度函数估计的DEBBBS算法,成功地解决了非线性函数替代方法存在的不能分离杂系混合信号的问题.笔者通过数值仿真,比较了DEBBBS算法与著名的EASI算法,证明新算法分离杂系混合信号的有效性.同时,也进一步将DEBBSS算法与同样能够分离杂系混合信号的EXTICA算法进行了比较,计算机仿真过程证明,即使与同样能够分离杂系混合信号的EXTICA算法相比,DEBBSS算法在算法的有效性和稳定性方面也表现出优异的性能.