基于复拟随机样本的统计学习理论的理论基础

引入复拟（概率）随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。     

泛空间上学习理论的关键定理

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。     

Sugeno测度空间基于复样本的统计学习理论

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。     

噪声影响的泛空间上的学习理论关键定理

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。     

拟概率空间上结构风险最小化原则

首先,给出了拟概率空间上结构风险最小化原则。然后,为了解决在拟概率空间上结构风险是否一致收敛到期望风险,也就是根据这个最小化原则结构风险是否能收敛到最小可能的风险,给出并证明了结构风险最小化原则的一致收敛性。     

基于复随机样本的结构风险最小化原则

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界.     

基于模糊随机样本的结构风险最小化原则

基于模糊随机样本,提出了熵、退火熵、生长函数和VC维等概念,并在此基础上构建了基于VC维的学习过程一致收敛速度的界;给出了基于模糊随机样本的结构风险最小化原则（FSSRM原则）,证明了基于FSSRM原则下收敛速度渐进分析的相关性质。     

基于随机粗糙样本的统计学习理论研究

介绍随机粗糙理论的基本内容。提出随机粗糙经验风险泛函,随机粗糙期望风险泛函,随机粗糙经验风险最小化原则等概念。最后证明基于随机粗糙样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。     

基于双重随机样本的统计学习理论的理论基础

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。     

模糊样本下学习问题的研究

支持向量机是机器学习领域一个研究热点,而统计学习理论中的关键定理为支持向量机的研究提供了重要的理论基础。基于模糊样本,提出了模糊经验风险最小化原则和非平凡一致性的概念,提出并证明了基于模糊样本的学习理论的关键定理,为研究模糊支持向量机提供了依据。     

The theoretical foundations of statistical learning theory based on fuzzy number samples

Statistical learning theory based on real-valued random samples has been regarded as a better theory on statistical learning with small sample. The key theorem of learning theory and bounds on the rate of convergence of learning processes are important theoretical foundations of statistical learning theory. In this paper, the theoretical foundations of the statistical learning theory based on fuzzy number samples are discussed. The concepts of fuzzy expected risk functional, fuzzy empirical risk functional and fuzzy empirical risk minimization principle are redefined. The key theorem of learning theory based on fuzzy number samples is proved. Furthermore, the bounds on the rate of convergence of learning processes based on fuzzy number samples are discussed.     

The key theorem and the bounds on the rate of uniform convergence of learning theory on Sugeno measure space

In the 1970s, Vapnik[1―3] proposed the Statistical Learning Theory (SLT), which deals mainly with the statistical learning principles when samples are limited. SLT is an im- portant development and supplement of traditional statistics, whose kernel idea …     

On the Algebraic Properties of Intervals and Some Applications

The algebraic properties of interval vectors (boxes) are studied. Quasilinear spaces with group structure are studied. Some fundamental algebraic properties are developed, especially in relation to the quasidistributive law, leading to a generalization of the familiar theory of linear spaces. In particular, linear dependence and basis are defined. It is proved that a quasilinear space with group structure is a direct sum of a linear and a symmetric space. A detailed characterization of symmetric quasilinear spaces with group structure is found.     

属性依赖理论及其在神经网络中的应用

神经网络的优化方法一般仅局限于学习算法、输入属性方面。由于神经网络拟合的高维映射存在复杂的内在属性依赖关系,而传统的优化方法却没有对其进行分析研究。以函数依赖理论为基础,提出了属性依赖理论,阐述了属性依赖的有关定义,证明了相关定理;并且与径向基函数（RBF）神经网络结合,提出了基于属性依赖理论的RBF神经网络结构优化方法（ADO-RBF）。最后通过实例证明了该方法在实际应用中的可行性。