基于数据分类的领域自适应新算法

一般的机器学习都假设训练数据与测试数据分布相同,而领域自适应算法则是在不同数据分布条件下进行知识传递和学习,在数据挖掘、数据校正、数据预测等领域有着广泛的应用。支持向量机SVM的主要思想是针对二分类问题,在高维空间寻找一个最优分类超平面,以保证最小的分类错误率。CCMEB理论由Tsang I提出的,是一种改进了核向量机CVM的最小包含球算法,在大样本数据集处理上有着较快的速度。而CCMEB理论同样适用于二分类的SVM数据集。将SVM理论、CCMEB理论与概率分布理论相结合,提出了一种全新的基于数据分类的领域自适应算法CCMEB SVMDA,该算法通过计算各自分类数据组的包含球球心,能够有效地对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性。在UCI数据、文本分类等数据上对该算法进行了验证,取得了较好的效果。     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

一种新颖的领域自适应概率密度估计器

传统概率密度估计法建立好密度估计模型后,无法将源域知识传递给相关目标域密度估计模型。提出用无偏置v-SVR的回归函数来表示传统概率密度估计法获得密度估计信息,并说明无偏置v-SVR等价于中心约束最小包含球及概率密度回归函数可由中心约束最小包含球中心点表示。在上述理论基础上提出中心点知识传递领域自适应概率密度估计法,用于解决因目标域信息不足而无法建立概率密度函数的场景。实验表明,此种领域自适应方法进行领域间知识传递的同时,还能达到源域隐私保护的目的。     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

基于RSDE 的领域自适应概率密度估计方法

同一应用领域不同时间、地点或设备,采集的样本数据可能存在扰动、噪音或缺失,如何对样本数据集进行有效的预处理是其进一步应用的前提.针对上述问题,提出一种新的基于压缩集密度估计(RSDE)算法的领域自适应概率密度估计方法 A-RSDE,通过学习源域(训练域)知识,使目标域(测试域)概率密度估计更接近真实概率密度分布,并用基于近似最小包含球的核心集快速算法求解 A-RSDE,将其应用于大数据集密度估计. Benchmark 和 UCI 数据集上的实验表明,该算法具有较好的性能.     

领域自适应的最小包含球设计方法

支持向量域描述(SVDD)算法适用于异常点检测,但对于不同领域样本组的整体快速识别则力不从心.为此,基于SVDD算法提出一种基于最小包含球的领域自适应算法(MEB-DA),并将其发展为基于中心约束型最小包含球的领域自适应法(CCMEB-DA),以满足大样本数据的快速计算.该算法通过计算各自数据组的包含球球心对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性.将所提出的算法应用于无限保真(WIFI)数据的室内定位和人脸识别检测,均取得了较好的效果,从而验证了所提出算法的有效性和快速性.     

基于支持向量机的大样本回归算法比较研究

支持向量机的研究是当前人工智能领域的研究热点。基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题。最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法。文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法。为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较。模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差。     

面向大规模数据属性效应控制的核心向量回归机

属性效应在现实生活中广泛存在,如果不加以控制,将会严重影响回归学习的性能.针对大规模数据属性效应控制的非线性回归学习问题,提出了快速等均值核心向量回归机(fast equal mean-core vector regression, FEM-CVR).首先基于间隔最大化目标学习准则,通过施加等均值约束条件,提出了等均值支持向量回归机(equal mean-support vector regression, EM-SVR).在此基础上,证明了EM-SVR等价于一个中心约束最小包含球(center constrained-minimum enclosing ball, CC-MEB)问题,然后通过引入近似最小包含球理论,得到原始输入数据集的压缩集即核心集(core set),进一步提出了针对大规模数据属性效应控制的最小包含球快速非线性回归学习方法FEM-CVR,并从理论上对相关性质进行了深入分析.实验表明:该方法能够快速处理针对大规模数据属性效应控制的非线性回归学习问题,具有较好的泛化能力,并且其时间复杂度上限与数据集大小无关,仅与最小包含球近似参数ε有关.     

一般化最小包含球的大样本快速学习方法

标准最小包含球(Minimum enclosing ball, MEB)模型的对偶问题可视为MEB问题并能够利用核心集向量机(Core vector machine, CVM)实现大样本的快速训练,但对于一般化MEB模型,对偶问题中的不等式约束发生了变化而不能视为MEB问题, 不能方便地使用CVM来解决大样本的快速训练.为此,提出了一般化MEB快速学习方法(Fast learning of generalized MEB, FL-GMEB),首先放松对偶问题中的不等式约束条件,使其等价于中心约束的MEB问题,从而利用CVM获得其核心集(Core set, CS);然后利用局部线性嵌入(Locally linear embedding, LLE)的逆思想将CS扩充为拓展核心集(Extended core set, ECS);最后将ECS及其对应的优化权作为一般化MEB模型的逼近解. UCI和USPS数据集上的实验结果表明, FL-GMEB在大样本快速训练方面具有较好的性能优势.     

基于最小包含球的大数据集域自适应快速算法

相同应用领域,不同时间、地点或设备检测到的数据域不一定完整。文中针对如何进行数据域间知识传递问题,提出相同领域的概率分布差异可用两域最小包含球中心点表示且其上限与半径无关的定理。基于上述定理,在原有支持向量域描述算法基础上,提出一种数据域中心校正的领域自适应算法,并利用人造数据集和KDDCUP99入侵检测数据集验证该算法。实验表明,这种领域自适应算法具有较好的性能。     

领域适应核支持向量机

领域适应学习是一种新颖的解决先验信息缺少的模式分类问题的有效方法, 最大化地缩小领域间样本分布差是领域适应学习成功的关键因素之一,而仅考虑领域间分布均值差最小化, 使得在具体领域适应学习问题上存在一定的局限性.对此,在某个再生核Hilbert空间, 在充分考虑领域间分布的均值差和散度差最小化的基础上,基于结构风险最小化模型, 提出一种领域适应核支持向量学习机(Kernel support vector machine for domain adaptation, DAKSVM)及其最小平方范式,人造和实际数据集实验结果显示,所提方法具有优化或可比较的模式分类性能.     

基于类分布的领域自适应支持向量机

现有的领域自适应方法在定义领域间分布距离时, 通常仅从领域样本的整体分布上考虑, 而未对带类标签的领域样本分布分别进行考虑, 从而在一些具有非平衡数据集的应用领域上表现出一定的局限性. 对此, 在充分考虑源领域样本类信息的基础上, 基于结构风险最小化模型, 提出了基于类分布的领域自适应支持向量机(Domain adaptation support vector machine based on class distribution, CDASVM), 并将其拓展为可处理多源问题的多源领域自适应支持向量机(CDASVM from multiple sources, MSCDASVM), 在人造和真实的非平衡数据集上的实验结果表明, 所提方法具有优化或可比较的模式分类性能.     

基于数据域描述的模糊支持向量回归

针对支持向量机中由于噪声和孤立点带来的过拟合问题，提出了一种基于支持向量数据域描述的模糊隶属度函数模型，根据样本到特征空间最小包含超球球心的距离来确定其模糊隶属度．将提出的隶属度模型用于模糊支持向量回归中，二维数据集仿真以及工业PTA氧化过程中4-CBA浓度预测的实例表明，提出的模型可以有效减小回归误差，提高支持向量机抗噪声的能力．     

基于支持向量回归的唇动参数预测

支持向量机学习方法以结构风险最小化原则取代传统机器学习方法中的经验风险最小化原则，在有限样本的机器学习中显示出优异的性能．将这一新的统计学习方法应用到多媒体交互作用的研究中，用支持向量回归的方法由语音预测唇动参数．通过对语音的线性预测系数进行主分量分析，有效地压缩了声学特征参数的维数．结合交叉校验和最速下降优化方法，选择最佳的支持向量回归学习参数．在汉语0～9的任意数字串上对唇高参数的预测实验结果达到了均方误差0．0096，平均幅度误差7．2％及相关系数0．8的效果．这一结果优于一个文中优化过的人工神经网络所达到的性能，说明这一方法很有潜力．     

基于最小包围球的支持向量机研究

传统支持向量机的时间空间复杂度和样本个数有关,样本个数大时,将产生时间空间上的巨大耗费。文章通过对一类问题最小包围球研究分析的基础上提出了一种简化算法,该算法对每一类别样本单独构造一个近似最小超球．不仅降低了二次规划问题的复杂度,而且易于扩充。仿真实验表明,该卓法在不降低识别率的情况下,减少了支持向量的个数,降低了算法的复杂度。     

基于最小包围球的支持向量机研究

传统支持向量机的时间空间复杂度和样本个数有关,样本个数大时,将产生时间空间上的巨大耗费。文章通过对一类问题最小包围球研究分析的基础上提出了一种简化算法,该算法对每一类别样本单独构造一个近似最小超球,不仅降低了二次规划问题的复杂度,而且易于扩充。仿真实验表明,该算法在不降低识别率的情况下,减少了支持向量的个数,降低了算法的复杂度。     

利用SVR的非线性动态系统Wiener模型补偿

提出一种新的利用支持向量回归机(SVR)的非线性动态系统维纳(Wiener)模型补偿方法.首先,将非线性动态系统用Wiener模型描述成线性动态子环节和非线性静态增益;再设计结构上与之对应的Wiener补偿器,并进一步将其变换为可用SVR辨识的线性中间模型;最后,通过关系矩阵将中间模型的估计值转换为Wiener补偿器的实际参数.用实际压力响应系统的动态标定实验数据进行测试,结果表明,与最小二乘方法比较,所提方法建立的Wiener补偿器具有更强的抗干扰能力.因此,该研究为非线性动态系统补偿又提供了一种可选方法.