求解广义支持向量机的光滑型算法

提出一种求解支持向量机(SVMs)的光滑型算法.该算法基于其对偶优化模型的KKT系统,提出一类新的光滑函数族,将其KKT系统重构为一个光滑方程组,并采用光滑型算法进行求解.在适当的条件下,该算法是全局收敛和局部超线性收敛的.多个算例表明该算法非常有效,具有广阔的应用前景.     

Padé32光滑支持向量机模型的构造及其应用

含无约束条件支持向量机的目标函数具有不光滑性,使得研究者难以采用快速的最优化算法对其进行求解.为了克服支持向量机的不可微性,文章首先应用有理逼近的方法,提出了一种新的Padé32逼近式光滑函数并建立了基于该函数的光滑支持向量机模型.其次,分析并证明了新光滑函数的逼近精度均高于已有的各种光滑函数,以及新模型的收敛性.最后,基于UCI机器学习数据库,将本文构造的Padé32–SSVM模型应用于若干种疾病的诊断、钞票验伪和生物可降解性分析中,结果表明本文建立的新光滑支持向量机模型具有较高的分类精度.     

基于三次样条插值的支持向量机研究

在传统支持向量机的分类求解算法中,严格凸的无约束最优化问题中单变量函数X+是不可微的,三次样条插值多项式光滑的支持向量机模型采用的是一种多项式光滑技术,使用三次样条插值二次多项式来逼近单变量函数O+,将原始非光滑的支持向量机模型转化为光滑模型,从而可以使用最常用的最优化的算法进行求解,给出了使用三次样条插值方法来光滑单变量函数的具体推导过程.使用UCI机器学习数据集中的数据,通过实验验证了该模型的有效性.     

Pad′e32光滑支持向量机模型的构造及其应用

含无约束条件支持向量机的目标函数具有不光滑性, 使得研究者难以采用快速的最优化算法对其进行求解. 为 了克服支持向量机的不可微性, 文章首先应用有理逼近的方法, 提出了一种新的Pad′e32逼近式光滑函数并建立了基于该 函数的光滑支持向量机模型. 其次, 分析并证明了新光滑函数的逼近精度均高于已有的各种光滑函数, 以及新模型的收 敛性. 最后, 基于UCI机器学习数据库, 将本文构造的Pad′e32–SSVM模型应用于若干种疾病的诊断、钞票验伪和生物可 降解性分析中, 结果表明本文建立的新光滑支持向量机模型具有较高的分类精度.     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

分段光滑的半监督支持向量分类机

为了解决半监督支持向量分类优化模型中的非凸非光滑问题,基于分段逼近的思想提出了一个分段函数,并以此逼近非凸非光滑的目标函数。给出的分段函数可以根据不同的精度要求选择不同的逼近参数,同时构造出基于上述分段函数的光滑半监督支持向量机模型。采用了LDS(Low Density Separation)算法求解模型,分析了其对对称铰链损失函数的逼进精度。理论分析和数值实验结果都证明分段光滑的半监督支持向量机的分类性能和效率优于以往提出的光滑模型。     

一个新的多项式光滑支持向量机

光滑支持向量机(SSVM)是支持向量机(SVM)的快速求解模型,拥有更快的求解速度和训练效果。基于光滑的分段多项式函数和插值思想推导出一个新的光滑函数,从而可以更好地逼近正号函数。通过所得到的新光滑函数改进多项式光滑支持向量机模型(PSSVM),得到了更新的光滑支持向量机模型。还给出了新光滑函数的逼近性能和精度分析以及新模型的收敛性证明和最优解的逼近上限。数值实验表明,所提出的新光滑支持向量机模型性能优于PSSVM模型。     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression, STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale, CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression, SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.     

多项式光滑的支持向量回归机一般模型的收敛性研究

2005年Lee等人提出光滑的支持向量回归机模型ε-SSVR(smooth ε-support vector regression),2008年熊金志等人提出一个多项式光滑的支持向量回归机模型ε-PSSVR(polynomial smooth ε-support vector regression),使回归性能及效率得到了一定改善.然而,这种支持向量回归机是否存在一个一般模型,以及一般模型的收敛性等问题没有解决.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,把多项式光滑模型ε-PSSVR推广到一般情形,提出一个多项式光滑的支持向量回归机一般模型ε-dPSSVR(dth-order polynomial smooth ε-support vector regression).并用数学归纳法证明该一般模型的全局收敛性.研究表明:1)多项式光滑的支持向量回归机存在无穷多个模型,可以用一个一般模型来表示;2)该一般模型是全局收敛的,其收敛上界比ε-SSVR缩小半个数量级.成功解决了多项式光滑的支持向量回归机的一般形式及其收敛性问题,为进一步研究多项式光滑的支持向量回归机提供了基本的理论支持.     

Powell算法在线性支持向量机中的应用

并行下降方法应用于线性支持向量机时效率较低。针对该问题,提出将Powell算法应用于线性支持向量机,并采用一个全局牛顿算法来求解单变量子问题。在内循环过程中,通过解一个单变量子问题更新w的一个分量,同时固定其他的分量不变;在外循环过程中,根据判断条件,决定是否沿加速方向搜索,以及是否用加速方向替代之前的某一个搜索方向。UCI数据集上的实验结果表明,算法能很快收敛,且分类精度优于并行下降算法和光滑支持向量机。     

使用最大熵模型进行文本分类

最大熵模型是一种在广泛应用于自然语言处理中的概率估计方法。文中使用最大熵模型进行了文本分类的研究。通过实验,将其和Bayes、KNN、SVM三种典型的文本分类器进行了比较,并且考虑了不同特征数目和平滑技术对基于最大熵模型的文本分类器的影响。结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法。     

支持向量回归模型在曲线光顺拟合中的改进

几何逆向工程中的光顺曲线重构问题本质上属于回归问题。支持向量回归机是求解回归问题的新的十分有效的方法。论文研究用支持向量回归机处理光顺曲线的重构问题。鉴于后者有着对于光顺性的特殊要求,已有的支持向量机并不适用。通过修正惩罚因子对支持向量机加以改造,即根据测量数据点的分布情况,利用各测量点圆率的特性确定对应的惩罚因子,从而实现了自由曲线的光顺重构。数值试验表明新方法可以剔除输入数据中不光顺点的影响,并在给定的精度条件下有效地逼近曲线,达到较好的拟合效果。     

多项式光滑的支持向量机一般模型研究

2005年袁玉波等人用一个多项式函数作为光滑函数,提出了一个多项式光滑的支持向量机模型 PSSVM（polynomial smooth support vector machine）,使分类性能及效率得到了一定提高. 2007年熊金志等人用插值函数的方法导出了一个递推公式,得到了一类新的光滑函数,解决了关于是否存在以及如何寻求性能更好的光滑函数的问题.然而,支持向量机是否存在其他多项式光滑模型,以及多项式光滑模型的一般形式是什么等问题依然存在.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,提出了多项式光滑的支持向量机一般模型dPSSVM （dth-order polynomial smooth support vector machine）.用数学归纳法证明了该一般模型的全局收敛性,并进行了数值实验.实验结果表明,当光滑阶数等于 3 时,一般模型的分类性能及效率为最好,并优于 PSSVM 模型;当光滑阶数大于 3 后,分类性能基本不变,效率会有所降低. 成功解决了多项式光滑的支持向量机的一般形式问题.     

基于Hermite插值的SVM研究

在传统SVM的分类求解算法中,由于严格凸的无约束最优化问题中单变量函数x+是不可微的,不能使用通常的最优化的算法进行求解。三次Hermite插值多项式光滑的支持向量机模型采用的是一种多项式光滑技术,用三次Hermite插值多项式代替单变量函数x+,将原来不可微的模型变为可微的模型,并且给出了三次Hermite插值多项式光滑化单变量函数x+的推导过程。使用UCI机器学习数据集中的数据,通过实验验证了该模型的有效性。     

一个支持向量机的新光滑函数及其性能分析

光滑函数在支持向量机中起着重要的作用,因此寻找新的光滑函数是研究支持向量机的关键。用求导方法分析了光滑函数的光滑性能,推导并证明了一个六阶光滑函数;同时还用二分法对其逼近性能进行了分析,结果表明：该光滑函数具有比一至五阶光滑函数更高/好的逼近性能,这就为进一步研究支持向量机提供了一个新的光滑函数。     

基于支持向量机的音字转换模型

针对N-gram在音字转换中不易融合更多特征,本文提出了一种基于支持向量机(SVM)的音字转换模型,有效提供可以融合多种知识源的音字转换框架。同时,SVM优越的泛化能力减轻了传统模型易于过度拟合的问题,而通过软间隔分类又在一定程度上克服小样本中噪声问题。此外,本文利用粗糙集理论提取复杂特征以及长距离特征,并将其融合于SVM模型中,克服了传统模型难于实现远距离约束的问题。实验结果表明,基于SVM音字转换模型比传统采用绝对平滑算法的Trigram模型精度提高了1.2%;增加远距离特征的SVM模型精度提高1.6%。     

基于支持向量机的非线性离散动力学系统控制

提出了一种用支持向量机辨识系统状态空间模型的非线性离散动力学系统控制新方法. 在本方法中, 采用最小二乘支持向量机在每一个工作点辨识非线性系统的局部最优线性化模型. 针对该模型, 采用常规的线性控制方法在每个工作点设计局部线性控制器, 并在整个控制任务的每个工作点重复此设计过程.用该方法对两个典型的非线性离散系统采用极点配置技术进行了仿真验证, 结果显示系统对参考输入具有满意的跟踪性能, 证明该方法是有效和可行的.     

Scaling Smoothed Language Models

In Continuous Speech Recognition (CSR) systems a Language Model (LM) is required to represent the syntactic constraints of the language. Then a smoothing technique needs to be applied to avoid null LM probabilities. Each smoothing technique leads to a different LM probability distribution. Test set perplexity is usually used to evaluate smoothing techniques but the relationship with acoustic models is not taken into account. In fact, it is well-known that to obtain optimum CSR performances a scaling exponential parameter must be applied over LMs in the Bayes’ rule. This scaling factor implies a new redistribution of smoothed LM probabilities. The shape of the final probability distribution is due to both the smoothing technique used when designing the language model and the scaling factor required to get the optimum system performance when integrating the LM into the CSR system. The main object of this work is to study the relationship between the two factors, which result in dependent effects. Experimental evaluation is carried out over two Spanish speech application tasks. Classical smoothing techniques representing very different degrees of smoothing are compared. A new proposal, Delimited discounting, is also considered. The results of the experiments showed a strong dependence between the amount of smoothing given by the smoothing technique and the way that the LM probabilities need to be scaled to get the best system performance, which is perplexity independent in many cases. This relationship is not independent of the task and available training data.     

基于互信息的统计语言模型平滑技术

数据平滑主要是用来解决统计语言模型在实际应用中数据稀疏问题。现有平滑技术虽然已有效地对数据稀疏问题进行了处理,但对已出现事件频率分布的合理性并没有作出有效的分析。本文则针对二元模型,提出了一种基于互信息的平滑技术,其基本思想是根据模型中每个二元对的互信息的高低对其概率进行折扣或补偿,并用极小化困惑度原则体现了模型的合理性。实验结果表明该技术优于目前常用的Katz 平滑技术。     

支持向量机在商场客流预测中的应用

支持向量机是数据挖掘中的一个新兴技术,它对非线性的决策边界间的建模能力是高度准确的.本文通过分析支持向量机的原理和算法,并给出基于支持向量机的客流量预测模型,最后通过试验结果说明了支持向量机在预测中的有效性.