一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

基于改进极限学习机算法的股票价格在线预测

为了对股票价格进行准确、快速的在线预测,提出一种基于改进极限学习机算法（IELM）的股票价格在线预测模型。在极限学习机（ELM）中引入Cholesky分解方法,使网络权值随新样本的逐次加入递推更新,提高模型的泛化能力,加快网络学习效率,然后对交通银行股票（601328）的收盘价进行仿真实验。结果表明,相对于对比模型,IELM不仅提高了计算效率,而且提高了股票价格预测精度,可以实现股票价格快速、准确在线预测。     

基于GPU的稀疏矩阵Cholesky分解

稀疏矩阵Cholesky分解是求解大规模稀疏线性方程组的核心算法,也是求解过程中最耗时的部分.近年来,一系列并行算法通过图形处理器(GPU)获得了显著的加速比,然而,由于访存的不规则性以及任务间的大量数据依赖关系,稀疏矩阵Cholesky分解算法在GPU上的计算效率很低.文中实现了一种新的基于GPU的稀疏矩阵Cholesky分解算法.在数据组织方面,改进了稀疏矩阵超节点数据结构,通过超节点合并和分块控制计算粒度;在计算调度方面,将稀疏矩阵Cholesky分解过程映射为一系列的数据块任务,并设计了相应的任务生成与调度算法,在满足数据依赖性的前提下提高任务的并行性.实验结果表明,该算法能够显著提高稀疏矩阵Cholesky分解算法在GPU上的实现效率,在单个GPU上获得了相对4核CPU平台2.69~3.88倍的加速比.     

一种基于QR分解的增量式核判别分析法

针对非线性系统在线学习的效率问题,提出了一种基于QR分解的增量式核判别分析法。该算法充分利用基于QR分解的核判别分析法的先降维后提取特征的思想,将核空间映射到低维空间进行计算,减少了构造核矩阵的计算量,降低了核矩阵的存储空间。同时引入增量计算的思想,有效地解决了在线学习中冗余计算的问题。在TE过程数据和ORL人脸库上的仿真实验证明了该算法在特征提取上的有效性,其相比批量式算法有更高的效率优势。     

稀疏性正则化非负矩阵分解的在线学习方法

针对非负矩阵分解效率低的不足,提出一种基于在线学习的稀疏性非负矩阵分解的快速方法.通过对目标函数添加正则化项来控制分解后系数矩阵的稀疏性,将问题转化成稀疏表示的字典学习问题,利用在线字典学习算法求解目标函数,并对迭代过程的矩阵更新进行转换,采取块坐标下降法进行矩阵更新,提高算法收敛速度.实验结果表明,该方法在有效保持图像特征信息的同时,运行效率得到提高.     

动态学习的非负矩阵分解算法

对现有增量型非负矩阵分解算法存在的一些缺陷进行改进,给出了一个基于误差判断的增量算法有效性准则.在此基础上,利用增加样本前的非负矩阵分解结果进行增量分解初始化,提出了一种新的动态非负矩阵分解算法.在多个数据集上的实验结果表明该算法可以实现对基矩阵和编码矩阵的即时更新,且具有较低的计算复杂度,在处理动态数据集时,还可有效识别噪声点,是一个有效的动态分解算法.     

基于稀疏表示的人脸识别方法

分析了稀疏表示的数学本质就是稀疏正规化约束下的信号分解,研究了一种正交匹配追踪的稀疏表示算法并利用矩阵Cholesky分解简化迭代过程中矩阵求逆计算来快速实现算法,将该算法应用在人脸识别中,利用训练样本构建冗余字典,将测试样本看成冗余字典中训练样本的线性组合,通过在不同人脸库上的实验证明了该方法的有效性.     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

KMA-α:一个支持向量机核矩阵的近似计算算法

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.     

采用分布估计算法计算AHP判断矩阵排序权重

判断矩阵排序权重计算及其一致性检验可以归结为一个使一致性指标最小化的非线性、变量耦合的优化问题。提出一个利用基于序贯重点采样粒子滤波和Cholesky分解的分布估计算法计算排序权重的算法,该算法采用的概率模型是多峰的并考虑了变量之间相关性。文中对判断矩阵排序权重计算及一致性检验、基于序贯重点采样粒子滤波和Cholesky分解的分布估计算法进行了介绍,描述了排序权重计算及一致性检验算法,最后给出实验数据及其分析。实验结果验证了算法的有效性,并具有很高的精度和稳定性。     

A non-biased form of least squares support vector classifier and its fast online learning

As an effective learning technique based on structural risk minimization, SVM has been confirmed an useful tool in many machine learning fields. With the increase in application requirement for some real-time cases, such as fast prediction and pattern recognition, the online learning based on SVM gradually becomes a focus. But the common SVM has disadvantages in classifier’s bias and the computational complexity of online modeling, resulting in the reduction in classifier’s generality and the low learning speed. Therefore, an non-biased least square support vector classifier(LSSVC) model is proposed in this paper by improving the form of structure risk. Also, a fast online learning algorithm using Cholesky factorization is designed based on this model according to the characteristic of the non-biased kernel extended matrix in the model’s dynamic change process. In this way, the calculation of Lagrange multipliers is simplified, and the time of online learning is greatly reduced. Simulation results testify that the non-biased LSSVC has good universal applicability and better generalization capability, at the same time, the algorithm has a great improvement on learning speed.     

基于鱼群优化算法和Cholesky分解的RELM的基因表达数据分类

提出一种基于鱼群优化算法和Cholesky分解的改进的正则极限学习机算法(FSC-RELM)来对基因表达数据进行分类。FSC-RELM算法中,首先用鱼群优化算法对RELM输入层权值进行优化,其中目标函数定义为误差函数的倒数;再对RELM输出层权值矩阵进行分解,采用Cholesky分解法进行优化,以提高算法速度,减少训练时间。为了评价算法性能,对若干标准基因数据集进行了实验,结果表明,FSC-RELM算法在较短的时间内可以获得较高的分类精度,性能优异。     

An unbiased LSSVM model for classification and regression

Aiming at the common support vector machine’s biased disadvantage and computational complexity, an unbiased least squares support vector machine (LSSVM) model is proposed in this paper. The model eliminates the bias item of LSSVM by improving the form of structure risk, then the unbiased least squares support vector classifier and the unbiased least squares support vector regression are deduced. Based on this model, we design a new learning algorithm using Cholesky factorization according to the characteristic of kernel function matrix, in this way the calculation of Lagrangian multipliers is greatly simplified. Several experiments on diffenert datasets are carried out, including the common datasets classification, synthetic aperture radar image automatic target recognition and chaotic time series prediction. The experimental results of correct recognition rate and the fitting precision testify that the unbiased LSSVM model has good universal ability and fitting accuracy, better generalization capability and stability, and have a great improvement in learning speed.     

Partial Lanczos extreme learning machine for single-output regression problems

There are two problems preventing the further development of extreme learning machine (ELM). First, the ill-conditioning of hidden layer output matrix reduces the stability of ELM. Second, the complexity of singular value decomposition (SVD) for computing Moore–Penrose generalized inverse limits the learning speed of ELM. For these two problems, this paper proposes the partial Lanczos ELM (PL-ELM) which employs the hybrid of partial Lanczos bidiagonalization and SVD to compute output weights. Experimental results indicate that, compared with ELM, PL-ELM not only effectively improves the stability and generalization performance but also raises the learning speed.     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

改进鱼群算法优化的ELM在乳腺肿瘤辅助诊断中的应用研究

针对传统极限学习机的输入权值矩阵和隐含层偏差是随机给定进而可能会导致在乳腺肿瘤的辅助诊断应用研究中存在精度明显不足的情况,提出用改进鱼群算法优化ELM方法。在完成对乳腺肿瘤有效的辅助诊断的过程中,本研究工作充分利用ELM能快速地完成训练过程且具有很好的泛化能力的特点,并结合用改进鱼群算法对ELM的隐含层偏差进行优化,构造出了乳腺肿瘤与从乳腺肿瘤样本数据中提取的10个特征向量之间的非线性映射关系。将本文提出的乳腺肿瘤识别方法的仿真结果与AFSA-ELM方法、ELM方法、LVQ方法、BP方法的仿真结果分别从识别准确率、假阴性率、学习速度三个方面做对比分析,仿真结果表明,本文所提方法对乳腺肿瘤诊断具有较高的分类识别准确率、假阴性率以及较快的学习速率。     

基于局部线性嵌入极限学习机的人脸识别新方法

针对人脸图片数量多、容易受噪声干扰,致使人脸识别的识别速度慢、准确率低的问题,提出一种基于局部线性嵌入极限学习机的人脸识别方法——LLE-ELM算法。利用局部线性嵌入(LLE)算法对人脸数据提取特征,最大限度保留原数据的特征结构,减少数据量,降低计算复杂;采用极限学习机(ELM)算法对提取特征后的数据进行分类;实现人脸识别,输出识别准确率和时长。通过在ORL数据库、Yale数据库、AR人脸库和CASIA-WEBFACE人脸库上的数值实验表明:与PCA、SVM、CNN算法对比,该算法具有较高的识别准确率和较快的识别速度。     

面向类别不平衡数据的主动在线加权极限学习机算法

针对在样本类别分布不平衡场景下,现有的主动学习算法普遍失效及训练时间过长等问题,提出采用建模速度更快的极限学习机,即ELM(Extreme Learning Machine)作为主动学习的基分类器,并以加权ELM算法用于主动学习过程的平衡控制,进而在理论上推导了其在线学习的过程,大幅降低了主动学习的时间开销,并将最终的混合算法命名为AOW-ELM算法。通过12个基准的二类不平衡数据集验证了该算法的有效性与可行性。