基于非近似求导过程的加更新和乘更新分类算法

自从Kivinen和Warmuth提出权衡正确性与保守性的在线学习框架后,此在线学习框架已被广泛引用.但是在Kivinen和Warmuth提出的梯度下降和指数梯度下降算法中,对目标函数中的损失函数求导过程中使用近似步骤会引起在线学习结果恶化.文中,运用对偶最优化理论,提出了非近似的基于平方距离相关熵损失函数分类算法和基于相关熵距离相关熵损失函数分类算法,通过4种不同维数的真实数据集的实验研究,验证了提出算法的分类预测性能.     

基于不同损失和距离函数的乘更新分类算法

与批处理的学习算法相比较, 在线预测的算法由于在大样本集上具有预测准确性高、时间的空间复杂度小, 因此占有非常大的优势。对于Warmuth与Jivinen提出的保守性和权衡正确性的在线学习框架, 已经得到相当广泛的应用, 但是在他们所提出的指数梯度下降算法以及梯度下降算法中, 对于目标函数中的损失函数, 在其求导过程中使用近似步骤将会造成在线学习结果的恶化。根据对偶的最优化理论, 基于不同损失函数与距离函数, 提出了变更新分类算法。通过一系列的实验分析与研究, 结果表明, 该算法使得预测准确率得到了很大的提高, 从而验证了该算法的正确性、可行性和有效性。     

基于随机素描方法的在线核回归

在线核回归学习中,每当一个新的样本到来,训练器都需要计算核矩阵的逆矩阵,这个过程的计算复杂度至少为关于回合数的平方级别。提出将素描方法应用于假设的更新,给出一个基于素描方法的更高效的在线核回归算法。首先,将损失函数设定为平方损失,应用Nystr?m近似方法来近似核,并借鉴跟导方法（FTL）的思想,提出一个新的梯度下降算法,称之为FTL-在线核回归（F-OKR）;然后,应用素描方法对其加速,使得F-OKR的计算复杂度降低到关于回合数和素描规模线性、关于数据维度平方的级别;最后,设计了一个高效的素描在线核回归算法（SOKR）。与F-OKR相比,SOKR的精度几乎没有影响,而同时在适当的数据集上,运行时间减少16.7%左右。在理论上证得了两种算法的亚线性后悔界。实验结果也验证了所提算法与Nystr?m在线梯度下降算法（NOGD）相比有更好的表现,平均损失降低约64%。     

判别贝叶斯网络的CEM学习算法

当数据存在缺值时,通常应用EM算法学习贝叶斯网络.然而,EM算法以联合似然作为目标函数,与判别预测问题的目标相偏离.与EM算法不同,CEM(Conditional Expectation Maximum)算法直接以条件似然作为目标函数.研究了判别贝叶斯网络学习的CEM算法,提出一种使得CEM算法具有单调性和收敛性的Q函数.为了简化计算,在CEM算法的E步,应用Q函数的一种简化形式;在CEM算法的M步,应用梯度下降法的一次搜索结果作为最优值的近似.最后,在UCI数据集上的实验结果表明了CEM算法在判别贝叶斯网络学习中的有效性.     

基于bregman距离和等式约束正则化AdaBoost算法

基于J.Kivinen和M.K.Warmuth提出的一种基于正则化的在线学习模式,提出基于bregman距离和等式约束正则化弱分类器权值更新模式,实现了AdaBoostS,AdaBoostIE,AdaBoostRE,AdaBoostDE和AdaBoostE五种弱分类器权更新算法。在实验部分,利用实际数据对提出的五种算法与Real AdaBoost、Gentle AdaBoost和Modest AdaBoost算法作了比较。     

基于共享数据集和梯度补偿的分层联邦学习框架北大核心CSCD

联邦学习允许车辆在本地保留数据并进行模型训练,从而更好地保护用户隐私,但车载传感器和行驶路线等条件不同,参与联邦学习的车辆可能具有不同数据分布,从而降低模型泛化能力,增大收敛难度。为了确保实时性,车联网中广泛应用了异步随机梯度下降技术,但梯度延迟问题会导致模型训练不准确。为了解决上述问题,文章提出一种基于共享数据集和梯度补偿的分层联邦学习框架。该框架使用共享数据集和基于Re LU值加权的聚合方法减少模型偏差,并利用梯度函数的泰勒展开近似原始损失函数,对异步随机梯度下降进行梯度补偿。在MNIST和CIFAR-10数据集上的实验结果表明,与Fed AVG、MOON和Hier FAVG算法相比,该方法平均准确率分别提高了13.8%、2.2%和3.5%,时间开销仅为同步随机梯度下降和异步随机梯度下降的1/2。     

改进的径向基函数网络的研究及应用

针对径向基函数网络和传统遗传算法的一些不足,提出引入一种自适应机制的浮点数编码的遗传算法,并将其与梯度下降法混合交互运算,作为径向基函数网络的学习算法,形成了基于改进遗传算法的径向基函数网络,它克服了径向基函数网络的学习算法上的缺陷.采用改进的遗传算法,无需计算梯度等,限制很少,还可用模型的预测性能作为优化目标.同时,也解决了单独利用遗传算法往往只能在短时间内寻找到接近全局最优解的近似解这一问题.最后将该算法应用到某地区电力负荷预测取得理想效果.     

代价敏感的列表排序算法

排序学习是信息检索与机器学习中的研究热点之一.在信息检索中,预测排序列表中顶部排序非常重要.但是,排序学习中一类经典的排序算法——列表排序算法——无法强调预测排序列表中顶部排序.为了解决此问题,将代价敏感学习的思想融入到列表排序算法中,提出代价敏感的列表排序算法框架.该框架是在列表排序算法的损失函数中对文档引入权重,且基于性能评价指标NDCG计算文档的权重.在此基础之上,进一步证明了代价敏感的列表排序算法的损失函数是NDCG损失的上界.为了验证代价敏感的列表排序算法的有效性,在此框架下提出了一种代价敏感的ListMLE排序算法,并对该算法开展序保持与泛化性的理论研究工作,从理论上验证了该算法具有序保持特性.在基准数据集上的实验结果表明,在预测排序列表中顶部排序中,代价敏感的ListMLE比传统排序学习算法能取得更好的性能.     

一种有效的储备池在线稀疏学习算法

为克服传统储备池方法缺乏良好在线学习算法的问题, 同时考虑到储备池本身存在的不适定问题, 本文提出一种储备池在线稀疏学习算法, 对储备池目标函数施加L1正则化约束,并采用截断梯度算法在线近似求解.所提算法在对储备池输出权值进行在线调整的同时, 可对储备池输出权值的稀疏性进行有效控制, 有效保证了网络的泛化性能.理论分析和仿真实例证明所提算法的有效性.     

改进的径向基函数网络的研究及应用

针对径向基函数网络和传统遗传算法的一些不足,提出引入一种自适应机制的浮点数编码的遗传算法,并将其与梯度下降法混合交互运算,作为径向基函数网络的学习算法,形成了基于改进遗传算法的径向基函数网络,它克服了径向基函数网络的学习算法上的缺陷。采用改进的遗传算法,无需计算梯度等,限制很少,还可用模型的预测性能作为优化目标。同时,也解决了单独利用遗传算法往往只能在短时间内寻找到接近全局最优解的近似解这一问题。最后将该算法应用到某地区电力负荷预测取得理想效果。     

Online Multiple Kernel Classification

Although both online learning and kernel learning have been studied extensively in machine learning, there is limited effort in addressing the intersecting research problems of these two important topics. As an attempt to fill the gap, we address a new research problem, termed Online Multiple Kernel Classification (OMKC), which learns a kernel-based prediction function by selecting a subset of predefined kernel functions in an online learning fashion. OMKC is in general more challenging than typical online learning because both the kernel classifiers and the subset of selected kernels are unknown, and more importantly the solutions to the kernel classifiers and their combination weights are correlated. The proposed algorithms are based on the fusion of two online learning algorithms, i.e., the Perceptron algorithm that learns a classifier for a given kernel, and the Hedge algorithm that combines classifiers by linear weights. We develop stochastic selection strategies that randomly select a subset of kernels for combination and model updating, thus improving the learning efficiency. Our empirical study with 15 data sets shows promising performance of the proposed algorithms for OMKC in both learning efficiency and prediction accuracy.     

面向数据流的多任务多核在线学习算法

多任务多核学习已逐渐成为在线学习算法研究的热点。对于数据流的处理,现有的在线学习算法在准确性上有一定的欠缺,因此提出一种新的多任务多核在线学习模型用于提高数据流预测的准确性。在保持多任务多核学习的基础上,将其扩展到在线学习中,从而得到一个新的在线学习算法;同时为输入数据保持一定大小的数据窗口,用较小空间换取数据的完整性。实验部分对核函数的选取以及训练样本集的大小进行了较为详细的分析,通过对UCI数据和实际的机场客流量数据进行分析,很好地保障了流数据处理的准确性及实时性,有一定的实际应用价值。     

基于图拉普拉斯变换和极限学习机的时间序列预测算法

由于时间效率的约束,多元时间序列预测算法往往存在预测准确率不足的问题。对此,提出基于图拉普拉斯变换和极限学习机的时间序列预测算法。基于图拉普拉斯变换对时间序列进行半监督的特征提取,通过散布矩阵将监督特征和无监督特征进行融合。设计在线的极限学习机学习算法,仅需要在线更新网络的输出权重矩阵即可完成神经网络的学习。利用提取的特征在线训练极限学习机,实现对多元时间序列的实时预测。基于多个数据集进行仿真实验,结果表明该算法有效地提高了预测准确率。     

一种基于listwise的在线学习书目排序检索算法

高效检索是数字图书馆的核心业务之一,其中排序是高效信息检索的核心问题。给定一系列的书目列表,利用排序模型生成目标书目的排序列表。将学习排序算法应用于信息检索领域时,常用方法是通过最小化pairwise损失函数值来优化排序模型。然而,已有结论表明,pairwise损失值最小化不一定能得到listwise算法的最佳排序性能。并且将在线学习排序算法与listwise算法相结合也非常困难。提出了一种基于listwise的在线学习排序算法,旨在保证listwise算法性能优势的前提下,实现在线学习排序算法,从而降低检索复杂度。首先解决将在线学习排序算法与listwise算法相结合的问题;然后通过最小化基于预测列表和真实列表定义的损失函数来优化排序模型;最后提出基于online-listwise算法的自适应学习率。实验结果表明,所提出算法具有较好的检索性能和检索速度。     

The Robustness of the p-Norm Algorithms

We consider two on-line learning frameworks: binary classification through linear threshold functions and linear regression. We study a family of on-line algorithms, called p-norm algorithms, introduced by Grove, Littlestone and Schuurmans in the context of deterministic binary classification. We show how to adapt these algorithms for use in the regression setting, and prove worst-case bounds on the square loss, using a technique from Kivinen and Warmuth. As pointed out by Grove, et al., these algorithms can be made to approach a version of the classification algorithm Winnow as p goes to infinity; similarly they can be made to approach the corresponding regression algorithm EG in the limit. Winnow and EG are notable for having loss bounds that grow only logarithmically in the dimension of the instance space. Here we describe another way to use the p-norm algorithms to achieve this logarithmic behavior. With the way to use them that we propose, it is less critical than with Winnow and EG to retune the parameters of the algorithm as the learning task changes. Since the correct setting of the parameters depends on characteristics of the learning task that are not typically known a priori by the learner, this gives the p-norm algorithms a desireable robustness. Our elaborations yield various new loss bounds in these on-line settings. Some of these bounds improve or generalize known results. Others are incomparable.     

Dynamic feature selection algorithm based on Q-learning mechanism

Feature selection is a technique to improve the classification accuracy of classifiers and a convenient data visualization method. As an incremental, task oriented, and model-free learning algorithm, Q-learning is suitable for feature selection, this study proposes a dynamic feature selection algorithm, which combines feature selection and Q-learning into a framework. First, the Q-learning is used to construct the discriminant functions for each class of the data. Next, the feature ranking is achieved according to the all discrimination functions vectors for each class of the data comprehensively, and the feature ranking is doing during the process of updating discriminant function vectors. Finally, experiments are designed to compare the performance of the proposed algorithm with four feature selection algorithms, the experimental results on the benchmark data set verify the effectiveness of the proposed algorithm, the classification performance of the proposed algorithm is better than the other feature selection algorithms, meanwhile the proposed algorithm also has good performance in removing the redundant features, and the experiments of the effect of learning rates on the our algorithm demonstrate that the selection of parameters in our algorithm is very simple.

     

改进式混合增量极限学习机算法

针对增量型极限学习机(I-ELM) 中存在大量降低学习效率及准确性的冗余节点的问题, 提出一种基于Delta 检验(DT) 和混沌优化算法(COA) 的改进式增量型核极限学习算法. 利用COA的全局搜索能力对I-ELM 中的隐含层节点参数进行寻优, 结合DT 算法检验模型输出误差, 确定有效的隐含层节点数量, 从而降低网络复杂程度, 提高算法的学习效率; 加入核函数可增强网络的在线预测能力. 仿真结果表明, 所提出的DCI-ELMK 算法具有较好的预测精度和泛化能力, 网络结构更为紧凑.

     

机载软件无线电系统故障预测软件设计与实现

通过分析机载软件无线电系统的结构特性,为满足其高可靠性高灵活性等要求,设计并实现了针对机载软件无线电系统的故障预测软件平台.该软件平台在MFC框架基础上进行开发,集成了自回归预测模型(AR)、灰色预测模型(GM(1,1))等预测算法,并对预测算法关键参数进行优化,使得该软件能够根据不同预测对象,以及不同预测精度要求自动选择最佳预测算法进行故障预测.同时,可根据需要在线升级已有预测算法或动态加载新的预测模型,提出并实现了一种适用可靠的开放式故障预测系统.