在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

基于Flink的分布式在线集成学习框架研究

在大数据环境背景下,传统机器学习算法多采用单机离线训练的方式,显然已经无法适应持续增长的大规模流式数据的变化。针对该问题,提出一种基于Flink平台的分布式在线集成学习算法。该方法基于Flink分布式计算框架,首先通过数据并行的方式对在线学习算法进行分布式在线训练;然后将训练出的多个子模型通过随机梯度下降算法进行模型的动态权重分配,实现对多个子模型的结果聚合;与此同时,对于训练效果不好的模型利用其样本进行在线更新;最后通过单机与集群环境在不同数据集上做实验对比分析。实验结果表明,在线学习算法结合Flink框架的分布式集成训练,能达到集中训练方式下的性能,同时大大提高了训练的时间效率。     

自适应嵌套级联的在线集成学习方法研究

针对视频目标检测问题,提出一种新的在线集成学习方法。该方法把目标检测看成两类分类问题,首先用少量已标注样本离线训练一个初始集成分类器,然后在检测目标的同时通过跟踪过滤虚警目标,并通过样本置信度作进一步验证自动标注样本,最后通过在线集成学习方法更新级联分类器。该方法通过在线调整级联分类器,提高分类器对目标环境变化的适应能力,在大量视频序列上进行实验验证,并与现有在线集成学习方法进行比较,结果表明,通过该方法训练得到的检测器不但能够很好地应对目标特征的变化,也能在出现目标遮挡及背景干扰下稳定地检测出目标,具有较好的适应性及鲁棒性。     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

在线判别分析的稀疏视觉跟踪

通过分析经典稀疏视觉跟踪算法在粒子滤波框架下的采样粒子分布与运动目标真实状态的差异,提出了一个基于在线判别分析的改进稀疏视觉跟踪算法。该跟踪算法通过在线逻辑斯蒂判别分析模型及其更新过程,自主获取运动目标的实时状态与变化,增强运动目标与背景信息之间的可判别性。同时,实现对采样粒子的预先筛选,尽量排除与运动目标差异大的粒子,以提高跟踪算法的鲁棒性,同时减少L1优化求解的次数从而提高算法的执行效率。与5个高水平跟踪算法在4段公开视频上的实验结果表明,提出的算法能够长时间鲁棒地对运动目标进行跟踪,同时相对典型稀疏跟踪算法而言,明显地降低了计算复杂度。     

特征演化的置信-加权学习方法

与研究固定特征空间的传统在线学习相比,特征演化学习通常假设特征不会以任意方式消失或出现,而是随着收集数据特征的硬件设备更换旧特征消失、新特征出现.然而,已有的特征演化学习方法仅利用数据流的一阶信息,而忽略可以挖掘特征之间相关性和显著提高分类性能的二阶信息.提出了一种特征演化的置信-加权学习算法来解决上述问题:首先,引入...     

基于深度信念网络的在线视频热度预测

针对在线视频热度预测研究中分类及预测效果欠佳,规则化较多和较缺乏实践检验等问题,通过对实际在线视频服务系统所采集的海量数据研究,提出一种基于深度信念网络（Deep Belief Networks,DBNs）的视频热度预测方法。首先,结合社交网络的关注度和视频关键词的搜索热度,对影响因子进行了建模和量化处理;其次,根据输入和输出变量确定了DBNs各层网络的结构,优化了网络参数和预测模型;最后,通过在线视频服务商的数据对深度信念网络进行训练,并多次交叉实验对比分析,结果表明基于DBNs方法在视频热度预测上准确率最高79.47%（国内视频）、65.33%（国外视频）,可以为在线视频上映前的投资、宣传以及风险评估提供较全面可靠的参考决策。     

基于在线支持向量机的非线性内模控制

为了提高传统内模控制的鲁棒性和抗干扰能力,采用在线支持向量机回归（Online Support Vector Machine Regression,OSVMR ）理论建立系统的正向模型和设计逆模控制器。首先简要介绍了OSVMR的原理和算法,然后将其应用于内模控制问题,并建立了OSVMR模型。其次,在控制过程可逆的条件下设计了OSVMR控制器,最后将该控制方法应用于可逆非线性系统和具未知干扰的温室环境控制问题,仿真结果表明该方法与RBF神经网络IMC相比,具有较简单的模型和较好的控制性能。     

Confidence-weighted Learning for Feature Evolution

Several recent works have studied feature evolvable learning. They usually assume that features would not vanish or appear in an arbitrary way; instead, old features vanish and new features emerge as the hardware device collecting the data features is replaced. However, the existing learning algorithms for feature evolution only utilize the first-order information of data streams and ignore the second-order information which can reveal the correlations between features and thus significantly improve the classification performance. We propose a Confidence-Weighted learning for Feature Evolution (CWFE) algorithm to solve the aforementioned problem. First, second-order confidence-weighted learning is introduced to update the prediction model. Next, to make full use of the learned model, a linear mapping is learned in the overlapping period to recover the old features. Then, the existing model is updated with the recovered old features and, at the same time, a new prediction model is learned with the new features. Furthermore, two ensemble methods are introduced to utilize the two models. Finally, experimental studies show that the proposed algorithms outperform existing feature evolvable learning algorithms.     

基于云计算的在线学习平台的设计与应用

本文将云计算的概念引入到在线学习平台的建设中,提出设计基于云计算的在线学习平台。首先介绍云计算的概念和特点,然后提出一种基于云计算在线学习平台的设计框架,最后实现了一个在线讨论的云计算教育服务平台。     

基于正则化的乘更新在线分类算法

大样本集上在线预测算法时间空间复杂度小、预测准确性高,与批处理学习算法相比,有明显的优势。自从Jivinen和M.Warmuth提出权衡正确性与保守性的在线学习框架后,在线学习框架已被广泛引用。但是在Jivinen和M.Warmuth提出的梯度下降和指数梯度下降算法中,对目标函数中的损失函数求导过程中使用近似步骤会引起在线学习结果恶化。运用对偶最优化理论,提出了非近似的基于不同距离和损失函数的乘更新分类算法,一系列的实验显示算法提高了预测准确率。     

基于DNA粘附子模型的并行乘法算法

提出了一种基于DNA计算的粘附子模型的并行乘法算法,该算法首先将两个二进制数相乘转变成根据被乘数对乘数进行一系列的移位相加。将被乘数与乘数编码在同一条存储链上,通过组合、分离、设置、清除等四种运算计算出积的值。由于表示输出的DNA链的结构与表示输入的DNA链的结构相同,因此表示输出的DNA链无需做任何改变,就能在后面的运算中重复使用。该算法不仅能用于整数乘法中,还可以很方便地推广到包含小数的乘法运算及多个因数参与的乘法运算中。该算法的突出优点是充分发挥了DNA计算内在的并行计算性,如果参与乘法运算的因数的个数相等,则计算多组乘法运算与计算一组乘法运算所需的时间相同,并且多组乘法运算能从同一个试管内开始。     

基于CUDA架构矩阵乘法的研究

首先介绍了CUDA架构特点,在GPU上基于CUDA使用两种方法实现了矩阵乘法,并根据CUDA特有的软硬件架构对矩阵乘法进行了优化。然后计算GPU峰值比并进行了分析。实验结果表明,基于CUDA的矩阵乘法相对于CPU矩阵乘法获得了很高的加速比,最高加速比达到1079.64。GPU浮点运算能力得到有效利用,峰值比最高达到30.85%。     

基于牛顿法的并行优化算法

针对非线性数值优化问题,提出一种在分布式环境下的基于牛顿法的并行算法。引入松弛变量,将不等式约束转换为等式约束,利用广义拉格朗日乘子将约束优化问题转换为无约束子优化问题。为了并行地求解这些子优化问题,将Newton迭代法中的Hessian矩阵进行适当的分裂,采用简单迭代法求解Newton法中的线性方程组。在理论上对该算法进行了收敛性分析。在HP rx2600集群上进行的数值实验结果表明并行效率达90%以上。     

结合PN约束在线半监督boosting目标跟踪算法

针对在现有的基于在线半监督boosting的目标跟踪算法中,当目标发生遮挡或快速移动导致分类器更新过程中有错误引入时,其自训练机制会造成分类器错误累积进而产生跟踪漂移甚至导致跟踪失败的问题,提出了一种基于结合正负样本约束的在线半监督boosting的目标跟踪算法（简称PN-SemiT）。该算法在原有的在线半监督boosting跟踪算法的基础上,通过增加正负样本约束条件来实时纠正分类器的错误,并且将目标的先验模型和在线分类器相结合,通过不断迭代更新分类器来预测未标记样本的类别标记和权重。实验结果表明,与传统的在线半监督boosting目标跟踪算法和其他跟踪算法相比,PN-SemiT具有更优异的跟踪性能,能够在复杂的跟踪环境下有效缓解目标跟踪漂移问题。     

在线投资组合选择的半指数梯度策略及实证分析

针对传统投资组合策略的高频资产配置调整产生高额交易成本从而导致最终收益不佳这一问题，提出基于机器学习与在线学习理论的半指数梯度投资组合（SEG）策略。该策略对投资期进行划分，通过控制投资期内的交易量来降低交易成本。首先，基于仅在每段分割的初始期调整投资组合而其余时间不进行交易这一投资方式来建立SEG策略模型，并结合收益损失构造目标函数；其次，利用因子图算法求解投资组合迭代更新的闭式解，并证明该策略累积资产收益的损失上界，从理论上保证算法的收益性能。在纽约交易所等多个数据集上进行的仿真实验表明，该策略在交易成本存在时仍然能够保持较高的收益，证实了该策略对于交易成本的不敏感性。     

特征加权融合的在线多示例学习跟踪算法

为了能更加准确鲁棒地跟踪目标,提出了特征加权融合的在线多示例学习跟踪算法（WFMIL）。WFMIL在多示例学习框架下分别训练两种特征（Hog和Haar）分类器。在跟踪过程中,通过线性运算融合成一个强分类器,同时在学习过程中对正包中的示例引入权重。实验结果统计表明WFMIL能很好地解决目标漂移问题,并且对目标遮挡、运动突变、光照变化以及运动模糊等具有较好的鲁棒性。     

基于改进的代价敏感决策树的网络贷款分类

在网络贷款用户数据集中，贷款成功和贷款失败的用户数量存在着严重的不平衡，传统的机器学习算法在解决该类问题时注重整体分类正确率，导致贷款成功用户的预测精度较低。针对此问题，在代价敏感决策树敏感函数的计算中加入类分布，以减弱正负样本数量对误分类代价的影响，构建改进的代价敏感决策树；以该决策树作为基分类器并以分类准确度作为衡量标准选择表现较好的基分类器，将它们与最后阶段生成的分类器集成得到最终的分类器。实验结果表明，与已有的常用于解决此类问题的算法（如MetaCost算法、代价敏感决策树、AdaCost算法等）相比，改进的代价敏感决策树对网络贷款用户分类可以降低总体的误分类错误率，具有更强的泛化能力。     

一种ECC点乘算法的改进方案

文章针对椭圆曲线上点乘运算的m=2^r进制等方法，利用椭圆曲线上有理点群中点P的逆元计算的特点，提出了一种改进方法。当i≤2^k-1时直接计算iP，当i〉2^k-1时计算iP=2^kP-（2^k-i）P，此方法比原算法中预计算阶段的计算量和存储空间均明显减少。