基于SVM的并行网络流量分类方法

针对SVM (support vector machine)算法应用到大规模网络流量分类中存在计算复杂度高、训练速度慢等问题,提出一种基于云计算平台进行并行网络流量分类的SVM方法,以提高对大数据集的分类训练速度.该方法是一种采用云计算平台构建多级SVM和映射规约(MapReduce)模型的方法.它将训练数据集划分为多个子训练数据集,通过对所有子训练数据集进行并行训练,得到支持向量集,进而训练出流量分类模型.实验结果表明,与传统的SVM方法相比,并行SVM网络流量分类方法在保持较高分类精度的前提下,有效地减少了训练时间,提高了大规模网络流量分类的速度.     

一种基于Bagging-SVM的智能传感器集成学习方法

集成多个传感器的智能片上系统( SoC)在物联网得到了广泛的应用.在融合多个传感器数据的分类算法方面,传统的支持向量机( SVM)单分类器不能直接对传感器数据流进行小样本增量学习.针对上述问题,提出一种基于Bagging-SVM的集成增量算法,该算法通过在增量数据中采用Bootstrap方式抽取训练集,构造能够反映新信息变化的集成分类器,然后将新老分类器集成,实现集成增量学习.实验结果表明:该算法相比SVM单分类器能够有效降低分类误差,提高分类准确率,且具有较好的泛化能力,可以满足当下智能传感器系统基于小样本数据流的在线学习需求.     

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。     

PTLR:云计算平台上处理大规模移动数据的置信域逻辑回归算法

逻辑回归作为经典分类算法具有良好的分类效果,因此在云计算平台上针对大规模移动数据实现逻辑回归具有很高的现实意义.然而现有的逻辑回归算法不具有处理海量移动数据的能力.利用移动数据l2泛化性特点,提出了一种基于置信域的逻辑回归并行化实现方法(PTLR),在Map Reduce环境下,实现了梯度计算、Hessian矩阵计算和似然函数增量计算这3个关键步骤的并行化,并集成在云计算平台上实际运行.通过在真实的大规模移动数据集上的实验,证明了PTLR算法具有稳定性高、收敛速度较快等特点.     

集成学习算法的差异性及性能比较

从差异性出发,研究了基于特征集技术（通过一定的策略选取不同特征集以组成训练集）与数据技术（通过取样技术选取不同的训练集）的集成学习算法,分析了两种集成学习算法产生差异性的方法。针对决策树与神经网络模型,在标准数据集中对集成学习算法的性能进行实验研究,结果表明集成学习算法的性能依赖于数据集的特性以及产生差异性的方法等因素。从总体性能考虑,基于数据的集成学习算法在大多数数据集上优于基于特征集的集成学习算法。     

基于遗传规划集成学习的网络作弊检测

网络作弊检测是搜索引擎的重要挑战之一,该文提出基于遗传规划的集成学习方法 (简记为GPENL)来检测网络作弊。该方法首先通过欠抽样技术从原训练集中抽样得到t个不同的训练集;然后使用c个不同的分类算法对t个训练集进行训练得到t*c个基分类器;最后利用遗传规划得到t*c个基分类器的集成方式。新方法不仅将欠抽样技术和集成学习融合起来提高非平衡数据集的分类性能,还能方便地集成不同类型的基分类器。在WEBSPAM-UK2006数据集上所做的实验表明无论是同态集成还是异态集成,GPENL均能提高分类的性能,且异态集成比同态集成更加有效;GPENL比AdaBoost、Bagging、RandomForest、多数投票集成、EDKC算法和基于Prediction Spamicity的方法取得更高的F-度量值。     

基于SVM的增量学习算法及其在网页分类中的应用

根据支持向量的作用,利用基于SVM的增量学习算法将一个大型数据集分成许多不相交的子集,按批次对各个训练子集中的样本进行训练而得到一个分类器,从而对网页文件进行自动分类。在进行网页文件分类时,本文提出只利用正例数据和一些无标记数据来训练SVM分类器,以提高分类的准确性。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

基于增量集成学习的动态自适应SDN入侵检测

随着SDN网络应用的推广,SDN网络的安全也越来越受到重视,基于模式识别的网络入侵检测由于无法一次性收集完备的训练数据集,使得对未知的入侵行为识别率不高.为提高入侵检测系统的自适应性,提出了增量集成学习算法,并用该算法解决SDN入侵检测问题.该算法利用滑动窗口法获得数据块,对新的数据块进行训练获得子分类器,然后依据在历史数据块和当前数据块的分类结果筛选子分类器进行集成,使得分类模型不断完善从而能够自适应的识别未知攻击行为.通过在NSL-KDD数据集上的实验结果可以看到,该算法可以提高未知攻击的识别率.     

基于分类器组合增量集成的远程教育学生表现预测*

针对远程教育中传统的集成算法通常以批模式方式运行而导致其在连续生成数据的情况下不可用的问题,提出了一种基于分类器组合增量集成的远程教育学生表现预测算法。首先,简要介绍了三种备受关注的集成分类算法：朴素贝叶斯的增量版本、1‐NN和WINNOW算法;然后,在训练数据集上利用三种算法产生各自的假说;最后,将三种假说进行集成,并利用投票方法预测学生的表现。在希腊远程教育大学“信息”课程提供的训练集 HOU 上的实验结果表明,相比其它几种较好的分类器,该文算法取得了更好的分类精度和更少的训练时间,为教师提供了强有力的学生表现预测工具。     

基于云计算的在线学习平台的设计与应用

本文将云计算的概念引入到在线学习平台的建设中,提出设计基于云计算的在线学习平台。首先介绍云计算的概念和特点,然后提出一种基于云计算在线学习平台的设计框架,最后实现了一个在线讨论的云计算教育服务平台。     

基于多特征融合的云平台异常检测方法

为了充分利用云平台不同子系统的多特征信息,进一步提升云平台异常检测精度,提出基于距离约束与解空间优化的多特征融合模型.在特征距离约束前提下,利用迭代法求解,使单一子系统训练误差之和最小,实现多特征自动融合并获得最优输出解,并引入高次幂系数避免模型退化.同时,该模型进一步拓展为增量模型,保证云平台数据实时计算.提出的特征融合模型可在降低高维特征信息间冗余的同时挖掘云平台多子系统互补、潜在知识,提升异常识别效果.基于开源框架OpenStack构建私有云平台,实时采集运行数据,验证提出异常检测模型的可行性,并对比现有方法获得更高的异常检测精度.     

一种基于Hadoop的动态树增量更新方法

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求,提高传统树增量更新挖掘效率,改变已有算法的串行执行方式,提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念,针对现有Hadoop平台中任务调度的随机分配策略,设计一种动态云平台中的资源调度与分配算法,以期达到成本消耗的最小化,给出树增量更新挖掘算法以及2个并行算法（DeleteFreqTree和FindNewTree）,完成树数据的增量挖掘工作。实验结果表明,该并行算法有效可行,具有高效性与良好的扩展率,能够对海量树数据进行更新挖掘。     

基于云计算的并行数据挖掘系统设计与实现

为了提供虚拟化、高扩展和高性能的并行数据挖掘平台,提出了基于云计算平台的并行数据挖掘模型。文章中首先在GoogleAppEngine平台的基础上扩展了数据规约功能,然后提出了并行数据挖掘平台的系统构架和层次结构,最后给出了平台中各功能模块的具体设计和实现细节。实验分析表明基于云计算平台的并行数据挖掘系统执行效率要比单机系统高,并随着数据量的增大,效率优势越明显。     

基于MapReduce的大数据主动学习

针对传统的主动学习算法只能处理中小型数据集的问题,提出一种基于MapReduce的大数据主动学习算法。首先,在有类别标签的初始训练集上,用极限学习机（ELM）算法训练一个分类器,并将其输出用软最大化函数变换为一个后验概率分布。然后,将无类别标签的大数据集划分为l个子集,并部署到l个云计算节点上。在每一个节点,用训练出的分类器并行地计算各个子集中样例的信息熵,并选择信息熵大的前q个样例进行类别标注,将标注类别的l×q个样例添加到有类别标签的训练集中。重复以上步骤直到满足预定义的停止条件。在Artificial、Skin、Statlog和Poker 4个数据集上与基于ELM的主动学习算法进行了比较,结果显示,所提算法在4个数据集上均能完成主动样例选择,而基于ELM的主动学习算法只在规模最小的数据集上能完成主动样例选择。实验结果表明,所提算法优于基于极限学习机的主动学习算法。     

基于目标均衡度量的核增量学习跌倒检测方法

针对增量学习模型在更新阶段的识别效果不稳定的问题,提出一种基于目标均衡度量的核增量学习方法。通过设置经验风险均值最小化的优化目标项,设计了均衡度量训练数据个数的优化目标函数,以及在增量学习训练条件下的最优求解方案;再结合基于重要性分析的新增数据有效选择策略,最终构建出了一种轻量型的增量学习分类模型。在跌倒检测公开数据集上的实验结果显示：当已有代表性方法的识别精度下滑至60%以下时,所提方法仍能保持95%以上的精度,同时模型更新的计算消耗仅为3 ms。实验结果表明,所提算法在显著提高增量学习模型更新阶段识别能力稳定性的同时,大大降低了时间消耗,可有效实现云服务平台中关于可穿戴设备终端的智能应用。     

移动网络中心云计算存储数据访问安全自动监测系统设计

为了提高移动网络中心云计算存储数据访问和安全监测能力,提出一种基于深度学习和交叉编译控制的移动网络中心云计算存储数据访问安全自动监测系统设计方法。采用混合属性数据模糊加权聚类方法进行移动网络中心云计算存储数据的优化访问控制模型设计,根据云计算存储数据之间的属性相似度进行离散化数值属性分解,提取移动网络中心云计算存储数据的混合属性特征量,根据最小化云存储数据访问成本为代价进行移动网络中心云计算存储数据访问的安全监测。结合深度学习方法进行数据访问的自适应控制,在交叉编译环境下实现云计算存储数据访问安全自动监测系统开发设计。测试结果表明,采用该方法进行移动网络中心云计算存储数据访问的安全性较好,自动化控制能力较强。     

基于云计算的开放性教学资源平台建设研究

针对当前高等教育信息化资源平台建设零散分布、重复投资等突出问题,提出了基于云计算的开放性教学资源平台建设方案。以期建立一个基于云计算的集中管理、分散存储的资源开发、管理、应用系统平台,形成高等教育信息化资源共建共享的机制。首先分析了基于云计算的开放性教学资源平台建设的可行性,然后提出了基于云计算的开放性教学资源平台的设计思想、系统设计、系统架构、资源库建设内容,并对主要应用功能进行了概述,有助于推进基于云计算的高校信息化资源平台建设进程。     

流计算模式下概率粗糙集三支决策的快速计算

概率粗糙集三支决策是不确定问题求解的一种重要理论,流计算模式是一种新型的动态内存计算形式,实施流计算模式下三支决策的快速动态计算是一项具有挑战性的新议题。本研究以流计算模式中的两个核心计算步骤即动态增量与动态减量作为研究对象,提出了一种流计算模式下概率粗糙集三支决策域的快速动态学习方法。首先对流计算模式中三支决策动态增量和动态减量的不同变化情况进行了数据建模。然后基于不同数据变化情况分别讨论了数据增量与数据减量时三支决策域的变化推理,并且基于上述理论给出了流计算模式下的三支决策动态增减学习算法。该算法能够以更低的时间复杂度获得与经典三支决策算法相同决策效果。最后通过八种UCI数据集的实验证明了流计算模式下三支决策动态增减学习算法在时间消耗上明显优于经典概率粗糙集三支决策算法,并且在不同阈值下具有稳定的决策效率。本研究表明了流计算模式下三支决策快速计算是可行的。     

数据处理中心云服务综合架构的研究与应用

分析云计算研究和应用的现状,阐述了综合型项目中基于云服务架构建设数据处理中心的典型模式,采用了理论分析和实践设计的方法,重点研究并提出了数据处理中心的云服务综合架构,包括云计算平台、资源管理、架构管理、计算资源部署和云存储数据仓库,在建设成本、移植风险和业务性能方面分析了云架构的基础优势,并展望了云架构发展前景。