基于集成学习的僵尸网络在线检测方法

针对现有的僵尸网络研究工作所检测的僵尸网络生命周期的阶段较为单一的问题,提出基于集成学习的僵尸网络在线检测方法。首先,细粒度地标记僵尸网络多个阶段的流量,生成僵尸网络数据集;其次,结合多种特征选择算法生成包含23个特征的重要特征集和包含28个特征的次重要特征集,基于Stacking集成学习技术集成多种深度学习模型,并针对不同的初级分类器提供不同的输入特征集,得到僵尸网络在线检测模型;最后,将僵尸网络在线检测模型部署在网络入口处在线检测多种僵尸网络。实验表明,所提基于集成学习的僵尸网络在线检测方法能够有效地检测出多个阶段的僵尸网络流量,恶意流量检测率可达96.47%。     

基于Flink的分布式推荐系统

随着不断扩张的数据量,传统推荐系统面临着计算效率低、实时推荐速度较慢、推荐效果不够理想等情况。针对上述问题,使用新一代流式计算引擎ApacheFlink作为推荐的计算平台,结合Hadoop、Hive、Redis、ZooKeeper和Kafka等大数据开源技术构建分布式推荐系统。同时,使用Alink提高离线推荐算法在分布式场景的效率;改进实时推荐算法,利用用户最近历史评分,融入时间衰减函数,生成TOP-N实时推荐列表。结果表明,推荐结果的准确率、召回率以及归一化折损累计增益等指标都有较好地提升,改进后算法有更好的推荐效果。     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

基于多核集成的在线半监督学习方法

在很多实时预测任务中,学习器需对实时采集到的数据在线地进行学习.由于数据采集的实时性,往往难以为采集到的所有数据提供标记.然而,目前的在线学习方法并不能利用未标记数据进行学习,致使学得的模型并不能即时反映数据的动态变化,降低其实时响应能力.提出一种基于多核集成的在线半监督学习方法,使得在线学习器即使在接收到没有标记的数据时也能进行在线学习.该方法采用多个定义在不同RKHS中的函数对未标记数据预测的一致程度作为正则化项,在此基础上导出了多核集成在线半监督学习的即时风险函数,然后借助在线凸规划技术进行求解.在UCl数据集上的实验结果以及在网络入侵检测上的应用表明,该方法能够有效利用数据流中未标记数据来提升在线学习的性能.     

基于Flink的任务调度策略

针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。     

基于Flink框架的TopN堆排序优化算法

为了解决大数据Top N排序问题,将传统的堆排序进行优化,阐述了优化后的Heap Optimize方法的处理过程。Heap Optimize方法基于Flink框架来完成Top N作业,可以实时地接收并处理大量的数据,根据单位时间需要处理的数据数量来调整算子的并行度,增加Flink框架的吞吐量,提高处理数据的速度。通过实验测量的数据结果佐证了Heap Optimize方法的优势。     

自适应嵌套级联的在线集成学习方法研究

针对视频目标检测问题,提出一种新的在线集成学习方法。该方法把目标检测看成两类分类问题,首先用少量已标注样本离线训练一个初始集成分类器,然后在检测目标的同时通过跟踪过滤虚警目标,并通过样本置信度作进一步验证自动标注样本,最后通过在线集成学习方法更新级联分类器。该方法通过在线调整级联分类器,提高分类器对目标环境变化的适应能力,在大量视频序列上进行实验验证,并与现有在线集成学习方法进行比较,结果表明,通过该方法训练得到的检测器不但能够很好地应对目标特征的变化,也能在出现目标遮挡及背景干扰下稳定地检测出目标,具有较好的适应性及鲁棒性。     

基于Apache Flink的RDF流数据查询

目前成熟的RDF流处理（RDF Stream Processing, RSP）系统由于集中式的设计而缺乏并行处理特性,因此在查询处理大量传入的RDF流数据时,均无法实现高吞吐和低延迟。为提高查询性能,本文对RSP查询过程和Flink流计算结构进行研究,设计数据源、滤器、多路分区连接和投影4个逻辑操作符,并设计一种多流连接（Multi-Stream Join, MSJ）算法用于生成具有并行性的有向无环图的逻辑查询计划,最后以大数据流处理平台Apache Flink为底层实现逻辑操作符和逻辑查询计划。使用真实数据集SRBench和模拟数据集LUBMs进行实验验证。结果表明,与最成熟的系统C-SPARQL、CQELS相比,单机吞吐量增长高达10倍,5台机器集群的吞吐量增长高达28倍,同时在延时方面达到了毫秒级;在查询性能方面实现了处理大量RDF流数据时吞吐量的提高和延时的降低。     

一种基于agent的分布式集成框架的设计与实现

对象框架技术已成为当今分布异构环境下建立应用系统集成和软构件的核心技术,为支持分布式客户/服务器应用的开发和集成,我们开展了分布式集成框架CSE/MA的研究和开发,目的在于提供一种支持分布式客户/服务器应用开发的分布式集成框架.方便用户开发和集成分布式客户/服务器应用。     

基于云计算的在线学习平台的设计与应用

本文将云计算的概念引入到在线学习平台的建设中,提出设计基于云计算的在线学习平台。首先介绍云计算的概念和特点,然后提出一种基于云计算在线学习平台的设计框架,最后实现了一个在线讨论的云计算教育服务平台。     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

基于Boosting框架的非稀疏多核学习方法

针对传统的分类器集成的每次迭代通常是将单个最优个体分类器集成到强分类器中,而其它可能有辅助作用的个体分类器被简单抛弃的问题,提出了一种基于Boosting框架的非稀疏多核学习方法MKL-Boost,利用了分类器集成学习的思想,每次迭代时,首先从训练集中选取一个训练子集,然后利用正则化非稀疏多核学习方法训练最优个体分类器,求得的个体分类器考虑了M个基本核的最优非稀疏线性凸组合,通过对核组合系数施加LP范数约束,一些好的核得以保留,从而保留了更多的有用特征信息,差的核将会被去掉,保证了有选择性的核融合,然后将基于核组合的最优个体分类器集成到强分类器中。提出的算法既具有Boosting集成学习的优点,同时具有正则化非稀疏多核学习的优点,实验表明,相对于其它Boosting算法,MKL-Boost可以在较少的迭代次数内获得较高的分类精度。     

超级分布学习对象的学习服务研究

以超级分布学习对（super distributed learning object,SDLO）的寻找伙伴服务为例,对SDLO的学习服务、学习服务的通信进行了描述,并给出学习服务算法,最后利用Aglet2．0．2开发出了SDLO原型系统,对SDLO的学习服务进行了验证。SDLO的学习服务是其分布性、协作性等特性的重要体现,为知识的交流、共享与创新提供了有力支持,从而达到分布式学习和协作学习的目的。     

基于JavaSpaces的分布式计算技术研究

JavaSpaces是基于Java语言平台的面向对象的元组空间技术,它为分布式环境下构建可靠、灵活和可扩展的应用系统提供了一种简单而有用的方案。详细介绍了JavaSpaces的编程模型,分析了JavaSpaces的应用模式,并且提出了一个基于JavaSpaces的分布式并行计算框架。     

基于集成混合采样的软件缺陷预测研究

对软件缺陷预测的不平衡问题进行了研究,提出了一种处理不平衡数据的采样方法,用来解决分类器因为样本集中的样本类别不平衡而造成分类器性能下降的问题。为了避免随机采样的盲目性,利用启发性的混合采样方法来平衡数据,针对少数类采用SMOTE过采样,对多数类采用K-Means聚类降采样,然后综合利用多个单分类器来进行投票集成预测分类。实验结果表明,混合采样与集成学习相结合的软件缺陷预测方法具有较好的分类效果,在获得较高的查全率的同时还能显著降低误报率。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。