基于大数据的半分布式僵尸网络动态抑制算法

为了提高半分布式僵尸网络的安全性,提出一种基于大数据的半分布式僵尸网络动态抑制算法.采用波特间隔均衡控制方法,进行半分布式僵尸网络的动态特征补偿,构建半分布式僵尸网络动态特征信息采样模型,利用判决均衡方法,对采集到的动态特征信息进行定量递归分析,提取半分布式僵尸网络的统计特征量;在此基础上,采用大数据寻优计算方法,获取...     

基于流量摘要的僵尸网络检测

随着僵尸网络的日益进化,检测和防范僵尸网络攻击成为网络安全研究的重要任务.现有的研究很少考虑到僵尸网络中的时序模式,并且在实时僵尸网络检测中效果不佳,也无法检测未知的僵尸网络.针对这些问题,本文提出了基于流量摘要的僵尸网络检测方法,首先将原始流数据按照源主机地址聚合,划分适当的时间窗口生成流量摘要记录,然后构建决策树、...     

DCA算法在僵尸网络检测中的应用

Greensmith根据树突状细胞机理设计实现了树突状细胞算法DCA(Dendritic Cell Algorithm),并将其用于入侵检测系统中。实验结果表明,该算法具有较高的效率,并得到了广泛的应用。本文对DCA算法进行了描述并简要介绍了其在僵尸网络检测中的应用,具有实际意义。     

一种关联网络和主机行为的延迟僵尸检测方法

僵尸网络对现有计算机网络安全构成了巨大的威胁.新型僵尸经常采用隐蔽技术躲避安全系统的检测.采用延迟响应手段的僵尸在网络活动和主机行为之间插入随机时间的延迟,迷惑现有使用关联的检测方法.针对延迟僵尸的网络活动和主机行为,提出了一个新的关联检测方法.针对延迟僵尸的网络活动和主机行为可能分散在不同时间窗口的问题,使用滑动时间窗口迭代算法,提高了检测准确率.针对单纯主机检测方法需要全局部署问题,使用推荐算法关联网络和主机行为,提高了检测的健壮性和准确率.分析了滑动时间窗口大小和主机检测工具部署率对检测准确率的影响.实验结果表明,方法能有效检测延迟僵尸,当网络中主机检测工具的部署率达到80%时,包括未部署检测工具的主机在内,准确率约为88%.     

僵尸网络检测技术研究进展

僵尸网络的肆虐给互联网带来了极大的威胁,使得僵尸网络检测技术成为近年来网络安全领域的热点研究课题.首先,在对已提出的检测技术进行归纳分析的基础上,概括了僵尸网络检测的基本过程,并对这些检测技术进行了分类;然后,按照僵尸网络生命周期不同阶段的分类方法,着重分析了每种检测技术的研究思路、操作流程和优缺点;接下来,总结了现有检测技术所使用的主要方法及相应算法,提出了评价指标,并对选取的代表性技术进行了比较;最后,探讨了僵尸网络检测的关键问题及今后的研究方向.     

一种混合式僵尸主机检测算法的设计与实现

为了进一步提高检测的精确性,在研究僵尸主机的行为特点以及僵尸网络命令与控制信道的特性后,提出了一种基于终端系统行为和网络行为的混合式僵尸主机检测算法,并对现有的僵尸网络行为稳定性衡量方法进行了改进.在此基础上,设计实现了一个僵尸主机检测原型系统--BotScout.评估结果表明了算法的有效性.     

一种新颖的P2P僵尸网络检测技术

针对当前僵尸网络向P2P方向发展的趋势,在对P2P僵尸网络本质的理解和把握的基础上,提出了一种新颖的P2P僵尸网络检测技术。对于某个被监视的网络,关注其内部每台主机的通信行为和网络恶意活动。把这些通信行为和网络恶意活动分类,找出具有相似或相关通信和网络恶意行为的主机。根据我们对定义的理解,这些主机就属于某个P2P僵尸网络。     

僵尸网络如何躲避检测机制的研究

近几年来,僵尸网络给网络带来了巨大的安全威胁,僵尸网络总是小心翼翼地隐藏自己来增加自己的生存概率及生存时间。在给出僵尸网络的定义的基础上,从Bot、Botmaster、C&C三个方面研究僵尸网络是如何躲避检测机制的。     

基于相似性的僵尸网络检测研究

本文根据同一个僵尸网络中的成员在行为上呈现一定相似性的原理,提出了一个僵尸网络检测模型,该模型能满足对IRC、HTTP、P2P三种僵尸网络的检测要求.     

僵尸网络及检测技术探索

通过综述僵尸网络的相关知识,提出基于行为与域关联的检测方法。对僵尸网络的行为流和域名查询流进行类聚,建立一种聚类联动的检测模型,以期突破基于特征的监测的局限性。本文分析了僵尸网络的相关知识和工作原理,重点分析基于Behavior-domain模型的僵尸网络检测方法。     

Spark在人类基因领域的应用

人类基因组作为一种具有高价值的、弥足珍贵的大数据信息,亟待人们进行高效、准确的分析处理。由于传统Hadoop云框架的数据处理存在高延迟的致命缺点,Spark云平台应运而生。基于Spark云平台的人体基因组数据系统将为疾病的早期发现或治疗以及降低婴儿的出生缺陷等做出巨大贡献。     

EFFORT: A new host–network cooperated framework for efficient and effective bot malware detection

Bots are still a serious threat to Internet security. Although a lot of approaches have been proposed to detect bots at host or network level, they still have shortcomings. Host-level approaches can detect bots with high accuracy. However they usually pose too much overhead on the host. While network-level approaches can detect bots with less overhead, they have problems in detecting bots with encrypted, evasive communication C&C channels. In this paper, we propose EFFORT, a new host–network cooperated detection framework attempting to overcome shortcomings of both approaches while still keeping both advantages, i.e., effectiveness and efficiency. Based on intrinsic characteristics of bots, we propose a multi-module approach to correlate information from different host- and network-level aspects and design a multi-layered architecture to efficiently coordinate modules to perform heavy monitoring only when necessary. We have implemented our proposed system and evaluated on real-world benign and malicious programs running on several diverse real-life office and home machines for several days. The final results show that our system can detect all 17 real-world bots (e.g., Waledac, Storm) with low false positives (0.68%) and with minimal overhead. We believe EFFORT raises a higher bar and this host–network cooperated design represents a timely effort and a right direction in the malware battle.     

云计算中Hadoop技术研究与应用综述

Hadoop作为当今云计算与大数据时代背景下最热门的技术之一,其相关生态圈与Spark技术的结合一同影响着学术发展和商业模式。首先介绍了Hadoop的起源和优势,阐明相关技术原理,如MapReduce,HDFS,YARN,Spark等;然后着重分析了当前Hadoop学术研究成果,从MapReduce算法的改进与创新、HDFS技术的优化与创新、二次开发与其它技术相结合、应用领域创新与实践4个方面进行总结,并简述了国内外应用现状。而Hadoop与Spark结合是未来的趋势,最后展望了Hadoop未来研究的发展方向和亟需解决的问题。     

基于加权Bayes分类器的流数据在线分类算法研究

传统的分类算法在对模型进行训练之前,需要得到整个训练数据集。然而在大数据环境下,数据以数据流的形式源源不断地流向系统,因此不可能预先获得整个训练数据集。研究了大数据环境下含有噪音的流数据的在线分类问题。将流数据的在线分类描述成一个优化问题,提出了一种加权的Nave Bayes分类器和一种误差敏感的(Error Adaptive)分类器,并通过真实的数据集对提出的算法进行了验证。实验结果表明,文中提出的误差敏感的分类器算法在系统没有噪音的情况下分类预测的准确性要优于相关的算法;此外,当流数据中含有噪音时,误差敏感的分类器算法对噪音不敏感,仍然具有很好的预测准确性,因此可以应用于大数据环境下流数据的在线分类预测。     

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

大数据环境下基于贝叶斯推理的中文地名地址匹配方法

传统的中文地名地址匹配技术难以处理大数据环境下海量、多样和异构的智慧城市地理信息空间中的中文地名地址快速匹配问题。提出了一种Spark计算平台下基于中文地名地址要素的匹配框架及应用智能决策的匹配算法(An Intelligent Decision Matching Algorithm,AIDMA)。首先,从中文地名地址中富含的语义性和中文字符串、数字与字母之间的自然分隔性两个方面进行地址要素解析,构建了融合多距离信息的贝叶斯推理网络,从而提出了基于多准则评判的中文地名地址匹配决策方法。然后,利用芜湖市514967条脱敏后的燃气开户中文地名地址信息库与1770979条网格化社区中的中文地名地址信息库(包含网格化地址的地理空间信息)进行实验与分析。实验结果表明,在处理大规模中文地名地址信息时,相比于传统的中文地名地址匹配方法,该方法能够有效提高单条中文地名地址的匹配效率,同时在匹配度与精确度两个指标上匹配结果更加均衡。     

基于Spark的油藏数据挖掘与分析

为了方便油藏数据特征的分析和石油的勘探开发过程,本文利用Spark并行计算框架分析油藏数据,并通过数据挖掘算法分析油藏属性之间的潜在关系,对油藏的不同层段进行了分类和预测.本文的主要工作包括：搭建Spark分布式集群和数据处理、分析平台,Spark是流行的大数据并行计算框架,相对传统的一些分析方法和工具,可以实现快速、准确的数据挖掘任务;根据油藏数据的特点建立多维异常检测函数,并新增渗孔比判别属性Pr;在处理不平衡数据时,针对逻辑回归分类提出交叉召回训练模型,并优化代价函数,针对决策树,提出KR-SMOTE对小类别样本进行过采样扩充,这两种方法都可以有效处理数据不平衡问题,提高分类精度.     

HSSM:一种流数据分层次模最大化方法

从大规模数据中“摘要”出最能满足效用函数收益的有限个数据对象,可以被归纳为次模函数最大化问题.并行过滤算法在满足流数据访问次数限制与实时响应的条件下,通过分布式筛选的方式实现次规模最大化,但在提升摘要速率时效用函数收益损失较大.提出一种流数据分层次模最大化算法HSSM,在仅访问一次数据集的条件下,采用流水并行的分布式处理框架得到接近于标准贪心算法的次模函数收益,同时改进HSSM通过累积摘要的压缩存储、分层过滤低增益对象提升摘要速率.该方法在数据摘要问题的相关领域具有广泛的应用性,如文档集中代表性文章的选取、数据集中心点选取等.实验结果显示,分布式算法Spark-HSSM+对比于传统的算法在运行速率上达到与摘要规模k成k+2正比例关系的提升.而相对于其他分布式算法,其实验效用收益与理论最差收益都更接近于贪心算法.