基于集成学习技术的恶意软件检测方法

近年来,低级别微结构特征已被广泛应用于恶意软件检测。但是,微结构特征数据通常包含大量的冗余信息,且目前的检测方法并没有对输入微结构数据进行有效地预处理,这就造成恶意软件检测需要依赖于复杂的深度学习模型才能获得较高的检测性能。然而,深度学习检测模型参数量较大,难以在计算机底层得到实际应用。为了解决上述问题,本文提出了一种新颖的动态分析方法来检测恶意软件。首先,该方法创建了一个自动微结构特征收集系统,并从收集的通用寄存器(General-Purpose Registers, GPRs)数据中随机抽取子样本作为分类特征矩阵。相比于其他微结构特征, GPRs特征具有更丰富的行为特征信息,但也包含更多的噪声信息。因此,需要对GPRs数据进行特征区间分割,以降低数据复杂度并抑制噪声。本文随后采用词频-逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)技术从抽取的特征矩阵中选择最具区分性的信息来进行恶意软件检测。TF-IDF技术可以有效降低特征矩阵的维度,从而提高检测效率。为了降低模型复杂度,并保证检测方法的性能,本文利用集成学习模型来识...     

基于遗传规划集成学习的网络作弊检测

网络作弊检测是搜索引擎的重要挑战之一,该文提出基于遗传规划的集成学习方法 (简记为GPENL)来检测网络作弊。该方法首先通过欠抽样技术从原训练集中抽样得到t个不同的训练集;然后使用c个不同的分类算法对t个训练集进行训练得到t*c个基分类器;最后利用遗传规划得到t*c个基分类器的集成方式。新方法不仅将欠抽样技术和集成学习融合起来提高非平衡数据集的分类性能,还能方便地集成不同类型的基分类器。在WEBSPAM-UK2006数据集上所做的实验表明无论是同态集成还是异态集成,GPENL均能提高分类的性能,且异态集成比同态集成更加有效;GPENL比AdaBoost、Bagging、RandomForest、多数投票集成、EDKC算法和基于Prediction Spamicity的方法取得更高的F-度量值。     

基于集成学习算法的恶意软件感染二分类预测

对随机森林和LightGBM两种集成学习算法在恶意软件感染二分类预测中的应用进行了研究.针对恶意软件感染预测数据集,通过预处理修正异常值,选择合适的编码方式处理数据集中不同类型的数据;进行特征工程处理,包括原始特征的构建并对部分特征进行拆分,构建时间戳特征以补充缺失的时间信息;使用基于Bagging集成的随机森林算法得...     

基于多特征和Stacking算法的Android恶意软件检测方法

Android由于其广泛的普及率使得其平台上的恶意软件数量不断增加,针对目前大部分方法采用单一特征和单一算法进行检验,准确率不高的不足,提出了一种基于多特征与Stacking算法的静态检测方法,该方法能够弥补这两方面的不足. 首先使用多种特征信息组成特征向量,并且使用Stacking集成学习算法组合Logistic,SVM,k近邻和CART决策树多个基本算法,再通过训练样本进行学习形成分类器. 实验结果表明,相对于使用单一特征和单一算法其识别准确率得到提高,可达94.05%,该分类器对测试样本拥有较好的识别性能.     

基于深度学习的可扩展Android恶意软件检测和分类方案

Android操作系统是目前移动设备中的主流操作系统之一。它拥有庞大的用户群,因此也出现了许多恶意的Android软件。每年,研究人员都会提出一些新的Android恶意软件分析框架来防御现实世界的Android恶意软件应用程序。论文使用主流的深度学习算法,构建了合适的神经网络,并在网络层之间增加修正线性单元,实现了Android恶意软件的检测和分类。通过对网络的训练,最终得到了一个比较好的恶意检测器（二元分类器）和三个多分类器的结果——基于静态恶意软件二分类器的准确率为95.74%,多分类器的准确率为92.98%,基于动态的恶意软件大类多分类器的准确率为84.48%,基于动态的恶意软件家族小类多分类器的准确率为60.34%。     

基于遗传规划和主动学习的本体实例匹配

针对现有实例匹配方法存在的准确率和学习效率不高的问题,提出了一种新的基于遗传规划和主动学习的链接规则学习方法,并用于本体实例匹配。设计了更合理的链接规则表示,并针对链接规则的特点,对遗传规划的初始种群产生、适应度函数和进化算子进行了详细设计。提出了一种考虑样本相关性的主动学习采样策略,使得稀有样本被优先训练。实验结果表明,该方法不仅学习效率更高,而且能够学习出高质量的链接规则,取得了较好的本体实例匹配结果。     

基于深度置信网的电力系统恶意软件检测

为了实现对电力系统未知恶意软件的准确检测,本文提出了一种基于深度置信网(DBN)的恶意软件检测系统.该系统将恶意软件解构为操作码序列,提取其中具有检测价值的特征向量,并使用DBN分类器实现恶意代码的分类.通过分类性能、特征提取和未标记数据训练的实验,证明了基于DBN的分类器能够使用未标记数据进行训练且具有优于其他分类算...     

Windows平台恶意软件智能检测综述

近年来,恶意软件给信息技术的发展带来了很多负面的影响.为了解决这一问题,如何有效检测恶意软件则一直备受关注.随着人工智能的迅速发展,机器学习与深度学习技术逐渐被引入到恶意软件的检测中,这类技术称之为恶意软件智能检测技术.相比于传统的检测方法,由于人工智能技术的应用,智能检测技术不需要人工制定检测规则.此外,具有更强的泛化能力,能够更好地检测先前未见过的恶意软件.恶意软件智能检测已经成为当前检测领域的研究热点.主要介绍了当前的恶意软件智能检测相关工作,包含了智能检测所需的主要环节.从智能检测中常用的特征、如何进行特征处理、智能检测中常用的分类器、当前恶意软件智能检测所面临的主要问题4个方面对智能检测相关工作进行了系统地阐述与分类.最后,总结了先前智能检测相关工作,阐明了未来潜在的研究方向,旨在能够助力恶意软件智能检测的发展.     

基于数据特征的内核恶意软件检测

内核恶意软件对操作系统的安全造成了严重威胁.现有的内核恶意软件检测方法主要从代码角度出发,无法检测代码复用、代码混淆攻击,且少量检测数据篡改攻击的方法因不变量特征有限导致检测能力受限.针对这些问题,提出了一种基于数据特征的内核恶意软件检测方法,通过分析内核运行过程中内核数据对象的访问过程,构建了内核数据对象访问模型;然后,基于该模型讨论了构建数据特征的过程,采用动态监控和静态分析相结合的方法识别内核数据对象,利用EPT监控内存访问操作构建数据特征;最后讨论了基于数据特征的内核恶意软件检测算法.在此基础上,实现了内核恶意软件检测原型系统MDS-DCB,并通过实验评测MDS-DCB的有效性和性能.实验结果表明：MDS-DCB能够有效检测内核恶意软件,且性能开销在可接受的范围内.     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

基于集成学习的Self-training在入侵检测中的应用

针对入侵检测的标记数据难以获得的问题,提出一种基于集成学习的Self-training方法——正则化Self-training。该方法结合主动学习和正则化理论,利用无标记数据对已有的分类器（该分类器对分类模式已学习得很好）作进一步的改进。对三种主要的集成学习方法在不同标记数据比例下进行对比实验,实验结果表明：借助大量无标记数据可以改善组合分类器的分类边界,算法能显著地降低结果分类器的错误率。     

基于集成学习的僵尸网络在线检测方法

针对现有的僵尸网络研究工作所检测的僵尸网络生命周期的阶段较为单一的问题,提出基于集成学习的僵尸网络在线检测方法。首先,细粒度地标记僵尸网络多个阶段的流量,生成僵尸网络数据集;其次,结合多种特征选择算法生成包含23个特征的重要特征集和包含28个特征的次重要特征集,基于Stacking集成学习技术集成多种深度学习模型,并针对不同的初级分类器提供不同的输入特征集,得到僵尸网络在线检测模型;最后,将僵尸网络在线检测模型部署在网络入口处在线检测多种僵尸网络。实验表明,所提基于集成学习的僵尸网络在线检测方法能够有效地检测出多个阶段的僵尸网络流量,恶意流量检测率可达96.47%。     

基于自编码器与集成学习的离群点检测算法

针对基于自编码器的离群点检测算法在中小规模数据集上易过拟合以及传统的基于集成学习的离群点检测算法未对基检测器进行优化选择而导致的检测精度低的问题,提出了一种基于自编码器与集成学习的离群点检测（EAOD）算法。首先,随机改变自编码器的连接结构来生成不同的基检测器,以获取数据对象的离群值和标签离群值;然后,通过最近邻算法计算数据对象之间的欧氏距离,并在对象周围构建局部区域;最后,根据离群值与标签离群值之间的相似度,选择在该区域内检测能力强的基检测器进行组合,组合后的对象离群值作为EAOD算法最终判定的离群值。在实验中,所提算法与自编码器（AE）算法相比,在Cardio数据集上,接受者操作特征曲线下方的面积（AUC）和平均精度（AP）分值分别提高了8.08个百分点和9.17个百分点;所提算法与特征装袋（FB）集成学习算法相比,在Mnist数据集上,运行时间成本降低了21.33%。实验结果表明,在无监督学习下所提算法具有良好的检测性能和检测实时性。     

集成学习中的多样性度量

在集成学习中, 基分类器之间的多样性对于解释多分类器系统的工作机理和构造有效的集成系统具有重要的作用, 但至今仍没有统一的度量多样性的方法. 首先总结介绍常用的多样性度量方法, 阐述每种方法评估多样性的角度和方式; 然后从对多样性新的解释和度量、多样性度量在选择性集成中的应用、多样性度量和集成学习精度的关系3 个方面探讨多样性度量的研究进展; 最后给出关于多样性度量进一步的研究方向.

     

基于互信息加权集成迁移学习的入侵检测方法

入侵检测系统（IDS）已成为网络安全体系结构中的必要组成部分。在面对现代网络安全需求时,现有的入侵检测方法的可行性和持续性仍然存在提高空间,主要体现在更早地发现入侵威胁和提高入侵检测系统的检测精准度,为此提出一种基于互信息加权的集成迁移学习（ETL）入侵检测方法。首先,通过迁移策略对多组特征集进行建模;然后,使用互信息度量在迁移模型下特征集在不同域中的数据分布;最后,根据度量值对多个迁移模型进行集成加权,得到集成迁移模型。该方法通过学习新环境下的少量有标记样本和以往环境下的大量有标记样本的知识,可以建立效果优于传统非集成、非迁移的入侵检测模型。使用基准NSL-KDD数据集对该方法进行评估,实验结果表明,所提方法具有良好的收敛性能,并提高了入侵检测的精准率。     

一种新的基于多样性赋权证据推理的集成学习方法

在集成学习中使用平均法、投票法作为结合策略无法充分利用基分类器的有效信息,且根据波动性设置基分类器的权重不精确、不恰当。以上问题会降低集成学习的效果,为了进一步提高集成学习的性能,提出将证据推理(evidence reasoning, ER)规则作为结合策略,并使用多样性赋权法设置基分类器的权重。首先,由多个深度学习模型作为基分类器、ER规则作为结合策略,构建集成学习的基本结构;然后,通过多样性度量方法计算每个基分类器相对于其他基分类器的差异性;最后,将差异性归一化实现基分类器的权重设置。通过多个图像数据集的分类实验,结果表明提出的方法较实验选取的其他方法准确率更高且更稳定,证明了该方法可以充分利用基分类器的有效信息,且多样性赋权法更精确。     

基于集成学习的物联网设备异常流量检测算法

随着物联网设备数量的快速增长,被劫持的物联网设备组成的僵尸网络发起非法攻击的频率大大增加,物联网设备的安全性已经成为一个严峻的问题。为了检测物联网设备发起的异常流量,提出一种集成学习的个体学习器选择算法（individual learner selection algorithm,IISA）,IISA是一种基于相关系数度量的选择方法,利用相关系数将相似度差异大的个体学习器集成起来并采用投票的方式进行判决,在减少个体学习器的同时,提高检测的准确度和检测效率。实验结果表明,和八种半监督机器学习检测算法相比,其查全率最大降低9.12%,准确率最大提高4.69%,检测效率最大提高70.72%。     

基于随机投影与集成学习的离群点检测算法

针对传统基于相似度的离群点检测算法在高维不均衡数据集上效果不够理想的问题,提出一种新颖的基于随机投影与集成学习的离群点检测（ensemble learning and random projection-based outlier detection,EROD）框架。算法首先集成多个随机投影方法对高维数据进行降维,提升数据多样性;然后集成多个不同的传统离群点检测器构建异质集成模型,增加算法鲁棒性;最后使用异质模型对降维后的数据进行训练,训练后的模型经过两次优化组合以降低泛化误差,输出最终的对象离群值,离群值高的对象被算法判定为离群点。分别在四个不同领域的高维不均衡真实数据集上进行对比实验,结果表明该算法与传统离群点检测算法和基于集成学习的离群点检测算法相比,在AUC和precision@n值上平均提高了3.6%和14.45%,证明EROD算法具有处理高维不均衡数据异常的优势。     

基于信息熵的集成学习过程多样性度量研究

基分类器的多样性是提升集成学习的精度和泛化能力的重要因素,大数据环境下的传统后验证多样性度量方法计算效率较低,提出一种基于信息熵的过程多样性度量方法。通过使用分类器各属性的增益及其所在树层次得到属性集的联合增益,并计算分类器间的熵距离评估其多样性,利用熵距离按照K-means方法即可动态购置集成学习分类器。在西瓜数据集和典型分类数据集上进行比较研究,发现与传统集成学习方法相比,该方法具有相近的准确性和更高的计算效率。