基于多特征融合的恶意代码分类算法

针对多数恶意代码分类研究都基于家族分类和恶意、良性代码分类,而种类分类比较少的问题,提出了多特征融合的恶意代码分类算法。采用纹理图和反汇编文件提取3组特征进行融合分类研究,首先使用源文件和反汇编文件提取灰度共生矩阵特征,由n-gram算法提取操作码序列;然后采用改进型信息增益（IG）算法提取操作码特征,其次将多组特征进行标准化处理后以随机森林（RF）为分类器进行学习;最后实现了基于多特征融合的随机森林分类器。通过对九类恶意代码进行学习和测试,所提算法取得了85%的准确度,相比单一特征下的随机森林、多特征下的多层感知器和Logistic回归算法分类器,准确率更高。     

Unknown malcode detection and the imbalance problem

The recent growth in network usage has motivated the creation of new malicious code for various purposes. Today’s signature-based antiviruses are very accurate for known malicious code, but can not detect new malicious code. Recently, classification algorithms were used successfully for the detection of unknown malicious code. But, these studies involved a test collection with a limited size and the same malicious: benign file ratio in both the training and test sets, a situation which does not reflect real-life conditions. We present a methodology for the detection of unknown malicious code, which examines concepts from text categorization, based on n-grams extraction from the binary code and feature selection. We performed an extensive evaluation, consisting of a test collection of more than 30,000 files, in which we investigated the class imbalance problem. In real-life scenarios, the malicious file content is expected to be low, about 10% of the total files. For practical purposes, it is unclear as to what the corresponding percentage in the training set should be. Our results indicate that greater than 95% accuracy can be achieved through the use of a training set that has a malicious file content of less than 33.3%.     

基于特征组合的Powershell恶意代码检测方法

近年来,Powershell由于其易用性强、隐蔽性高的特点被广泛应用于APT攻击中,传统的基于人工特征提取和机器学习方法的恶意代码检测技术在Powershell恶意代码检测中越来越难以有效.本文提出了一种基于随机森林特征组合和深度学习的Powershell恶意代码检测方法.该方法使用随机森林生成更好表征原始数据的新特征...     

基于深度学习和区块链的JavaScript恶意代码检测系统

目前基于深度学习的恶意代码检测技术是恶意代码检测领域的研究热点,然而大多数研究集中于如何改进算法来提高恶意代码检测的准确率,忽略了恶意代码数据集样本标签的不足导致无法训练出高质量的模型.本文利用区块链技术来解决恶意代码检测数据样本孤岛和数据可信任的问题;同时在代码特征提取上,使用马尔可夫图算法提取特征;基于分布式深度学习的训练融合区块链去中心化,可溯源不可篡改的优势,将不同算力贡献者采用同步训练更新模型参数.通过仿真实验和理论分析验证了该方法的可行性和巨大的潜力.     

A machine learning approach for feature selection traffic classification using security analysis

Class imbalance has become a big problem that leads to inaccurate traffic classification. Accurate traffic classification of traffic flows helps us in security monitoring, IP management, intrusion detection, etc. To address the traffic classification problem, in literature, machine learning (ML) approaches are widely used. Therefore, in this paper, we also proposed an ML-based hybrid feature selection algorithm named WMI_AUC that make use of two metrics: weighted mutual information (WMI) metric and area under ROC curve (AUC). These metrics select effective features from a traffic flow. However, in order to select robust features from the selected features, we proposed robust features selection algorithm. The proposed approach increases the accuracy of ML classifiers and helps in detecting malicious traffic. We evaluate our work using 11 well-known ML classifiers on the different network environment traces datasets. Experimental results showed that our algorithms achieve more than 95% flow accuracy results.     

基于图像纹理和卷积神经网络的恶意文件检测方法

在大数据环境下,针对传统恶意文件检测方法对经过代码变种和混淆后的恶意文件检测准确率低以及对跨平台恶意文件检测通用性弱等问题,提出一种基于图像纹理和卷积神经网络的恶意文件检测方法。首先,使用灰度图像生成算法将Android和Windows平台下可执行文件,即.dex和.exe文件,转换成相应的灰度图像;然后,通过卷积神经网络（CNN）算法自动提取这些灰度图像的纹理特征并加以学习训练,从而构建出一个恶意文件检测模型;最后,使用大量未知待检测的文件去验证模型检测准确率的高低。通过对大量的恶意样本进行实验,在Android和Windows平台下,模型检测最高准确率分别达到79.6%和97.6%,平均准确率分别约为79.3%和96.8%;与基于纹理指纹的恶意代码变种检测方法相比,基于图像纹理和卷积神经网络的恶意文件检测方法准确率提高了约20%。实验结果表明,所提方法能够有效避免人工筛选特征带来的问题,大幅提高检测的准确率和效率,成功解决跨平台检测问题,实现了一种端到端的恶意文件检测模型。     

基于VGGNet的恶意代码变种分类

针对代码复用在同一恶意家族样本中普遍存在的现象,提出了一种利用代码复用特征的恶意样本分类方法。首先将文件的二进制序列分割成RGB三色通道的值,从而将恶意样本转换为彩色图;然后用这些图片基于VGG卷积神经网络生成恶意样本分类模型;最后在模型训练阶段利用随机失活算法解决过拟合和梯度消失问题以及降低神经网络计算开销。该方法使用Malimg数据集25个族的9342个样本进行评估,平均分类准确率达96.16%,能有效地分类恶意代码样本。实验结果表明,与灰度图相比,所提方法将二进制文件转换为彩色图能更明显地强调图像特征,尤其是对于二进制序列中含有重复短数据片段的文件,而且利用特征更明显的训练集,神经网络能生成分类效果更好的分类模型。所提方法预处理操作简单,分类结果响应较快,因此适用于大规模恶意样本的快速分类等即时性要求较高的场景。     

Construction and evaluation of the new heuristic malware detection mechanism based on executable files static analysis

The paper presents the application justification of a new set of features collected at the stage of the static analysis of the executable files to address the problem of malicious code detection. In the course of study the following problems were solved: the development of the executable files classifier in the absence of a priori data concerning their functionality; designing the class models of uninfected files and malware during the learning process; the development of malicious code detection procedure using the neural networks mathematical apparatus and decision tree composition relating to the set of features specified on the basis of the executable files static analysis. The paper contains the results of experimental evaluation of the developed detection mechanism efficiency on the basis of neural networks (accuracy was 0.99125) and decision tree composition (accuracy was 0.99240). The obtained data confirmed the hypothesis about the possibility of constructing the heuristic malware analyzer on the basis of features selected during the static analysis of the executable files.     

SEMBeF:一种基于分片循环神经网络的敏感高效的恶意代码行为检测框架

词向量和循环神经网络（Recurrent Neural Network,RNN）能够识别语义和时序信息,在自然语言识别方面中取得了巨大成功。同时,代码运行时产生的API调用序列也反映了代码的真实意图,因此我们将之应用于恶意代码识别中,期望在取得较高正确率的同时减少人工提取和分析代码特征工作。然而仍然存在三个问题：1）不少恶意代码故意通过随机混合调用敏感API和非敏感API破坏正常的上下文,对这两种API同等对待可能产生漏报;2）为尽可能全面收集代码行为,代码运行期间产生的API序列长度较长,这将导致RNN学习时间过长;3）经典RNN常用的softmax分类函数泛化能力不强,准确率有待提高。为了解决上述问题,本文提出了一种基于分片RNN（Sliced Recurrent Neural Network,SRNN）的敏感高效的恶意代码行为检测架构SEMBeF。在SEMBeF中,我们提出了一种安全敏感API权重增强的敏感词向量算法,使得代码表示结果既包含上下文信息又包含安全敏感权重信息;我们还提出了一种SGRU-SVM网络结构,通过并行计算大幅降低了因代码API调用序列过长引起的训练时间过长的问题,提高了检测正确率;最后针对样本平衡和网络模型超参数选择问题进行了优化,进一步提高了检测正确率。本文还实现了SEMBeF验证系统,实验表明,与其他基于经典词向量和RNN的深度学习方法以及常用的机器学习方法相比,SEMBeF不仅检测正确率最高,训练效率也得到了显著提升。其中,检测正确率和训练时间分别为99.40%和210分钟,与传统RNN相比,正确率提高了0.48%,训练时间下降了96.6%。     

基于Stacking的恶意网页集成检测方法

针对目前主流恶意网页检测技术耗费资源多、检测周期长和分类效果低等问题，提出一种基于Stacking的恶意网页集成检测方法，将异质分类器集成的方法应用在恶意网页检测识别领域。通过对网页特征提取分析相关因素和分类集成学习来得到检测模型，其中初级分类器分别使用K近邻（KNN）算法、逻辑回归算法和决策树算法建立，而次级的元分类器由支持向量机（SVM）算法建立。与传统恶意网页检测手段相比，此方法在资源消耗少、速度快的情况下使识别准确率提高了0.7%，获得了98.12%的高准确率。实验结果表明，所提方法构造的检测模型可高效准确地对恶意网页进行识别。     

Improving malware detection by applying multi-inducer ensemble

Detection of malicious software (malware) using machine learning methods has been explored extensively to enable fast detection of new released malware. The performance of these classifiers depends on the induction algorithms being used. In order to benefit from multiple different classifiers, and exploit their strengths we suggest using an ensemble method that will combine the results of the individual classifiers into one final result to achieve overall higher detection accuracy. In this paper we evaluate several combining methods using five different base inducers (C4.5 Decision Tree, Naïve Bayes, KNN, VFI and OneR) on five malware datasets. The main goal is to find the best combining method for the task of detecting malicious files in terms of accuracy, AUC and Execution time.     

栈式自编码的恶意代码分类算法研究

针对传统机器学习方法不能有效地提取恶意代码的潜在特征,提出了基于栈式自编码(Stacked Auto Encoder,SAE)的恶意代码分类算法。 其次,从大量训练样本中学习并提取恶意代码纹理图像特征、指令语句中的隐含特征;在此基础上,为提高特征选择对分类算法准确性的提高,将恶意代码纹理特征以及指令语句频度特征进行融合,训练栈式自编码器和softmax分类器。 实验结果表明：基于恶意代码纹理特征以及指令频度特征,利用栈式自编码分类算法对恶意代码具有较好的分类能力,其分类准确率高于传统浅层机器学习模型（随机森林,支持向量机）,相比随机森林的方法提高了2.474％ ,相比SVM的方法提高了1.235％。     

基于纹理指纹与活动向量空间的Android恶意代码检测

为了进一步提高恶意代码识别的准确率和自动化程度,提出一种基于深度学习的Android恶意代码分析与检测方法。首先,提出恶意代码纹理指纹体现恶意代码二进制文件块内容相似性,选取33类恶意代码活动向量空间来反映恶意代码的潜在动态活动。其次,为确保分类准确率的提高,融合上述特征,训练自编码器（AE）和Softmax分类器。通过对不同数据样本进行测试,利用栈式自编码（SAE）模型对Android恶意代码的分类平均准确率可达94.9%,比支持向量机（SVM）高出1.1个百分点。实验结果表明,所提出的方法能够有效提高恶意代码识别精度。     

基于数据挖掘技术的加壳PE程序识别方法

恶意代码大量快速的繁衍使得恶意代码自动化检测成为必然趋势,加壳程序识别是恶意代码分析的一个必要步骤。为识别加壳可执行程序,提出一种基于数据挖掘技术的自动化加壳程序识别方法,该方法提取和选取可移植可执行(PE)特征,使用分类算法检测PE文件是否加壳。测试结果表明,在使用J48分类器时加壳文件识别率为98.7%。     

集成时空信息的木马智能检测

木马已成为当前信息安全的重要威胁.研究了已有的恶意代码智能检测方法,针对已有的智能检测没有充分利用时序和空间信息的缺陷,提出集成时序和空间信息的木马行为智能检测.给出了时序特征和空间特征的提取方法,并给出空间特征的特征选择和约简过程,并在此基础上给出了成员分类器的集成决策.给出了总体设计方案,实验结果表明集成时序和空间信息的木马智能检测相对于单分类器能够得到较好的分类准确率.     

基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

基于加权信息增益的恶意代码检测方法

采用数据挖掘技术检测恶意代码,提出一种基于加权信息增益的特征选择方法。该方法综合考虑特征频率和信息增益的作用,能够更加准确地选取有效特征,从而提高检测性能。实现一个恶意代码检测系统,采用二进制代码的N-gram和变长N-gram作为特征提取方法,加权信息增益作为特征选择方法,使用多种分类器进行恶意代码检测。实验结果证明,该方法能有效提高恶意代码的检测率和准确率。     

基于动态行为和机器学习的恶意代码检测方法

目前恶意代码出现频繁且抗识别性加强,现有基于签名的恶意代码检测方法无法识别未知与隐藏的恶意代码。提出一种结合动态行为和机器学习的恶意代码检测方法。搭建自动化分析Cuckoo沙箱记录恶意代码的行为信息和网络流量,结合Cuckoo沙箱与改进DynamoRIO系统作为虚拟环境,提取并融合恶意代码样本API调用序列及网络行为特征。在此基础上,基于双向门循环单元（BGRU）建立恶意代码检测模型,并在含有12 170个恶意代码样本和5 983个良性应用程序样本的数据集上对模型效果进行验证。实验结果表明,该方法能全面获得恶意代码的行为信息,其所用BGRU模型的检测效果较LSTM、BLSTM等模型更好,精确率和F1值分别达到97.84%和98.07%,训练速度为BLSTM模型的1.26倍。     

基于切片的深度学习SDN恶意应用程序的检测方法

SDN是一种新型网络架构,其核心技术是通过将网络设备控制面与数据面分离。然而目前针对SDN网络架构的恶意应用程序研究还较少。针对这一问题,在总结分析现有恶意应用检测方法的基础上,采用代码切片技术并基于深度学习框架提出一种面向SDN恶意应用程序的检测方法。它旨在对样本进行模块化分割并提取特征后,将特征向量以矩阵形式重组。在TensorFlow深度学习环境Keras下对SDN恶意样本进行学习和检测,实验数据表明,该方法对恶意应用程序检测率可以达到93.75%,证明了方案的可行性和科学性。     

Comparison of feature selection and classification algorithms in identifying malicious executables

Malicious executables, often spread as email attachments, impose serious security threats to computer systems and associated networks. We investigated the use of byte sequence frequencies as a way to automatically distinguish malicious from benign executables without actually executing them. In a series of experiments, we compared classification accuracies over seven feature selection methods, four classification algorithms, and variable byte sequence lengths. We found that single-byte patterns provided surprisingly reliable features to separate malicious executables from benign. Between classifiers and feature selection methods, the overall performance of the models depended more on the choice of classifier than the method of feature selection. Support vector machine (SVM) classifiers were found to be superior in terms of prediction accuracy, training time, and aversion to overfitting.