基于随机森林和欠采样集成的垃圾网页检测

为解决垃圾网页检测过程中的不平衡分类和"维数灾难"问题,提出一种基于随机森林(RF)和欠采样集成的二元分类器算法。首先使用欠采样技术将训练样本集大类抽样成多个子样本集,再将其分别与小类样本集合并构成多个平衡的子训练样本集;然后基于各个子训练样本集训练出多个随机森林分类器;最后用多个随机森林分类器对测试样本集进行分类,采用投票法确定测试样本的最终所属类别。在WEBSPAM UK-2006数据集上的实验表明,该集成分类器算法应用于垃圾网页检测比随机森林算法及其Bagging和Adaboost集成分类器算法效果更好,准确率、F1测度、ROC曲线下面积(AUC)等指标提高至少14%,13%和11%。与Web spam challenge 2007 优胜团队的竞赛结果相比,该集成分类器算法在F1测度上提高至少1%,在AUC上达到最优结果。     

三种用于垃圾网页检测的随机欠采样集成分类器

针对垃圾网页检测过程中轻微的不平衡分类问题,提出三种随机欠采样集成分类器算法,分别为一次不放回随机欠采样（RUS-once）、多次不放回随机欠采样（RUS-multiple）和有放回随机欠采样（RUS-replacement）算法。首先使用其中一种随机欠采样技术将训练样本集转换成平衡样本集,然后对每个平衡样本集使用分类回归树（CART）分类器算法进行分类,最后采用简单投票法构建集成分类器对测试样本进行分类。实验表明,三种随机欠采样集成分类器均取得了良好的分类效果,其中RUS-multiple和RUS-replacement比RUS-once的分类效果更好。与CART及其Bagging和Adaboost集成分类器相比,在WEBSPAM UK-2006数据集上,RUS-multiple和RUS-replacement方法的AUC指标值提高了10%左右,在WEBSPAM UK-2007数据集上,提高了25%左右;与其他最优研究结果相比,RUS-multiple和RUS-replacement方法在AUC指标上能达到最优分类结果。     

依特征频率的安卓恶意软件异常检测的研究

Android系统由于开源性和可移植性等优点,成为市场占有率最高的移动操作系统。针对Android的各种攻击也层出不穷,面向Android的恶意软件检测已成为近些年移动安全领域非常重要的一个环节。面临的问题包括恶意软件收集困难,异常样本和正常样本比例不平衡。为了有效应对上述问题,提出了Droid-Saf框架,框架中提出了一种挖掘数据隐含特征的数据处理方案;把样本特征包含的隐藏信息当作新的特征;建模时将样本特征融入算法当中,建立动态的松弛变量。应用静态分析方法反编译apk,用改进的svdd单分类器分类,克服了恶意软件检测系统中非正常软件收集困难的不足,降低了异常检测的漏报率和误判率。实验结果验证了该算法的有效性和适用性。     

Android恶意软件的多特征协作决策检测方法

由于智能手机使用率持续上升促使移动恶意软件在规模和复杂性方面发展更加迅速。作为免费和开源的系统,目前Android已经超越其他移动平台成为最流行的操作系统,使得针对Android平台的恶意软件数量也显著增加。针对Android平台应用软件安全问题,提出了一种基于多特征协作决策的Android恶意软件检测方法,该方法主要通过对Android 应用程序进行分析、提取特征属性以及根据机器学习模型和分类算法判断其是否为恶意软件。通过实验表明,使用该方法对Android应用软件数据集进行分类后,相比其他分类器或算法分类的结果,其各项评估指标均大幅提高。因此,提出的基于多特征协作决策的方式来对Android恶意软件进行检测的方法可以有效地用于对未知应用的恶意性进行检测,避免恶意应用对用户所造成的损害等。     

基于免疫克隆特征选择和欠采样集成的垃圾网页检测

为解决垃圾网页检测过程中的“维数灾难”和不平衡分类问题,提出一种基于免疫克隆特征选择和欠采样（US）集成的二元分类器算法。首先,使用欠采样技术将训练样本集大类抽样成多个与小类样本数相近的样本集,再将其分别与小类样本合并构成多个平衡的子训练样本集;然后,设计一种免疫克隆算法遴选出多个最优的特征子集;基于最优特征子集对平衡的子样本集进行投影操作,生成平衡数据集的多个视图;最后,用随机森林（RF）分类器对测试样本进行分类,采用简单投票法确定测试样本的最终类别。在WEBSPAM UK-2006数据集上的实验结果表明,该集成分类器算法应用于垃圾网页检测：与随机森林算法及其Bagging和AdaBoost集成分类器算法相比,准确率、F1测度、AUC等指标均提高11%以上;与其他最优的研究结果相比,该集成分类器算法在F1测度上提高2%,在AUC上达到最优。     

改进随机森林在Android恶意软件检测中的应用

为解决Android恶意软件检测问题,提出一种利用多特征基于改进随机森林算法的Android恶意软件静态检测模型。模型采用了基于行为的静态检测技术,选取Android应用的权限、四大组件、API调用以及程序的关键信息如动态代码、反射代码、本机代码、密码代码和应用程序数据库等属性特征,对特征属性进行优化选择,并生成对应的特征向量集合。最后对随机森林算法进行改进,并将其应用到本模型的Android应用检测中。实验选取了6?000个正常样本和6?000个恶意样本进行分类检测,结果表明该方法具有较好的检测效果。     

不平衡数据分类的混合算法

针对传统分类算法处理不平衡数据时,小类的分类精度过低问题,提出一种径向基函数神经网络和随机森林集成的混合分类算法．在小类样本之间用随机插值方式平衡数据集的分布,利用受试者特征曲线在置信度为95％下的面积为标准去除冗余特征;之后对输入数据用Bagging技术进行扰动,并以径向基函数神经网络作为随机森林中的基分类器,采用绝大多数投票方法进行决策的融合和输出．将该算法应用于UCI数据,以G均值和受试者特征曲线下的面积为评判标准,结果表明该方法能够有效地提高中度和高度不平衡数据的分类精度．     

基于行为的Android恶意软件判定方法及其有效性

针对当前Android平台资源受限及恶意软件检测能力不足这一问题,以现有Android安装方式、触发方式和恶意负载方面的行为特征为识别基础,构建了基于ROM定制的Android软件行为动态监控框架,采用信息增益、卡方检验和Fisher Score的特征选择方法,评估了支持向量机(SVM)、决策树、k-邻近(KNN)和朴素贝叶斯(NB)分类器四类算法在Android恶意软件分类检测方面的有效性。通过对20916个恶意样本及17086个正常样本的行为日志的整体分类效果进行评估,结果显示,SVM算法在恶意软件判定上准确率可以达到93%以上,误报率低于2%,整体效果最优。可应用于在线云端分析环境和检测平台,满足海量样本处理需求。     

一种基于Logicboost的软件缺陷预测方法

针对软件缺陷预测中对不平衡数据分类精度较低的问题,提出了一种新的基于LogitBoost集成分类预测算法,使用SMOTE方法对原始数据集进行平衡处理,然后使用随机森林算法作为弱分类器算法进行分类预测,最后使用LogitBoost算法以加权方式集成各弱分类器的结果。通过在NASAMDP基础数据集上验证得出本文提出的分类预测算法比数据集均衡处理前准确率高出0.1%-11%,同时在均衡处理后比KNN算法平均高出0.9%,比SVM算法平均高出0.4%,比随机森林算法平均高出0.1%。     

基于集成学习投票算法的Android恶意应用检测

针对Android平台恶意应用的检测技术,提出一种基于集成学习投票算法的Android恶意程序检测方法MASV（Soft-Voting Algorithm）,以有效地对未知应用程序进行分类。从已知开源的数据集中获取了实验的基础数据,使用的应用程序集包含213 256个良性应用程序以及18 363个恶意应用程序。使用SVM-RFE特征选择算法对特征进行降维。使用多个分类器的集合,即SVM（Support Vector Machine）、[K]-NN[（K]-Nearest Neighbor）、NB（Na?ve Bayes）、CART（Classification and Regression Tree）和RF（Random Forest）,以检测恶意应用程序和良性应用程序。使用梯度上升算法确定集成学习软投票的基分类器权重参数。实验结果表明,该方法在恶意应用程序检测中达到了99.27%的准确率。     

基于机器学习算法的Android恶意程序检测系统

对于传统的恶意程序检测方法存在的缺点,针对将数据挖掘和机器学习算法被应用在未知恶意程序的检测方法进行研究。当前使用单一特征的机器学习算法无法充分发挥其数据处理能力,检测效果不佳。文中将语音识别模型与随机森林算法相结合,首次提出了综和APK文件多类特征统一建立N-gram模型,并应用随机森林算法用于未知恶意程序检测。首先,采用多种方式提取可以反映Android恶意程序行为的3类特征,包括敏感权限、DVM函数调用序列以及OpCodes特征;然后,针对每类特征建立N-gram模型,每个模型可以独立评判恶意程序行为;最后,3类特征模型统一加入随机森林算法进行学习,从而对Android程序进行检测。基于该方法实现了Android恶意程序检测系统,并对811个非恶意程序及826个恶意程序进行检测,准确率较高。综合各个评价指标,与其他相关工作对比,实验结果表明该系统在恶意程序检测准确率和有效性上表现更优。     

基于深度神经网络的Android恶意软件检测方法

Android 系统正日益面临着恶意软件的攻击威胁。针对支持向量机等传统机器学习方法难以有效进行大样本多分类的恶意软件检测,提出一种基于深度神经网络的Android恶意软件检测与家族分类方法。该方法在全面提取应用组件、Intent Filter、权限、数据流等特征基础上,进行有效的特征选择以降低维度,基于深度神经网络进行面向恶意软件的大样本多分类检测。实验结果表明,该方法能够进行有效检测和分类,良性、恶意二分类精度为 97.73%,家族多分类精度可达到 93.54%,比其他机器学习算法有更好的分类效果。     

基于静态行为特征的细粒度Android恶意软件分类

由于Android系统的开放性,恶意软件通过实施各种恶意行为对Android设备用户构成威胁。针对目前大部分现有工作只研究粗粒度的恶意应用检测,却没有对恶意应用的具体行为类别进行划分的问题,提出了一种基于静态行为特征的细粒度恶意行为分类方法。该方法提取多维度的行为特征,包括API调用、权限、意图和包间依赖关系,并进行了特征优化,而后采用随机森林的方法实现恶意行为分类。在来自于多个应用市场的隶属于73个恶意软件家族的24 553个恶意Android应用程序样本上进行了实验,实验结果表明细粒度恶意应用分类的准确率达95.88%,综合性能优于其它对比方法。     

基于特征贡献度的安卓恶意应用检测

为提高Android恶意软件检测准确率,提出一种基于特征贡献度的特征选择算法。针对现有Android应用数据集特征的分布特点,通过计算特征的类内以及类间贡献度,设定阈值筛选出贡献度高的特征数据,用于恶意应用检测分类。实验结果表明,所提算法能有效且可靠地检测恶意应用,其准确率和召回率十分接近,适用于恶意应用检测;与传统特征选择算法相比,该算法可以在较少特征数量的情况下达到理想的检测效果。     

基于非用户操作序列的恶意软件检测方法

针对Android恶意软件持续大幅增加的现状以及恶意软件检测能力不足这一问题,提出了一种基于非用户操作序列的静态检测方法。首先,通过对恶意软件进行逆向工程分析,提取出恶意软件的应用程序编程接口（API）调用信息;然后,采用广度优先遍历算法构建恶意软件的函数调用流程图;进而,从函数流程图中提取出其中的非用户操作序列形成恶意行为库;最后,采用编辑距离算法计算待检测样本与恶意行为库中的非用户操作序列的相似度进行恶意软件识别。在对360个恶意样本和300的正常样本进行的检测中,所提方法可达到90.8%的召回率和90.3%的正确率。与Android恶意软件检测系统Androguard相比,所提方法在恶意样本检测中召回率提高了30个百分点;与FlowDroid方法相比,所提方法在正常样本检测中准确率提高了11个百分点,在恶意样本检测中召回率提高了4.4个百分点。实验结果表明,所提方法提高了恶意软件检测的召回率,有效提升恶意软件的检测效果。     

基于多特征融合的安卓恶意应用程序检测方法

安卓恶意应用程序的检测目前存在着检测速度慢、检测率低等问题,本文针对这些问题提出了一种基于多特征融合的安卓恶意应用程序检测方法。从Android恶意应用的恶意行为特点出发,运用静态分析和动态分析互相结合的方法,提取出权限和组件、函数API调用序列、系统命令、网络请求等多维度特征,对维度较大的特征种类使用信息增益方法进行特征的筛选,取出最有用特征。本文还利用半敏感哈希算法的降维和保持相似度的特性,提出基于Simhash算法的特征融合方法,将原有的大维度的特征降维到相对较小的维度,并解决了特征的不平衡问题。融合后的特征使用GBDT算法和随机森林算法分类,检测恶意样本。实验对比分析得出本文使用的多种特征融合的方法在可以大大降低分类的训练时间,提高检测效率。     

基于模型库的安卓恶意软件检测方法

单一算法生成的识别器普适性不足,对不同种群安卓软件进行识别产生的效果不稳定.针对这种情况,提出一种基于模型库的安卓恶意软件检测方法.通过Python程序进行爬虫与权限提取工作,得到应用的权限信息;使用SMO按照应用的权限信息分类得到不同种群的数据;将应用的种群信息输入到模型库中,得到恶意检测结果,并根据结果对模型库进行...     

基于BPSO-NB算法的Android恶意应用检测方法

为了提高Android恶意应用检测效率,将二值粒子群算法(BPSO,Binary Particle Swarm Optimization)用于原始特征全集的优化选择,并结合朴素贝叶斯(NB,Nave Bayesian)分类算法,提出一种基于BPSO-NB的Android恶意应用检测方法。该方法首先对未知应用进行静态分析,提取AndroidManifest.xml文件中的权限信息作为特征。然后,采用BPSO算法优化选择分类特征,并使用NB算法的分类精度作为评价函数。最后采用NB分类算法构建Android恶意应用分类器。实验结果表明,通过二值粒子群优化选择分类特征可以有效提高分类精度,缩短检测时间。      

基于数据流深度学习算法的Android恶意应用检测方法

目前针对未知的Android恶意应用可以采用机器学习算法进行检测,但传统的机器学习算法具有少于三层的计算单元,无法充分挖掘Android应用程序特征深层次的表达。文中首次提出了一种基于深度学习的算法DDBN （Data-flow Deep BeliefNetwork）对Android应用程序数据流特征进行分析,从而检测Android未知恶意应用。首先,使用分析工具FlowDroid和SUSI提取能够反映Android应用恶意行为的静态数据流特征;然后,针对该特征设计了数据流深度学习算法DDBN,该算法通过构建深层的模型结构,并进行逐层特征变换,将数据流在原空间的特征表示变换到新的特征空间,从而使分类更加准确;最后,基于DDBN实现了Android恶意应用检测工具Flowdect,并对现实中的大量安全应用和恶意应用进行检测。实验结果表明,Flowdect能够充分学习Android应用程序的数据流特征,用于检测未知的Android恶意应用。通过与其他基于传统机器学习算法的检测方案对比,DDBN算法具有更优的检测效果。     

HEMD: a highly efficient random forest-based malware detection framework for Android

Mobile phones are rapidly becoming the most widespread and popular form of communication; thus, they are also the most important attack target of malware. The amount of malware in mobile phones is increasing exponentially and poses a serious security threat. Google’s Android is the most popular smart phone platforms in the world and the mechanisms of permission declaration access control cannot identify the malware. In this paper, we proposed an ensemble machine learning system for the detection of malware on Android devices. More specifically, four groups of features including permissions, monitoring system events, sensitive API and permission rate are extracted to characterize each Android application (app). Then an ensemble random forest classifier is learned to detect whether an app is potentially malicious or not. The performance of our proposed method is evaluated on the actual data set using tenfold cross-validation. The experimental results demonstrate that the proposed method can achieve a highly accuracy of 89.91%. For further assessing the performance of our method, we compared it with the state-of-the-art support vector machine classifier. Comparison results demonstrate that the proposed method is extremely promising and could provide a cost-effective alternative for Android malware detection.