基于Stacking的恶意网页集成检测方法

针对目前主流恶意网页检测技术耗费资源多、检测周期长和分类效果低等问题，提出一种基于Stacking的恶意网页集成检测方法，将异质分类器集成的方法应用在恶意网页检测识别领域。通过对网页特征提取分析相关因素和分类集成学习来得到检测模型，其中初级分类器分别使用K近邻（KNN）算法、逻辑回归算法和决策树算法建立，而次级的元分类器由支持向量机（SVM）算法建立。与传统恶意网页检测手段相比，此方法在资源消耗少、速度快的情况下使识别准确率提高了0.7%，获得了98.12%的高准确率。实验结果表明，所提方法构造的检测模型可高效准确地对恶意网页进行识别。     

基于文本追踪合并的检测算法研究

针对传统的静态检测方法准确率低下,动态检测方式难以获得较高吞吐率的瓶颈,提出了一种动态静态混合模式的恶意网页检测系统,该系统采用二级串联的检测方式。在基于规则的分类器属性提取中,应用关联文本追踪合并的思想,大幅提高了静态检测算法的准确率;利用设计的轻量级虚拟机来代替传统的系统级虚拟化检测环境,使得动态检测系统具有更高的任务吞吐率。最后对混合模式的检测准确率和吞吐率与各级检测子系统的依赖关系进行了推导和分析,实验结果表明了该模式的实用性。     

基于特征贡献度的安卓恶意应用检测

为提高Android恶意软件检测准确率,提出一种基于特征贡献度的特征选择算法。针对现有Android应用数据集特征的分布特点,通过计算特征的类内以及类间贡献度,设定阈值筛选出贡献度高的特征数据,用于恶意应用检测分类。实验结果表明,所提算法能有效且可靠地检测恶意应用,其准确率和召回率十分接近,适用于恶意应用检测;与传统特征选择算法相比,该算法可以在较少特征数量的情况下达到理想的检测效果。     

基于多类特征的Android应用恶意行为检测系统

目前针对未知的Android恶意应用可以采用数据挖掘算法进行检测,但使用单一数据挖掘算法无法充分发挥Android应用的多类行为特征在恶意代码检测上所起的不同作用.文中首次提出了一种综合考虑Android多类行为特征的三层混合系综算法THEA(Triple Hybrid Ensemble Algorithm)用于检测Android未知恶意应用.首先,采用动静态结合的方法提取可以反映Android应用恶意行为的组件、函数调用以及系统调用类特征;然后,针对上述3类特征设计了三层混合系综算法THEA,该算法通过构建适合3类特征的最优分类器来综合评判Android应用的恶意行为;最后,基于THEA实现了Android应用恶意行为检测工具Androdect,并对现实中的1126个恶意应用和2000个非恶意应用进行检测.实验结果表明,Androdect能够利用Android应用的多类行为特征有效检测Android未知恶意应用.并且与其它相关工作对比,Androdect在检测准确率和执行效率上表现更优.     

基于网页链接分类的PageRank并行算法

针对串行PageRank算法在处理海量网页数据时效率低下的问题,提出一种基于网页链接分类的PageRank并行算法.首先,将网页按照网页所属网站分类,为来自不同站点的网页设置不同的权重;其次,利用Hadoop并行计算框架,结合MapReduce分而治之的特点,并行计算网页排名;最后,采用一种包含3层:数据层、预处理层、计算层的数据压缩方法,对并行算法进行优化.实验结果表明,与串行PageRank算法相比,所提算法在最好情况下结果准确率提高了12%,计算效率提高了33%.     

基于客户端的恶意网页收集系统

设计一个基于客户端的恶意网页收集系统。系统通过设置主题爬虫,有针对性地获取可能包含恶意脚本的网页文件,通过分析恶意代码常见的挂木马方式与恶意代码样本,设计正则表达式来提取网页恶意代码的特征码,利用相应算法扫描并匹配利用爬虫获取的网页文件,如发现网页文件中包含可疑的恶意脚本,则将它的域名URL、恶意网页路径与恶意代码脚本类型存入恶意网页库中,以实现恶意网页的搜集。     

Tri-BERT-SENet:融合多特征的恶意网页识别

传统恶意网页识别缺乏全局性、系统性考量，没有将网页作为有机整体，而是独立针对标签结构、URL地址、文本内容等特定层面特征开展研究，导致准确率较低.虽然已有学者提出融合特征思想，但依旧使用机器学习算法予以实现，特征工程工作量巨大，识别效率低下.针对上述问题，提出一种基于多特征融合的Tri-BERT-SENet模型，用于完成恶意网页的识别任务.利用获取得到的HTML特征、网页URL特征以及网页文本特征，结合BERT模型的上下文感知能力，将特征转化为3个BERT模型输出；之后将模型输出作为特征通道，使用SENet进行加权计算，最终输出识别结果.实验结果表明，与传统机器学习模型以及使用BERT对单一特征的识别方法相比，该检测方法在恶意网页识别的准确率上有较大提升.     

基于权重攻击的联邦学习防御方案

为提高联邦学习中恶意模型检测的准确率和鲁棒性,提出一种基于权重攻击的联邦学习防御方案。基于局部离群因子算法设计异常检测模型,提出用于检测异常模型的异常评分;提出一种基于密度的异常检测算法计算每个局部模型的异常评分;利用异常评分在聚合过程中自适应调整每个局部模型的权值。仿真结果表明,所提方案检测恶意模型精准度有所提高,具有良好的收敛性和稳定性。     

基于图像纹理和卷积神经网络的恶意文件检测方法

在大数据环境下,针对传统恶意文件检测方法对经过代码变种和混淆后的恶意文件检测准确率低以及对跨平台恶意文件检测通用性弱等问题,提出一种基于图像纹理和卷积神经网络的恶意文件检测方法。首先,使用灰度图像生成算法将Android和Windows平台下可执行文件,即.dex和.exe文件,转换成相应的灰度图像;然后,通过卷积神经网络（CNN）算法自动提取这些灰度图像的纹理特征并加以学习训练,从而构建出一个恶意文件检测模型;最后,使用大量未知待检测的文件去验证模型检测准确率的高低。通过对大量的恶意样本进行实验,在Android和Windows平台下,模型检测最高准确率分别达到79.6%和97.6%,平均准确率分别约为79.3%和96.8%;与基于纹理指纹的恶意代码变种检测方法相比,基于图像纹理和卷积神经网络的恶意文件检测方法准确率提高了约20%。实验结果表明,所提方法能够有效避免人工筛选特征带来的问题,大幅提高检测的准确率和效率,成功解决跨平台检测问题,实现了一种端到端的恶意文件检测模型。     

一种基于同层网页相似性去除网页噪音的方法

一个普通的Web页面可以被分成信息块和噪音块两部分。基于web信息检索的第1步就是过滤掉网页中的噪音块。通过网页的特性可以看出，同层网页大多具有相似的显示风格和噪音块。在VIPS算法的基础上，该文提出一种基于同层网页相似性的匹配算法，这个算法可以被用来过滤网页中的噪音块。通过实验检测，算法可以达到95%以上的准确率。     

基于统计学习的挂马网页实时检测

近年来挂马网页对Web安全造成严重威胁,客户端的主要防御手段包括反病毒软件与恶意站点黑名单。反病毒软件采用特征码匹配方法,无法有效检测经过加密与混淆变形的网页脚本代码;黑名单无法防御最新出现的恶意站点。提出一种新型的、与网页内容代码无关的挂马网页实时检测方法。该方法主要提取访问网页时HTTP会话过程的各种统计特征,利用决策树机器学习方法构建挂马网页分类模型并用于在线实时检测。实验证明,该方法能够达到89. 7%的挂马网页检测率与0. 3%的误检率。     

基于网页正文结构和特征串的相似网页去重算法

为了减少重复网页对用户的干扰,提高去重效率,提出一种新的大规模网页去重算法。首先利用预定义网页标签值建立网页正文结构树,实现了层次计算指纹相似度;其次,提取网页中高频标点字符所在句子中的首尾汉字作为特征码;最后,利用Bloom Filter算法对获取的特征指纹进行网页相似度判别。实验表明,该算法将召回率提高到了90%以上,时间复杂度降低到了O(n)。     

基于机器学习的浏览器挖矿检测模型研究

浏览器挖矿通过向网页内嵌入挖矿代码,使得用户访问该网站的同时,非法占用他人系统资源和网络资源开采货币,达到自己获益的挖矿攻击。通过对网页挖矿特征进行融合,选取八个特征用以恶意挖矿攻击检测,同时使用逻辑回归、支持向量机、决策树、随机森林四种算法进行模型训练,最终得到了平均识别率高达98.7%的检测模型。同时经实验得出随机森林算法模型在恶意挖矿检测中性能最高;有无Websocket连接、Web Worker的个数和Postmessage及onmessage事件总数这三个特征的组合对恶意挖矿检测具有高标识性。     

基于分层结构保留的增量网络爬虫算法

为了提高目前爬虫算法抓取结果的有效性, 提出了一种旨在获取有效信息的改进网络爬虫算法, 主要设计了信息的分层结构保留策略和URL过滤模式。在改进算法中, 网络资源定位符被分层存储, 在保留信息全部拓扑关系的基础上, 将交错复杂的URL网络系统从一个图结构变为一个层次分明的树结构。在执行结构模式下, 实现了增量爬虫算法。仿真实验以实际网站的BBS为测试数据, 结果表明, 改进算法比现有网络爬虫算法在爬行速度、下载效率与信息有效性等方面有较大的优势。因此, 分层结构策略与URL过滤模式可以在增加少量计算时间的前提下极大提高爬虫抓取页面的有效性。     

基于多特征融合的安卓恶意应用程序检测方法

安卓恶意应用程序的检测目前存在着检测速度慢、检测率低等问题,本文针对这些问题提出了一种基于多特征融合的安卓恶意应用程序检测方法。从Android恶意应用的恶意行为特点出发,运用静态分析和动态分析互相结合的方法,提取出权限和组件、函数API调用序列、系统命令、网络请求等多维度特征,对维度较大的特征种类使用信息增益方法进行特征的筛选,取出最有用特征。本文还利用半敏感哈希算法的降维和保持相似度的特性,提出基于Simhash算法的特征融合方法,将原有的大维度的特征降维到相对较小的维度,并解决了特征的不平衡问题。融合后的特征使用GBDT算法和随机森林算法分类,检测恶意样本。实验对比分析得出本文使用的多种特征融合的方法在可以大大降低分类的训练时间,提高检测效率。     

An Efficient Web Page Change Detection System Based on an Optimized Hungarian Algorithm

This paper describes an efficient Web page change detection system based on three optimizations that were implemented on top of the Hungarian algorithm, which we employ to compare trees that correspond to HTML Web pages. The optimizations attempt to stop the comparator algorithm that employs this O(n³) algorithm before it completes all its iterations based on criteria having to do with properties of HTML and heuristics. Analysis and experimental results prove the effectiveness of these optimizations and their ability to render O(n²) performance, where n denotes the number of nodes in the tree. A complete system was implemented and used to carry out the performance experiments. This system includes functionalities and interfaces for processing user requests, fetching Web pages from the Internet, allowing users to select zones in Web pages to monitor, and highlighting changes on the Web pages being monitored     

Web应用中冗余代码检测方法研究

为了提高Web开发效率,开发人员常常复用已有系统框架或成熟项目中现有的代码,但因此也导致了Web应用中总存在大量的冗余代码,冗余代码不仅影响程序的可读性和运行效率同时还会隐藏软件缺陷。通过研究Web应用源代码逻辑和框架的特性,提出了Web应用系统中基于源代码分析的冗余代码检测方法。从应用程序入口开始,根据代码之间的逻辑调用关系构建Web应用调用树,进而得到有效页面集、有效类与方法节点集;然后根据冗余检测算法检测出Web应用系统中冗余页面、冗余处理类与处理方法。为了评估冗余检测方法的有效性,包括漏检率与误检率,对两个JavaWeb应用进行冗余检测并通过人工注入冗余实验验证检测的有效性。实验结果证明,提出的冗余代码检测方法可以达到较高的检测效率。     

网页中数据异常识别的非线性研究

由于Web上网页的急剧增加,信息搜索与挖掘越来越引起人们的重视。然而网页中除了主题信息外,还有噪声信息,从而网页净化技术受到越来越多的研究人员的关注,并提出了各种算法。借鉴人工免疫系统在计算机网络入侵检测中的应用,提出了一种基于AIS的网页去噪算法。同时对网页中的数据进行了异常识别的非线性研究。     

Web服务恶意内容攻击检测技术

基于SOAP消息的恶意内容攻击对Web服务的应用与推广具有很大的影响,但目前尚缺乏能有效检测SOAP消息中恶意内容的方法,为此提出了一种新的SOAP消息特征检测方法。通过定义SOAP项和SOAP规则来描述恶意内容的特征,提出了SOAP消息解析算法和SOAP规则匹配算法,用来实施恶意内容的特征检测。根据提出的方法,设计并实现了一个Web服务攻击检测的原型系统。攻击检测实验和性能分析实验的结果表明,该方法有较好的检测效果和性能。     

基于决策树的Webshell检测方法研究

Webshell是一种基于Web服务的后门程序.攻击者通过Webshell获得Web服务的管理权限,从而达到对Web应用的渗透和控制.由于Webshell和普通Web页面特征几乎一致,所以可逃避传统防火墙和杀毒软件的检测.而且随着各种用于反检测特征混淆隐藏技术应用到Webshell上,使得传统基于特征码匹配的检测方式很难及时检测出新的变种.本文将讨论Webshell的特点和机理,分析其混淆隐藏技术,发掘其重要特征,提出并实现了一种基于决策树的检测模型.该模型是一种监督的机器学习系统,对先验网页样本进行学习,可有效检测出变异Webshell,弥补了传统基于特征匹配检测方法的不足,而结合集体学习方法Boosting,可以增强该模型的稳定性,提高分类准确率.