基于EBLOF算法的攻击者IP分析系统及应用

为了协助安全运营人员从海量威胁入侵告警日志中快速准确定位到高优先级、亟需处理的攻击者IP,缓解告警疲劳,提出了一种基于EBLOF（Ensemble-based Local Outlier Factor）算法的攻击者IP分析系统。该系统一方面通过提取和归并范式化安全告警日志,并从攻击者IP属性维度和攻击行为维度构建特征工程,使用集成学习的思路对异常检测算法LOF进行改进,进而发现攻击者IP。另一方面通过批实时学习技术构建了一套在线学习架构,从系统层面而非算法层面确保模型能够在线更新。最后,在公共数据集中验证了EBLOF算法的鲁棒性,并在真实攻防应用场景中验证了所提系统的有效性和可行性。     

基于日志统计特征的DNS隧道检测

以DNS服务器的日志为数据源,提取出二级域名的熵、子域名个数、缓存命中率等多维日志统计特征, 将日志量化为特征向量集;以特征向量集为数据源,使用随机森林算法进行模型训练,并使用十折交叉验证的方法对模型参数进行调整,对模型进行优化,提高整体检测精度;在不同分类算法下进行对比实验,并将实验结果与已有研究方法进行比较. 实验结果表明,提出的检测方法在召回率达到98.5%的情况下,有不低于90%的准确率,检测精度有所提高,即提出的算法能有效检测DNS隧道.     

多源异构日志综合分析技术研究与实践

多源异构日志分析技术是目前国内外网络安全领域的研究热点.首先,提出了一种包括聚焦分析、统计分析和因果关联分析在内的多源异构日志综合分析模型,引入重要度评价方法对日志信息进行聚焦分析,并通过实例加以说明;然后探讨了多源日志因果关联分析算法;最后利用网络实例数据,对所提出的综合分析模型和算法进行了验证.结果表明该模型和算法...     

一种查询日志匿名化算法

查询日志的发布会泄露用户的隐私。提出一种基于差分隐私的查询日志匿名化算法:首先构建用户查询项模型进行相似度计算并利用所求结果对用户查询项模型进行聚类,其次在聚类过程中添加指数噪音来满足差分隐私,最后发布匿名化数据。实验表明:该算法有效地提高了查询日志的实用性和隐私保护程度。     

度量空间中基于距离孤立点的快速挖掘

将数据点的k最近邻（k-NN）距离作为孤立程度指标能够有效地发现数据集中的孤立点,但是基本算法需要O(N2)次数据点间的距离计算,不适用于大数据集.为此提出了一种利用度量空间中三角不等式的快速挖掘算法--提前修剪（ADVP）.ADVP利用每次k-NN查询中保存的近邻点到被查询点的距离计算出近邻点的孤立程度上界.孤立程度上界小于已发现最弱孤立点的孤立程度的数据点可被修剪而无须进行k-NN查询.基于抽样方法优化了搜索次序以提高修剪效果.同时将ADVP自然地扩展为增量式算法.在标准大数据集上的实验结果表明,ADVP和现有算法相比明显节省了计算开销,具有更好的伸缩性;增量式ADVP能够有效地处理新增数据.     

基于特征符号表示的网络异常流量检测算法

为了准确检测网络中的流量异常情况,确保网络正常运行,提出基于特征符号表示的网络异常流量检测算法（NAAD-FD）. NAAD-FD算法利用趋势转折点将网络流量数据按照基于趋势特征的符号表示方法进行转化,按照表示结果将原始数据转化为包含7项特征值的子序列,将7项特征值运用到提出的距离计算方法中;结合基于密度的算法,按照时间序列的网络异常流量定义执行异常检测. 通过对算法参数、仿真数据和真实网络流量数据的实验与分析可知,该算法具有较强的鲁棒性,验证了该算法的有效性和稳定性. 该算法通过降维简化表示,显著降低了算法的时间复杂度,有效加速异常检测过程约40%.     

基于MongoDB的Web信息采集系统应用研究

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题.文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试.测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息.     

面向连续位置服务的位置感知隐私保护方案

为了增强在位置服务（LBS）中对用户个人隐私的保护,提出基于本地缓存的位置感知匿名选择算法（LaSA）. 利用历史轨迹信息和缓存信息,以不依赖可信第三方（TTP）服务器的方式构建匿名区域. 在连续位置服务查询中,利用马尔可夫预测模型对未来可能查询的位置进行预判. 根据预测位置、缓存贡献度和数据新鲜度构建匿名区域,以覆盖用户所查真实区域. 结果表明,与已有方案相比,所提出的LaSA隐私保护方案能提供更高的缓存命中率,减少用户服务请求次数,保证用户位置数据的安全.     

基于特征选择和时间卷积网络的工业控制系统入侵检测

针对工业控制系统流量数据存在特征冗余及深度学习模型对较小规模数据集检测能力较差的问题,提出了一种基于特征选择和时间卷积网络的工业控制系统入侵检测模型。首先,对源域数据集的异常特征和样本不平衡数据进行处理,提高源域数据集质量。其次,针对流量数据的特征冗余,利用信息增益率和主成分分析法构建IGR-PCA特征选择算法,筛选出最优特征子集实现数据降维。然后,根据工业控制系统流量数据的时间序列特性,在较大规模的源域数据集上,利用时间卷积网络（temporal convolution network,TCN）对时间序列数据优异的处理能力,构建源域时间卷积网络预训练模型。最后,在较小规模的目标域数据集上,结合迁移学习（transfer learning,TL）微调策略,获取源域样本数据的流量特征,构建目标域TCN-TL模型。利用公开的工业控制系统数据集进行实验测试,实验结果表明：流量数据经本文特征算法处理后,相较于其他方法,在降低数据维度减少计算量的同时仍具有良好的检测效果;在较大规模的源域数据集和较小规模的目标域数据集上,本文模型均取得了良好的检测效果,在目标域中利用迁移学习微调策略能够学习到源域中的知识,模型检测准确率为99.06%,在训练时间对比中,本文模型训练时间消耗更少,具有更好的泛化能力,能够更好地保护工业控制系统安全。     

LeakDetector:隐私泄漏自动化检测方法

Android的开源性带来开发便利的同时,也带来了攻击的便利,如用户隐私信息的窃取。针对Android应用程序中的隐私泄漏问题,设计了基于静态污点分析的自动化检测系统——LeakDetector。该系统使用泄漏类型判断决策森林来检测应用程序中的隐私泄漏情况。首先,基于同类型相似性思想,构建了类型化泄漏数据库;其次,利用随机森林算法,将泄漏数据库转化成泄漏类型判断决策森林,再利用多方投票提高检测结果的合理性,并增加可重复利用性,减少检测人员的工作量;最后,此系统还提供了对泄漏点的逆向定位功能,该功能可以丰富简洁的检测结果,获取应用程序中存在的隐私泄漏数据流的泄漏源和泄漏点。从15个应用市场中收集了65个天气类应用程序构建泄漏数据库,并生成判断决策森林。以一个新的天气类应用程序作为待检测对象,利用判断决策森林进行隐私泄漏情况检测。共得到12条隐私泄漏数据流,其中,包括通过网络泄漏设备信息、将设备信息记录到本地日志、将本地日志存入content中、通过网络发送本地日志、通过网络发送文件5种泄漏类型。通过逆向定位功能找到了对应的泄漏源和泄漏点。结果表明,该系统可以检测出类型化应用程序的隐私泄漏情况,准确率为91.6%,并能逆向定位到隐私泄漏的泄漏源和泄漏点。     

MR-CLOPE: A Map Reduce based transactional clustering algorithm for DNS query log analysis

DNS(domain name system) query log analysis has been a popular research topic in recent years. CLOPE, the represented transactional clustering algorithm, could be readily used for DNS query log mining. However, the algorithm is inefficient when processing large scale data. The MR-CLOPE algorithm is proposed, which is an extension and improvement on CLOPE based on Map Reduce. Different from the previous parallel clustering method, a two-stage Map Reduce implementation framework is proposed. Each of the stage is implemented by one kind Map Reduce task. In the first stage, the DNS query logs are divided into multiple splits and the CLOPE algorithm is executed on each split. The second stage usually tends to iterate many times to merge the small clusters into bigger satisfactory ones. In these two stages, a novel partition process is designed to randomly spread out original sub clusters, which will be moved and merged in the map phrase of the second phase according to the defined merge criteria. In such way, the advantage of the original CLOPE algorithm is kept and its disadvantages are dealt with in the proposed framework to achieve more excellent clustering performance. The experiment results show that MR-CLOPE is not only faster but also has better clustering quality on DNS query logs compared with CLOPE.     

ODA-IPNMF: 一种在线全网络流量异常检测方法

为实时、高效地检测网络流量异常,提出一种基于增量投影非负矩阵分解(IPNMF)的全网络流量异常检测方法(ODA-IPNMF).提出一种增量投影非负矩阵算法,该算法不仅具有与PCA相同的表达形式,还能以增量的方式构建正常子空间和异常子空间,进而利用Shewhart控制图实现全网络流量异常的在线检测.理论分析表明,该方法计算开销远小于NMF-NAD,具有更高的实用价值;模拟网络数据以及实测网络数据实验表明,基于NMF异常检测方法(NMF-NAD和ODAIPNMF)的检测性能优于PCA方法;本文所提ODA-IPNMF与NMF-NAD网络异常检测效果相当,且可在线检测网络异常.     

基于尖点突变模型的IP网络异常行为检测方法

由于数据挖掘、贝叶斯等传统异常检测方法仅依据网络正常行为特征而没考虑异常行为特征,致使其异常检测率偏低和误报率偏高,该文基于尖点突变模型而针对性地提出了一种新的IP网络异常行为描述模型及其检测机制.它们充分利用了尖点突变模型的多稳态性和突变性,准确地描述了网络正常行为特征和异常行为特征.最后以Kdd-Cup 99数据集...     

多源非平衡交通检测数据的异常识别方法

为保证交通检测数据的准确性并服务于实时的交通状态判别和预测,交通大数据采用多种检测源数据协同处理并利用机器学习的方法进行异常识别.异常检测数据的识别主要基于机器学习中AdaBoost方法实现.在算法的训练过程中,为消除单一检测源数据的离群现象,训练数据选取同一路段上多种检测源提供的数据集.在算法的决策过程中,通过代价敏感方法的优势来改进AdaBoost的决策.实验结果表明:基于非均衡特性改进的AdaBoost模型迫使分类器更加关注了待识别的异常样本,增强了AdaBoost决策过程中训练决策树规则的代表性,提高了异常类样本的分类准确率.高速公路实例检测数据集验证了改进算法与相关经典算法的检测准确度、误检率、误警率等指标,其中改进模型与原模型相比,准确率提高了5.547%,误检率减低了6.792%.多种算法的ROC曲线对比表明改进的AdaBoost方法筛选交通检测样本的可靠度更高,可有效调整由非平衡数据导致的分类误差.     

基于网格索引的Top-k偏好查询算法

目的设计基于网格索引的Top-k偏好查询算法,提高Top-k偏好查询问题的解决效率.方法利用网格索引,采用概念划分的方法,实现基于范围查询和NN查询两种方式的Top-k偏好查询算法.结果通过真实数据集测试结果表明算法能够结合网格索引的优点,与基于R树索引的传统算法相比,在k值不断增加的情况下,查询效率提高了50%,能适应多种空间特征数据对象集合.结论网格索引可以有效处理Top-k偏好查询.     

中文网页搜索日志中的特殊命名实体挖掘

利用少量具有类别信息的种子词,结合特征选择技术来提取每个类别的特征信息;再利用这些特征信息,结合文本分类等数据挖掘技术来提取特殊命名实体.过程中只有构造种子词的环节需要人工辅助,其他环节均实现自动处理.实验证明,该系统和方法能够从查询日志中挖掘出高质量的命名实体列表,6个类别上识别结果的平均P@500达到了77%.系统...     

Abnormal Crowd Behavior Detection Based on the Entropy of Optical Flow

To improve the detection accuracy and robustness of crowd anomaly detection, especially crowd emergency evacuation detection, the abnormal crowd behavior detection method is proposed. This method is based on the improved statistical global optical flow entropy which can better describe the degree of chaos of crowd. First, the optical flow field is extracted from the video sequences and a 2D optical flow histogram is gained. Then, the improved optical flow entropy, combining information theory with statistical physics is calculated from 2D optical flow histograms. Finally, the anomaly can be detected according to the abnormality judgment formula. The experimental results show that the detection accuracy achieved over 95% in three public video datasets, which indicates that the proposed algorithm outperforms other state-of-the-art algorithms.     

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAPBUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.     

多源空间数据库查询技术

为了实现多数据源空间数据集成,提出一种多源空间数据库查询系统框架.基于多数据源的空间对象关系模型,针对多数据源空间数据查询的需求,面向采用空间数据和属性数据分别管理的数据源,提出了支持查询分解和查询结果筛选的数据查询算法,分析说明了适用于空间数据查询的优化方法,形成了一套支持多数据源空间数据库查询技术.