基于ISODATA的用户访问路径聚类算法

文章提出了一种基于ISODATA的用户访问路径聚类算法，根据用户的访问兴趣定义了相似性测量手段和聚类中心。在对Web站点的访问日志进行事务识别后，根据群体用户对Web站点的访问顺序进行聚类，则每一个聚类集反映出该聚类集中的全体用户具有相似的访问兴趣。     

基于加权矩阵聚类的Web日志挖掘算法

Web服务器日志中记录了用户的浏览模式,为了从中提取出具有相似访问模式的用户群,对其提供个性化服务,提出一种针对Web日志的分析方法。通过构建UserID-URL关联矩阵,引入加权关联矩阵,提出一种基于加权矩阵的聚类算法——多标记传播算法。实验表明,该算法在Web日志挖掘中进行用户聚类和页面聚类是高效可靠的。     

基于动态阈值核密度估计的登录异常检测

登录验证是各种信息系统的第一道门户，是保障系统安全的重中之重。但用户账号通常面临着两种风险：一是账号被撞库，二是账号被盗。其中，撞库是指黑客利用第三方泄露的账号和密码生成对应的字典库来尝试批量登录目标系统或网站的行为。针对用户登录日志通常是稀疏数据的问题，提出了一种基于动态阈值核密度估计的登录异常检测方法。该方法能够在稀疏登录日志上建立动态阈值，通过核密度估计计算用户登录历史基线，并在此基线上完成用户登录异常检测。对比实验结果表明，该算法能够有效地进行异常登录检测，并针对稀疏登录数据有着更好的检测效果。     

基于K-均值与AGNES聚类算法的校园网行为分析系统研究

校园网中的服务器存有海量的用户访问日志文件,记录了校园网用户的访问信息。鉴于此,提出了一种基于聚类算法的校园网用户行为分析技术,设计和实现了数据预处理系统,对日志数据进行一系列的清理、合并,标准化等预处理,使其更好地适应后续的聚类操作。将预处理后的数据作为输入数据,分别实现了三种常用的聚类算法对日志数据进行聚类,然后从聚类准确率和聚类速度两个角度对现有算法进行优化。为了提高聚类准确率,提出了用K-均值算法结合AGNES算法的方法;为了提高聚类速度,在MPICH2平台上设计和实现了并行K-均值算法,实现多机并行分析,最后简单介绍了校园网行为分析系统的应用。     

基于改进聚类算法的网络平台异常数据挖掘方法

为提高挖掘结果与对应异常数据类型之间的关联度,确保挖掘结果能够为网络平台异常状态识别提供有力依据,文章引入改进聚类算法,开展网络平台异常数据挖掘方法设计研究.通过基于改进聚类算法的网络平台运行数据分类、网络平台异常检测、网络平台分布式最大频繁序列提取、最大频繁序列数据比对与挖掘,提出一种全新的挖掘方法.通过对比实验结果...     

用户兴趣空间的Web页面聚类

文章基于日志挖掘，提出一种在用户兴趣空间中进行Web页面聚类的算法。算法的基础是用户访问频率矩阵A。A的行对应页面向量，列对应用户向量，A中元素是用户对页面的访问频率。对A中的行做聚类可以对页面进行相关聚类，对A中的列做聚类可以对兴趣相似的用户进行聚类。文章认为A中的这两种聚类是一对对偶问题。文章基于A和A中这两种聚类在权重之间的对偶关系，提出了用户兴趣空间的概念。用户兴趣空间突出了用户的共同兴趣，是一个正交空间。实验结果表明，与在A中直接做页面聚类相比较，用户兴趣空间中的页面聚类取得了较好的效果。     

基于入侵特征选择的网络异常数据检测模型

为了提高网络运动可靠性和安全性,针对传统的防火墙检测方法对网络异常数据检测准确性不高的问题,提出一种基于入侵特征选择的网络异常数据检测模型。对网络传输信道中的数据采用关联维求解方法进行特征挖掘提取,并对提取的关联维信息特征进行优选实现入侵信息识别和分类,结合模糊C均值聚类算法实现对网络异常数据的有效挖掘和检测。仿真结果表明,该检测模型能提高对网络异常数据和入侵信息的有效识别和检测能力。     

基于深度学习的网络异常检测和智能流量预测方法

边缘计算场景下,边缘设备时刻产生海量蜂窝流量数据,在异常检测任务中针对直接对原始数据检测异常存在的计算冗余问题,提出基于特征降维的蜂窝流量数据异常检测方法.该方法在全局范围内利用LSTM自编码器提取流量数据特征和标识异常网格,然后在存在可疑异常的网格使用K?means聚类进行局部异常确认,结果表明可以更好地检测出不同活...     

基于TF-IDF算法的运营商用户画像分析

随着通信技术的迅速发展，海量日志的产生给企业运营带来了安全隐患，除了能否及时检测出电信运营商企业内各类业务系统及设备的海量日志是否安全、合规之外，基于用户行为的分析对日志安全也尤为重要。为了直观掌握用户行为，本文基于TF-IDF标签权重算法对运营商海量用户业务日志数据构建用户画像。根据实际业务场景构建RFS模型，通过开发的用户画像标签体系分析研究运营商用户行为，对用户操作日志中的潜在高风险信息进行数据挖掘，并输出可视化用户行为分析画像结果。实际应用表明，通过用户画像能识别风险用户行为信息，同时也能为日志安全分析提供参考价值，帮助企业实现数据安全运营动态监测。     

基于兴趣度的Web用户聚类方法

现有的Web用户聚类方法都是通过对用户喜好页面的访问模式分析来建立用户聚类,没有充分考虑时间意识、用户兴趣、用户访问模式之间的关系与影响.针对这一问题,在时间意识的Web用户聚类基础之上,提出了基于兴趣度的Web用户聚类方法.通过对日志文件中的用户访问模式进行分析,计算用户兴趣度.结合渐进遗忘算法,对用户兴趣爱好进行调整与更新,并在此基础上对用户进行聚类.实验表明,本方法能够更好地分析用户访问模式,更准确地计算用户兴趣,具有更好的聚类效果.     

基于模糊核聚类和主动学习的异常检测方法

针对日志数据的异常检测获取标记数据代价过高的问题,提出一种基于模糊核聚类与主动学习的算法,即KFCM-AL算法。首先将日志解析,之后利用模糊核聚类算法将待选样本在高维空间进行划分聚类,滤去样本冗余点,同时选取聚类中心进行标记构建初始分类器,最后结合主动学习利用较小的标记代价对异常检测模型进行优化。实验结果表明,所提方法能够利用较少的标记样本获取异常检测模型的性能提升。     

基于离群点检测算法的电力大数据异常值检测

目前提出的电力大数据异常值检测方法由于检测过程中无法提取异常特征,因此检测到的异常电流和异常电压所在时间不同,为此提出基于离群点检测算法的电力大数据异常值检测方法。利用高斯混合模型中提取电力大数据异常值的特征,通过离群点检测出符合距离要求的异常值,初步检测易于识别的异常数据。分析离群点与异常值分布密度之间的关联性,确定更深层次的异常值,使用离群点进入数据簇中和聚类中心中寻找缺少异常特征的异常值。实验结果表明,基于离群点检测算法的电力大数据异常值检测方法检测到的异常数据离散情况和振幅波动响应状态具有一致性,异常电流和异常电压所在时间都为0.3～0.4 s,证明了方法的可行性。     

个性化服务中自适应聚类算法的研究

针对传统K—Means聚类算法需要用户输入聚类数目的缺点，对K—Means聚类算法进行了改进，提出使用一个有效指数来克服这个问题，该算法不需要背景知识，自动聚类，提高了聚类的准确性。该算法还可以根据数据量的大小确定合适的步长，增强了适应性。通过将该算法应用于网站日志数据中对用户进行聚类，验证了算法的有效性。     

一种无冗余的Web日志挖掘算法

Web日志挖掘是Web数据挖掘的一个重要研究领域。Web日志挖掘通过发现Web日志中用户的访问规律和模式,可以提取出其中潜在的规律和信息,人们对这个领域的研究也日益重视。然而,传统的基于关联规则的Web日志挖掘算法都是基于所有关联规则的。这种方式往往挖掘产生大量的候选规则,而且存在大量冗余的规则。提出了一种新的无冗余的Web日志挖掘算法,该算法通过引入频繁闭项集合最小关联规则的概念,从而解决了以往基于所有关联规则挖掘算法中出现的上述问题。     

基于激光雷达的室内玻璃三维重建算法

针对激光雷达在室内地图重建过程中,扫描不到透明玻璃的问题,文章提出了一种玻璃检测三维重建算法,实现了三维地图中玻璃的重建。该方法将三维激光雷达扫描的点云经过点云滤波、分割、聚类以及运动匹配,提取出感兴趣的透明玻璃上的点云,从而识别出室内场景中的透明玻璃。实验结果显示,该算法能有效地使用激光雷达数据检测玻璃并进行三维地图重建。     

移动通信用户时空行为分析算法研究及系统实现

为了挖掘移动用户行为，提出了基于密度聚类的移动用户热点区域识别算法及融合加权频繁模式（Frequent Pattern,FP）树和最长公共子序列（Longest Common Subsequence,LCSS）算法的移动用户出行频繁轨迹模式提取方法。首先说明与思路相关的概念，其次采用密度聚类方法来识别城市的热点区域，最后融合加权FP树和LCSS算法来提取移动用户出行轨迹模式，并对算法在工程中的应用路径及应用效果进行了说明。     

基于熵权聚类网络异常行为的检测方法研究

为了提高传统异常检测技术对尺度异常行为的检测能力,提出了一种基于统计量的聚类模型识别方法,将数据集中的每个数据与模型识别聚类中心的欧几里得距离进行比较,从而识别是否存在数据异常。不打破传统异常检测技术处理隔离机制,保证了规模异常行为的识别,解决了传统异常检测方法假设异常数据进行隔离的局限性。为了提高聚类精度,采用熵值法校正欧氏距离对数据属性进行加权,优化了最近邻聚类算法的相似性,并进行仿真。实验结果表明,统计方法和改进的聚类方法具有更高的聚类效率和自适应性。     

基于K近邻算法的主机异常行为检测

基于主机异常的入侵检测方法可以识别用户操作是否存在异常,从而提醒用户进行处理以保证系统安全。为了能够快速高效地识别用户操作异常,文章提出了基于K近邻算法的主机异常检测方法。该方法首先在特征提取过程中使用自然语言处理的算法来提取特征向量,然后采用主成分分析算法进行降维处理,接着使用K近邻算法学习主机的正常操作和异常操作的相关特征,建立检测模型,最后使用学习后建立的模型来判断主机是否存在异常操作。该方法采用澳大利亚国防学院的ADFA-LD数据集进行实验,验证了所提出方法性能良好。     

Web挖掘中基于RD_Apriori算法发现用户频繁访问模式

从Web日志数据中发现用户的频繁访问模式，可分为两步进行。首先把经过预处理后的目志数据转换为最大前向引用的集合，然后使用Apriori算法挖掘出频繁访问模式。本文针对挖掘的第二步提出了一种基于缩减数据库(Reduced Database)的RD—Apriori算法，此算法能够准确、高效地挖掘各种长度不同的频繁访问模式。     

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。