一种基于ELK的反向代理日志分析系统设计

日志分析是网络安全领域重要的分析手段之一。采用Filebeat和ELK架构方案,对反向代理服务器上的Web日志进行采集、处理、存储与分析,并着重对Web攻击相关日志进行了分析,对网络安全工作起到辅助作用。     

基于ELK的高校Web日志安全分析

为应对高校校园网的Web应用安全威胁,设计了基于ELK的日志安全威胁监测平台。首先对Web日志进行数据分析,挖掘其中的安全威胁攻击模式,形成安全监测模型库并将其应用于实时安全监测。系统运行结果证明,该平台可以发现校园网中的安全威胁,可视化关联分析便捷,能有效地提高运维效率和安全攻击排查的速度。     

基于ELK的Apache日志实时分析系统探索与分析模型研究

Web日志详细地记录了Web服务器的运行情况,可从其中了解Web服务器运行性能和访问行为,全面分析Web日志可有效改善Web服务器结构,提升Web服务器性能,并可从其中识别用户行为,提升Web服务核心竞争力。文章从Apache日志角度出发,以ELK为基础构建了集中式的日志实时分析系统,通过对数据采集、清洗、格式化、分析、可视化等步骤创建实时日志分析模型,为网站管理决策提供科学依据。     

基于ELK的Windows系统安全风险分析的研究探索

操作系统安全尤其是Windows操作系统安全广受重视,如何分析Windows系统运行情况、评估Windows系统安全风险,实现Windows系统安全威胁感知是网络安全研究的重要方向。本文以ELK为基础,从日志分析角度入手,建立海量实时日志分析平台,高效利用Windows系统事件日志,挖掘Windows事件日志价值,实现Windows系统日志审计与分析,完成系统安全风险评估与威胁感知。     

面向网络态势感知的多源异构日志传感器设计

探讨了一种基于网络态势感知的多源异构日志传感器的设计.给出了网络结构图和日志传感器的框架图,阐述了传感器设计的难点,相关的关键技术和设计方案.实验证明:该方案在数据采集和分析方面性能有显著的提高.     

基于百度搜索日志的用户行为分析

基于大规模搜索日志进行用户行为分析有助提高搜索引擎的各种性能指标。从三个方面对百度开放日志进行详细分析。首先对查询串长度和频次进行统计,发现查询串中存在着长尾效应,前10%最常用查询串的查询次数占总查询次数的70.8%。其次对URL点击深度和频次进行分析,发现有73%的网页只被点击一次,表明互联网中存在着大量低频访问网页。最后对用户使用高级检索情况进行分析,发现有不足0.12%的用户使用高级检索,表明用户更喜爱简单方便的操作。     

网络安全态势感知研究与分析

我们通常所说的网络安全态势感知,其概念出自空中交通监管,从实质角度而言,其是一种新兴概念。其描述性定义即为,在不同网络设备运行背景下,由于不同网络行为因素影响和不同计算机用户行为影响所造成的网络状态变化。需要提到的一点是,随着科学技术的发展和人们生活水平的不断提高,网络已经逐渐进入大众生产生活中,人们在使用网络的过程中自然而然的形成了一些网络使用状况,之后在此基础上应对行管网络完全态势有所了解,及时发展问题并解决问题,本文针对当前社会网络使用特点和运行要素等,对网络安全态势感知进行详细分析和阐述。     

基于日志分析平台的监控系统的设计与实现

介绍基于日志分析平台的监控系统的设计与实现。针对复杂软件系统的监控点类型多样、监控点数量多、监控点易变化、监控数据量大等问题,提出一种基于日志分析平台ELK的监控系统的设计与实现方法。通过对日志分析平台ELK进行改造,把日志处理中的收集、存储、索引、搜索、分析方法引入到监控系统的设计与实现中,解决了传统监控方法存在的问题,为监控系统的设计提出了新的思路。     

基于日志分析的中文输入法用户行为研究

与拼音文字不同,用户在进行中文输入时需要借助输入法软件完成从拼音串到汉字串的转换过程,输入法因此成为中文用户进行人机交互的基础性工具,而输入法的相关技术研发也一直是学术界与产业界的关注热点。在中文输入法技术的研究中,用户的行为特点对输入法软件的词库建立、算法设计、交互方式设计与性能评价等多方面都有着至关重要的作用,但由于数据获取与分析的困难,这方面的相关研究尚不多见。该文利用某中文输入法在用户许可下收集的超过4.1亿条用户输入行为记录,进行了中文输入法用户行为的分析研究,针对不同类别应用程序的输入词频差异,不同用户在同类应用程序中的不同候选词条的选择等行为特点进行了挖掘分析,研究结果会对深入了解中文输入法用户行为,进而改进输入法软件性能具有一定的指导意义。     

基于大规模日志分析的搜索引擎用户行为分析

用户行为分析是网络信息检索技术得以前进的重要基石,也是能够在商用搜索引擎中发挥重要作用的各种算法的基本出发点之一。为了更好的理解中文搜索用户的检索行为,本文对搜狗搜索引擎在一个月内的近5 000万条查询日志进行了分析。我们从独立查询词分布、同一session内的用户查询习惯及用户是否使用高级检索功能等方面对用户行为进行了分析。分析结论对于改进中文搜索引擎的检索算法和更准确的评测检索效果都有较好的指导意义。     

基于日志挖掘的搜索引擎用户行为分析

随着网络搜索用户的大规模增加,网络用户行为分析已成为网络信息检索系统进行架构分析、性能优化和系统维护的重要基石,是网络信息检索和知识挖掘的重要研究领域之一。为更好理解网络用户的搜索行为,该文基于7.56亿条真实网络用户行为日志,对用户行为进行分析和研究。我们主要考察了用户搜索行为中的查询长度、查询修改率、相关搜索点击率、首次/最后一次点击位置分布以及查询内点击数分布等信息。该文还基于不同类型的查询集合,考察用户在不同查询需求下的行为差异性。相关分析结果对搜索引擎算法优化和系统改进等都具有一定的参考意义。     

基于日志挖掘的移动应用用户访问模型建模技术研究

提出了一种基于监控日志挖掘的移动应用用户访问模型自动构造方法,该方法包括监控代码注入和界面访问模型构造两部分。首先,提出了一种监控代码自动注入方法,即通过对移动应用代码的静态分析,自动地在相应位置插入监控代码以支持在运行时动态地监控用户的访问行为。其次,提出了一种基于状态机的移动应用用户访问模型构造方法。访问模型中状态机的节点和节点间跳转上的附加属性描述了UI界面之间的跳转行为和界面内控件的使用情况。对移动应用进行的实验表明,这种基于监控日志挖掘的移动应用用户访问模型自动构造方法能够成功地自动注入移动应用的监控代码,并能够有效获得移动应用用户界面访问行为。     

Web日志挖掘的用户识别算法研究

Web日志挖掘是将数据挖掘技术应用到Web服务器的日志中,发现Web用户的行为模式,以便进一步改善网站结构或为用户提供个性化的服务。文中探讨了Web日志挖掘中的用户识别算法,提出了一种多重约束条件的用户识别算法。     

基于用户行为分析的搜索引擎研究

如何提高搜索引擎的效率,把用户从无序的搜索结果中解放出来,是当前研究的一个热门方向。本文通过对现有自动分类搜索引擎的分析,提出了通过使用加权贝叶斯算法来分析用户行为,达到提高搜索效率的目的,并通过实例介绍了它的实现方法。     

用户行为数据分析平台用户竞品分析及相关探究

随着大数据时代的快速发展,数据决策在电商、医疗卫生、交通运输等行业发挥了极为重要的作用,并衍生出许多数据分析平台。其中,用户行为数据分析平台是专门分析用户浏览网页、操作事件时留下的海量信息,从而获得用户行为特征的平台,以此推动企业的不断发展。笔者从数据采集功能、数据分析功能、数据导出方式、辅助功能和盈利模式五部分出发,对现有用户行为数据分析平台展开竞品分析及相关探究。     

基于拼音分析的网民密码行为研究

从网民密码字符中26个字母与汉语拼音的关系入手,研究中国网民密码的文化特征。基于网络汉字频率及多音字处理方法进行拼音字母的频率统计,在简单阐述网民密码的一般性统计特征后,重点分析中西方网民密码与拼音文本、英语文本中字母频率之间的相似性,揭示中国网民的密码设计与汉语拼音密切相关,并且习惯于采用拼音式的助记符密码。     

基于K-Means算法的Web日志用户聚类研究

Web日志作为服务器的记录文件,记录了网站最重要的信息,随着大数据时代数据量的骤然增加,提出一种应对大数据量的数据挖掘算法,更有效地分析日志文件迫在眉睫。用户聚类是在对日志文件进行数据预处理的基础上,建立用户会话序列矩阵,进而对其进行聚类分析,论文针对K-Means算法在选取初始中心点上存在的问题,以及在构建用户会话矩阵后存在的孤立点的问题,提出了一种密度参数和KCR算法的优化算法-ICKM算法,该算法利用密度参数最大的对象作为第一中心点,随后从数据集中将此对象删除,利用KCR算法寻找下一个中心点,算法借助MapReduce计算框架,提高大数据环境下的数据处理速度,通过实验表明,ICKM算法在寻找初始中心点以及用户聚类上具有较高的准确度,在处理大数据量的数据集时,有较好的的运算速度。     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统.该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理.该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查.该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案.