一种基于ExLF日志文件的用户会话识别启发式算法

在详细介绍ExLF日志文件格式的基础上,定义了会话表;阐述了用户会话识别图的概念;给出了生成此会话识别图的一种启发式算法。最后,用一个例子验证了算法的有效性。     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

一种数字校园日志获取模型及实现方法

获得校园网访问日志的传统方法是利用镜像端口捕获数据包后根据协议解析获得,其特征是大量的数据包被集中处理,对硬件的要求较高,串接于主干的日志硬件系统可能引起潜在的网络运行故障。提出具有典型的C／S结构的呈分布处理特征的设计方法。该方法首先基于数字签名技术配合校园网登录系统在客户端下载安装具有能获得访问日志的软件,之后,基于非混杂模式捕获数据包直接提取目志经简单清洗后基于UDP协议发往日志服务器并进行处理。最后给出了系统实现方法。     

基于百度搜索日志的用户行为分析

基于大规模搜索日志进行用户行为分析有助提高搜索引擎的各种性能指标。从三个方面对百度开放日志进行详细分析。首先对查询串长度和频次进行统计,发现查询串中存在着长尾效应,前10%最常用查询串的查询次数占总查询次数的70.8%。其次对URL点击深度和频次进行分析,发现有73%的网页只被点击一次,表明互联网中存在着大量低频访问网页。最后对用户使用高级检索情况进行分析,发现有不足0.12%的用户使用高级检索,表明用户更喜爱简单方便的操作。     

一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

基于Agent技术的多源日志采集系统的设计与实现

在分析Agent技术以及4种日志采集技术的基础上,本文提出了一个基于Agent技术的多源日志采集系统,来实现采集各种类型的系统日志。本文详细分析了系统的基本架构以及日志采集Agent的结构模型和工作流程。最后探讨了基于正则表达式的日志数据的识别与抽取以及日志XML格式化的实现技术。     

一种实现基于日志审计的网络追踪系统的方法

论文提出了一种实现基于日志审计的网络追踪系统的方法,并根据该方法设计、模拟了一个基于日志审计的网络追踪系统。该系统通过对数据散列的方法和位图存储方法实现了低容量的存储,使得系统能够完成对可控网内单个数据包的追踪。     

一种基于本体和用户日志的查询扩展方法

为了解决信息检索中存在的用词歧义性问题,提出一种基于本体和用户日志的查询扩展方法。利用领域本体从语义层面扩展用户查询形成初始扩展概念集,结合用户查询日志利用共现度分析对初始扩展概念集进行二次筛选。实验结果表明,与传统的基于局部共现的扩展方法和基于本体的扩展方法相比较,该方法在保障良好鲁棒性的同时,有效地提高了检索准确率。     

一种日志采集统计系统的设计与实现

日志采集系统是所有数据的源头,日志采集的重要性不言而喻.基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案.     

一种提升细粒度日志解析准确度的方法

目前大多数系统日志存在不同比例的细粒度日志,现有的日志解析器无法正确解析这些日志,导致整体解析准确度不高的问题.为了提升日志解析的整体准确度,加快日志解析过程,解决长度可变的及含有状态变量的细粒度日志错误分类的问题,本文提出了结合日志的常量令牌长度特征的决策树日志解析模型(CLDT).模型主要包括数据预处理、决策树搜索...     

文件异地自动备份的方法

怎样利用Windows自带的任务计划程序来完成文件的异地自动备份。并介绍了如何自动FTP文件和自动Email日志文件。     

基于用户行为和Web日志的用户兴趣挖掘

个性化信息服务的基础是用户兴趣的挖掘。文章提出一种基于用户行为和日志数据的用户兴趣挖掘方法,并应用模糊技术进行处理,实验表明具有较好的挖掘效果。     

一种搜索引擎日志分析的网络舆情监测探究

近几年来,随着互联网信息技术的不断发展,电脑已得到广泛普及.而网民逐渐开始应用网络论坛、博客、微博纷纷对社会事务发表看法,由此而形成网络舆情,已成为社会舆情的重要表现形式.由于网络舆情具有传播速度快、范围广且突发的特点,加强其监测已受到政府部门的重视.本文特提出一种搜索引擎日志分析的网络舆情监测方法,以望对后期网络舆情监测工作提供参考借鉴.     

一种用于数字权限管理安全审计的日志描述模型

数字权限管理安全审计日志记录的内容由数字权限管理安全审计日志描述模型给出。通过对已有数字权限管理事件模型的分析,提出了“基于原因-背景-影响的数字权限管理安全审计日志描述模型”;这个模型从数字权限管理安全审计日志角度描述了数字权限管理事件。     

基于用户日志挖掘的查询扩展方法

查询扩展可以有效地消除查询歧义,提高信息检索的准确率和召回率.通过挖掘用户日志中查询词和相关文档的连接关系,构造关联查询,并在此基础上提出一种从关联查询中提取查询扩展词的查询扩展方法.同时,还提出一种查询歧义的判别方法,该方法可以对查询词所表达的检索意图的模糊程度进行有效度量,也可以对查询词的检索性能进行预先估计.通过对查询歧义的度量来动态调整扩展词的长度,提高查询扩展模型的灵活性和适应能力.     

基于日志分析的中文输入法用户行为研究

与拼音文字不同,用户在进行中文输入时需要借助输入法软件完成从拼音串到汉字串的转换过程,输入法因此成为中文用户进行人机交互的基础性工具,而输入法的相关技术研发也一直是学术界与产业界的关注热点。在中文输入法技术的研究中,用户的行为特点对输入法软件的词库建立、算法设计、交互方式设计与性能评价等多方面都有着至关重要的作用,但由于数据获取与分析的困难,这方面的相关研究尚不多见。该文利用某中文输入法在用户许可下收集的超过4.1亿条用户输入行为记录,进行了中文输入法用户行为的分析研究,针对不同类别应用程序的输入词频差异,不同用户在同类应用程序中的不同候选词条的选择等行为特点进行了挖掘分析,研究结果会对深入了解中文输入法用户行为,进而改进输入法软件性能具有一定的指导意义。     

基于网页浏览日志的用户行为分析

随着问答社区信息的长期积累,越来越多的过时信息充斥在其中并被搜索引擎检索,给信息需求者带来不便。用户的网页浏览日志中隐性地包含用户的行为习惯,通过分析得到这些信息对判断网页信息时效性有着重要意义。文中提出针对网页浏览日志的查询过程划分方法,并在划分的基础之上对大量真实用户的浏览行为习惯做了统计分析。结果显示,用户查询一次信息平均浏览8.05个页面,用时6.28分钟,有将近1/3的查询在交替并发中进行,另外用户对于网站站内搜索的依赖较高。从浏览日志数据集中选取了一个社区网站的浏览记录来进行初步的网页信息时效性分析,结果表明造成用户不满意的原因主要是查询相关度不高,而过时信息只是其中一小部分。     

基于上网日志挖掘的用户网购行为分析

移动网络运营商拥有用户全面的上网日志,这些信息蕴含着巨大的价值。通过对用户上网日志的挖掘,运营商不仅能够对网络设施进行维护,辅助进行网络建设,也能为运营商自身和其他行业营销提供依据。对上网日志信息的构成进行了阐述,以网购用户为目标,介绍了数据预处理的方法,利用兴趣模型对用户行为进行分析。     

基于移动互联网日志的搜索引擎用户行为研究

随着移动互联网的迅速发展,移动搜索用户大规模增加,移动搜索引擎用户行为分析对改进搜索引擎性能,提高用户体验具有重要意义。该文选取某移动搜索引擎2011年6月第一周的日志,对移动互联网用户搜索行为进行分析和研究。我们从查询词分析、会话分析以及用户点击分析3个角度出发,对查询词长度和频度、问题式查询和网址查询比例、会话内查询个数、查询词修改方式以及用户点击位置进行研究,并与互联网搜索引擎相应指标进行对比。相关分析结论对于移动搜索引擎算法改进与系统优化具有一定参考意义。     

一种Web日志会话识别的优化方法

会话识别是Web日志挖掘的关键步骤,然而很多方法所得到的会话不够精确。该文对此提出优化算法,并对最常用的Timeout方法识别的会话进行优化,通过实验证明会话质量得到了提高。