基于用户会话的Web应用性能测试方法的研究

近年来,Web应用成为互联网时代基础设施中最重要的组成部分。随着互联网技术的不断进步以及使用用户数量的不断增长,Web应用也越发变得复杂。为了保证Web应用性能测试的有效性和真实性,提出一种利用服务器日志中的用户会话信息、结合经过序列匹配算法改进的层次凝聚算法来自动产生Web应用性能测试脚本的方法。提出的方法通过从服务器日志中提取出用户会话信息,分析用户真实的访问模式,通过聚类算法将同类型的用户访问模式进行聚集,自动产生相应的测试请求序列,生成测试集。相比于传统的基于录制/回访的测试方法,基于用户会话的性能测试方法通过对用户会话进行聚类分析,还原实际的用户访问模式,减少了设计测试用例时的人工参与,保证了测试结果的有效性和真实性。     

用户Web 日志序列模式挖掘研究

单个用户访问网站能够留下大量的访问信息,合理地挖掘这些信息便能够得到用户个人的访问模式.文中将序列模式挖掘运用到单一用户Web日志上,最终可以得到单一用户的访问序列模式.在序列模式挖掘过程中,将传统的序列模式挖掘概念进行了扩充,对应到单一用户的序列模式上;运用Session来划分时间段,增强了时间的概念;运用概念格的理论,很好地实现了增量序列模式挖掘.并使用一个新的算法,解决MFP(最大前向路径)在Web日志中获取存在的一些问题.     

基于日志的Web系统互操作测试用例扩充方法

随着Web的发展,多应用Web系统成为一种主流形式,它能够为用户提供综合便捷的服务。Web系统中各应用间的交互直接影响着Web系统的功能性和可靠性,互操作性已经成为Web系统的主要特性之一。相较于传统软件系统,Web系统更新升级更为频繁,回归测试是保障Web系统质量的重要手段。针对以上问题,提出了一种基于访问日志的Web系统互操作性测试用例集扩充方法,利用Web系统独有的日志信息,在回归测试阶段对测试用例集进行扩充。该方法采用模型驱动测试的思想,使用顺序图对测试目标进行建模,转化成基础测试序列,然后将Web系统日志信息进行筛选、合并、解析,进而得到用户访问序列,将两种序列按照一定规则进行匹配,并结合相应的扩充规则对当前测试用例集进行扩充。     

用户Web日志序列模式挖掘研究

单个用户访问网站能够留下大量的访问信息，合理地挖掘这些信息便能够得到用户个人的访问模式。文中将序列模式挖掘运用到单一用户Web日志上．最终可以得到单一用户的访问序列模式。在序列模式挖掘过程中，将传统的序列模式挖掘概念进行了扩充，对应到单一用户的序列模式上；运用Session来划分时间段，增强了时间的概念；运用概念格的理论，很好地实现了增量序列模式挖掘。并使用一个新的算法，解决MFP(最大前向路径)在Web日志中获取存在的一些问题。     

基于用户兴趣迁移的Web日志仿真生成算法

针对仿真生成算法采用静态分布模型生成Web日志,会造成与真实数据之间存在较大差异的问题,提出一种基于用户兴趣迁移的Web日志仿真生成（WLSG）算法。该算法首先对Web日志与时间的关系进行了建模;其次,模拟了用户在不同时间访问文件时用户的兴趣迁移;最后,也模拟了用户自适应访问当前时刻最感兴趣的文件。相对于现有的采用静态分布模型的仿真算法,所提算法能够提高自相似性指标约2.86%。实验结果表明,该算法通过用户的兴趣迁移来改变用户的访问序列,能够较好地模拟真实Web日志,有效地应用于Web日志的仿真生成。     

Web缓存流量特征模型研究和应用

根据Web缓存流量访问特征建立数学模型,设计实现了Web缓存流量特征模拟生成器（WebSimGen）。利用两层代理缓存结构、基于ADF（Aggregation、Disaggregation和Filtering）模型对Web缓存流量的访问特征和性能进行测试,实验表明模拟日志具有和真实日志类似的访问特性。Web生成器具有较大的灵活性,能够克服真实日志的一些缺点,为进一步提高Web缓存性能和预取技术提供了重要依据。     

WWW业务访问特性分布研究

WWW业务表现为一系列的访问序列。而Web Server和Proxy Server的日志很好地记录了这种访问序列的过程及特性。WWW业务的特性研究是Web Server、Web中间件研究和人工合成Web负载的基础。分析了一个Web Server和两个Proxy Server的日志,重点研究了Web页面请求的概率分布、Web静态文档大小的概率分布（含传输文档）、Web静态文档的访问距离的概率分布,并将分析结果同相关文献的结果进行了对比,同时通过试验证实了在使用Size作为Web缓存替换依据时,还应该考虑Web文档的访问频率。     

基于Web挖掘的个性化教学推荐系统

针对学生网络学习环境设计了一种新颖的个性化教学推荐系统。该系统通过测试学生的学习风格和挖掘Web浏览日志,构造了不同学生学习风格和Web使用习惯的模型。首先利用Item-Based Top-N推荐算法对数据稀疏的学习风格测量数据进行处理,实现对学生学习风格的诊断;然后,采用AprioriAll算法挖掘Web浏览日志中序列频繁集,分析出学生Web使用的常见习惯和兴趣;最后,依据不同的学习风格和Web使用习惯实现学习内容的个性化推荐。模拟实验表明,该推荐系统的设计是可行并有效的,能够很好地符合用户的真实需求。     

Web日志分析系统研究

Web日志分析系统不仅能改进Web网站结构,提高Web服务器性能,而且能识别用户的喜好、满意度,发现潜在用户,增强网站服务竞争力。介绍了Web日志挖掘的各个阶段,设计并实现了一个Web日志分析系统。分析了传统的频繁项集挖掘算法与序列模式挖掘算法的不足之处,根据日志数据的特性,将用户属性引入频繁项目集的生成过程,有效地减少了候选项集的数目,并根据候选集的特点,逐轮压缩数据库。将连续序列引入到ApiroriAll算法的候选集合并过程中,实现了改进算法。通过实验比较了改进算法与传统算法的效率,证明了改进算法的有效性。     

Web日志挖掘与上网行为习惯分析

本文以某校校园网Web日志挖掘为例,首先阐述如何进行Web挖掘,其次运用该理论分析该校Web日志得到用户上网行为习惯,并给出合理化建议,最后引出进一步探索的方向,为以后工作奠定基础。本文采用的挖掘方法具有通用性和实用性,对于类似时序序列趋势分析都可参考本文。     

面向数据泄漏的Web沙箱测试方法

数据泄漏是导致Web沙箱逃逸的重要原因,即在未授权情况下,程序可以访问系统的敏感数据。已有的Web应用安全分析方法不完全适用于发现Web沙箱的数据泄漏。设计一种面向数据泄漏的Web沙箱测试方法,在JavaScript对象建模的基础上,首先,采用深度优先的策略遍历浏览器的原生对象,获取程序可直接访问的对象集合;其次,设计敏感点导向的封装对象测试算法,获取程序间接访问的对象集合;再次,设计了多程序数据泄漏的测试算法,获取程序间可能的通信路径;最后,对比测试结果和Web沙箱的规格,以识别Web沙箱的数据泄漏。设计并实现了Web沙箱测试系统(WSTS),同时测试了不同版本的ADsafe沙箱,实验结果显示,所提方法具有良好的数据泄漏发现能力。     

基于SPAM-FPT的WebLog访问序列模式挖掘

WebLog访问序列模式挖掘将数据挖掘中的序列模式技术应用于Web服务器上的日志文件,以此来改善Web的信息服务,而在对海量的数据挖掘时,系统资源开销很大。该文结合SPAM、PrefixSpan的思想,提出一个新的算法——SPAM-FPT,该算法通过建立First_Positon_Table,避免了SPAM中的“与操作”、“连接操作”以及PrefixSpan中大量的“投影数据库”的建立,可以快捷地挖掘数据库中所有“频繁子序列”。     

基于用户行为和会话的Web应用测试方法

Web应用程序难以创建有效的测试用例,使其既能满足测试的需求,又能测试Web应用程序的多用户交互行为。针对上述问题,采用从Web日志数据中得到域数据创建测试用例的方法,从Web日志中获取用户行为数据和用户会话数据。提出一种基于用户行为和用户会话的测试新方法,通过实验验证该方法在功能覆盖和故障检测方面的有效性。     

基于序列关联规则挖掘的Web日志预测精度研究

目前许多研究关注如何利用序列关联规则预测用户最近的HTTP请求,这些研究主要利用次序信息或时间信息来进行剪枝,以提高预测的精度。该文对不同序列关联规则进行了分析和比较,给出了不同次序信息和时间信息的条件下各种序列模式挖掘算法。并使用实验比较这些算法的预测精度。通过对实验结果的分析,为进一步提高预测的精度指明了方向。     

改进的关联规则算法在电子商务中的应用

Web日志数据中保存有大量用户访问信息,而Web日志挖掘就是对系统日志信息以及用户的注册数据等进行挖掘,以发现有用的模式和知识。首先介绍了Web日志挖掘的基本流程,然后介绍了电子商务中的日志挖掘,并着重分析了在模式识别中如何利用改进的关联规则算法来挖掘出用户频繁访问的路径和页面兴趣度,为个性化推荐系统模型提供了依据,从而证实了对Web日志数据进行挖掘具有很重要的现实意义。     

Web日志序列模式挖掘

从Ｗｅｂ日志中挖掘出的序列模式可以用于改善Ｗｅｂ信息服务。本文分析了Ｗｅｂ日志序列列模式挖掘过程中的一些难点及相应的解决方案,并在此基础上设计了一个Ｗｅｂ日志序列模式挖掘工具ＳＰＭｉｎｅｒ。     

序列模式挖掘支持度阈值的确定方法

通过对不同支持度下序列模式挖掘产生模式个数分布的研究,利用曲线拟合技术,提出一种支持度与序列模式个数的关系模型。在对客户序列数据库子集进行预挖掘的基础上,利用该模型为用户在挖掘前确定支持度阈值提供参考。在不同类型数据集上采用该方法,得到预期结果,表明该方法是正确有效的。     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

基于搜索引擎的Deep Web数据源发现技术

随着Web数据库的广泛应用,Web正在不断“深化”。传统搜索引擎只能检索浅层网络,却不能直接索引到深层网络（Deep Web）的资源。为了有效地利用Deep Web资源,必须要对Deep Web数据进行大规模集成。其中,数据源发现是整合Deep Web资源的首要工作,能否高效地发现Deep Web站点是Deep Web数据获取的关键。提出了一种基于传统搜索引擎的Deep Web数据源发现方法,该方法通过分析返回结果来扩展查询,从而进一步提高了数据源发现的效率。实验证明该方法能得到较好的结果。     

一种增量式并行Web信息采集方法

提出了一个基于多线程并行的增量式Web信息采集结构模型,并加以实现,该模型以线程并行的方式对Web页面同时采集,实现了全面、高效并且灵活的信息搜集,在系统实现过程中,采取Java语言中最新的特性、独特的URL调度策略保证了各个线程时间的下载并行与互不相交,页面分析过程为各个线程源源不断地提供下载源,而指纹判别算法保证了并行采集过程中的同步,有效地去除了冗余。对该系统作了测试,实验证明,该系统能有效地提高信息采集性能。