基于网页结构相关性的隐马尔可夫预取技术研究

基于网页的结构相关性及隐马尔可夫过程提出一种基于Web网页结构相关性的预取模型,通过网页抓捕建立特征词集,在此特征词集的基础上对用户的访问序列进行分析,提取超链接语义中蕴含的信息需求,在此特征词集的基础上对网页超链语义进行分析。模型引入隐马尔可夫模型实现用户访问序列中潜在意图的挖掘。性能测试实验的结果表明,该模型具有较好的整体性能。     

基于客户端的网页预取模型

提出一种基于客户端的网页预取模型。此模型以WPC方法为理论核心,WPC方法以客户端用户访问日志数据为依据,从中挖掘出Web用户的访问模式再通过提出的模式匹配算法进行网页预测,还提出基于Agent的Web预取系统具体应用WPC方法进行网页预取决策。此模型避免或简化了一般的网页预取模型对Web日志进行的复杂的预处理的一些步骤,其中包括数据净化,用户识别,用户会话识别和事务识别等,从而提高了预取效率。实验结果表明该模型能够达到较为理想的预取效果,具有较高的实用价值。     

基于结构相关性Markov模型的Web网页预取方法

预取技术通过在用户浏览当前网页的时间内提前取回其将来最有可能请求的网页来减小实际感知的获取网页的时间。预测的准确性和方法的可用性是预取技术需要解决的主要问题。针对目前Web网页预取的一般方法的不足之处,提出了一种基于结构相关性Markov模型的Web网页预取方法。仿真实验的结果表明,这种方法在保证一定预测准确性的同时也具有较好的可用性,能够在减小用户访问延迟、提高响应速度方面达到较为满意的效果。     

基于用户当前兴趣的网页预取方法

提出了一种基于用户历史浏览情况和当前访问兴趣来对网页进行预取的算法.算法中改进了对用户页面兴趣的计算方法,借助于滑动窗口来实现预取,并综合考虑了用户兴趣和服务器负担的平衡来进行预取.实验结果表明,该算法能够较好地完成网页预取.     

一种集群服务器并行网页预取模型

提出了集群服务器并行网页预取模型,模型采用了马尔科夫链分析访问路径并在Web集群服务器的各节点上并行预取页面,把集群技术的高性能和高可靠性与预取技术的快速响应能力结合起来。实验表明,将此模型应用于集群服务器的分发器上,服务器系统具有更高的请求命中率和更大的吞吐量。     

基于内容和结构的Markov模型在网页预取中的应用

提出了一种结合页面内容和站点结构的Markov模型,该模型应用于网页预取。传统的Markov模型是基于历史的模型,将对用户以往的使用记录的统计应用于网页预取。本文通过在Markov模型之上,结合页面内容及站点结构来调整状态转移矩阵,以获得更精确的预取结果,提高Web服务的质量。性能测试结果表明,该模型具有较好的性能。     

Web预取模型分析

WWW的快速增长导致网络拥塞和服务器超载。缓存技术被认为是减轻服务器负载、减少网络拥塞、降低客户访问延迟的有效途径之一，但作用有限。为进一步提高WWW性能，引入了预取技术。文中首先介绍了Web预取技术的基本思想及其研究可行性，然后分析了现有Web预取模型，最后给出了一个Web预取模型应具有的关键属性。     

基于用户访问模式的Web预取算法

缩短Web访问中的用户感知时间,是Web应用中的一个重要问题,服务器需要预测用户未来的HTTP请求和处理当前的网页以提高Web服务器的响应速度,为此提出了一种基于用户访问模式的Web预取算法.该算法根据Web日志信息分析了用户的访问模式,并计算出Web页面间的转移概率,以此作为对用户未来请求预取的依据.实验结果表明,该预取算法能有效提高预测精度和命中率,有效地缩短了用户的感知时间.     

Web预取模型分析

WWW的快速增长导致网络拥塞和服务器超载.缓存技术被认为是减轻服务器负载、减少网络拥塞、降低客户访问延迟的有效途径之一,但作用有限.为进一步提高WWW性能,引入了预取技术.文中首先介绍了Web预取技术的基本思想及其研究可行性,然后分析了现有Web预取模型,最后给出了一个Web预取模型应具有的关键属性.     

基于改进的隐马尔可夫模型在网页信息抽取中的研究与应用

信息抽取是从大量的数据中准确、快速地获取目标信息,提高信息的利用率。考虑网页数据的特点,提出一种适用于网页信息抽取改进的隐马尔科夫模型(HMM),即结合最大熵模型(ME)在特征知识表示方面的优势,在HMM模型中加入后向依赖,利用发射单元特征来调整模型参数。改进后的HMM状态转移概率和观察输出概率不仅依赖于模型的当前状态值,而且可以以模型的前向状态值和后向特征值加以修正。实验结果表明,使用改进后的HMM模型应用到网页信息抽取中,可以有效地提高网页信息抽取的质量。     

基于用户访问路径分析的页面推荐模型

已有的基于访问路径分析的页面推荐系统大多由离线处理和在线处理两部分组成,由于其周期性离线处理的过程较为耗时,难以适应大型网站以及内容更新频繁的网站的需要。提出了一种新的基于用户访问路径分析的页面推荐模型。该模型采用在线处理方式,利用增量图划分方法形成页面聚类,依此生成动态页面推荐。模型以Apache模块的形式实现,可适用于大型网站以及内容更新频繁的网站。实验结果表明,该模型具有较好的整体性能。     

基于用户访问路径分析的页面推荐模型

已有的基于访问路径分析的页面推荐系统大多由离线处理和在线处理两部分组成，由于其周期性离线处理的过程较为耗时，难以适应大型网站以及内容更新频繁的网站的需要。提出了一种新的基于用户访问路径分析的页面推荐模型。该模型采用在线处理方式，利用增量图划分方法形成页面聚类，依此生成动态页面推荐。模型以Apache模块的形式实现，可适用于大型网站以及内容更新频繁的网站。实验结果表明，该模型具有较好的整体性能。     

数据挖掘技术在Web预取中的应用研究

由于近年来互联网的迅猛发展,越来越多的行业和领域都通过互联网来拓展和发展自己的市场,人们的生活方式也渐渐融入了互联网。但是,由于全球网民数量的急剧增加以及互联网本身固有的限制与传输延迟,网络对用户的服务质量越来越得不到保证。因此,由交通拥挤到网络塞车,我们需要一种更好的技术方式来解决这一问题。而未来的一大技术热点——数据挖掘技术,通过对用户的分析和归类,可以预先读取Web中的数据,从而减少网络延迟。重点介绍了数据挖掘中的关联规则算法在Web预取中的应用。     

基于Web流行度的选择Markov预取模型

Web预取技术是目前WWW中减少用户的访问延迟、提高服务质量的主要解决方案之一。该文利用Zipf第1定律和第2定律对Web对象访问流行度建模,并在此基础上,提出了基于Web流行度的选择Markov预取模型。实验表明,该预取模型不仅具有较高的命中率,而且在一定程度上还减少了对带宽的需求。     

基于隐马尔可夫模型的在线零售站点的自适应

开展在线零售业务存在的问题是,群体用户必须浏览许多无关的页面,才能最终找到自己所需要的商品.解决该问题的一个思路是:建立一个隐马尔可夫模型,通过关联规则发现算法发现关联购买集合;然后通过Viterbi算法求出从首页到一个关联购买集合中心的具有最大被购买概率的一些路径;在这些路径上标注关联购买集合;当处理完所有的关联购买集合之后,通过竞争来决定出现在导航页面上的物品集,最终将导航页合理地变成导航购买页.即站点可以自动根据群体用户的访问购买情况进行自适应.此外,该方法也是一种很好的通过建立隐马尔可夫模型来分析     

Web挖掘中的用户识别与虹膜识别技术

提出引入生物信息技术解决Web挖掘中的用户识别问题的设想及基于隐马尔科夫模型的虹膜识别方法,该方法仅需要虹膜的方向域作为输入参数,对虹膜图像的噪声与扭曲并不敏感,从而使该方法具有鲁棒性的特点。通过准确识别用户,克服了现有Web体系无状态的缺陷,可以实现对Web日志数据按“用户维”进行切片,使挖掘出的结果能够满足对用户个性化使用的需求。     

Generating Web Traffic Based on User Behavioral Model

Generating web traffic is of great importance to analyze performance of new designed network, test new equipment, and verify new protocols, etc.. However, most existing traffic generation systems tend to simulate the overall characteristics of network traffic, while neglecting of the behavior of the individual users. Nevertheless, in principle, the emerged characteristics of overall traffic originate from the aggregation of individual users＇ access behavior. In this paper, we propose an innovative web traffic generating method based on user browsing behavior. Our method simulates the real users＇ accessing behavior, and visits the real web servers. Then, we design and develop a web traffic generating system. Because our system accesses the real websites, it can produce almost the real network traffic. The test results show that the traffic generated by our system has characteristics of burstiness and self-similarity, which are widely found and characterized in many real networks. In addition, our system can better reflect real user＇s web browsing behavior.     

基于隐马尔科夫模型的网络爬虫检测算法仿真

在网站的建设与维护中,为了提升服务器效率,加强安全保密性等原因需要区分普通用户和网络爬虫程序。但是一些不完善或恶意的设计使得针对爬虫程序的检测变得困难,这些爬虫程序不仅加重网站的负担,也危害了网络的安全。为了解决这一问题,本文提出一种利用行为模式进行检测的技术,采用隐马尔科夫模型描述行为模式,并使用Matlab仿真实现高精度的检测效果。结果表明,利用隐马尔科夫模型的检测技术可以实现高精确度和低错误率的网络爬虫检测。 