Web流量模型研究和应用

Web缓存技术是提高Web性能的一种有效方法,缓存管理是Web缓存技术的核心,研究Web访问特征的数学模型是有效进行Web缓存管理的基础。本文根据Web缓存流量访问特征建立数学模型,设计实现了Web缓存流量特征模拟生成器(WebTraffsim),利用两层代理缓存结构,对Web缓存流量的访问特征和性能进行测试,对Web缓存替换算法(LRU,LFU,LRV)进行了性能评价和分析。     

集中管理式Web缓存系统及性能分析

共享缓存文件是减少网络通信量和服务器负载的重要方法，本文在介绍Web Caching技术及流行的Web缓存通信协议ICP的基础上，提出了一种集中管理式Web缓存系统，该系统通过将用户的HTTP请求，按照一定的算法分发到系统中某一合适的缓存服务器上，从而消除了缓存系统内部服务器之间庞大的通信开销及缓存处理负担，减少了缓存内容的冗余度．通过分析，证明了集中管理式Web缓存系统比基于ICP的简单缓存系统具有缓存效率高、处理开销低、延迟小等优点，并且该系统具有良好的可扩展性．     

ASP．NET Caching服务

WWW上的缓存技术被认为是改进Web性能的有效技术之一，微软的新一代开发语言ASP．NET为开发人员提供了十分完善的缓存服务机制。文章介绍了ASP．NET缓存服务的基本特点以及ASP．NET所提供的几种Caching服务，并通过简单的示例分别说明了每种服务的应用。在Web应用程序中合理应用ASP．NET提供的各种缓存服务，就可以轻而易举地提高Web服务器的访问速度与性能。     

适应性Web缓存的研究

近年来,由于Web缓存技术对缓解因特网上热点现象的有效性,它已迅速得到了研究人员和业界的关注。适应性Web缓存(adaptive Web caching)由于能够根据用户的不同访问模式,自适应地调整热点数据在缓存系统中的分布,自动均衡整个缓存系统的负载,因而成为了缓存技术研究的一个新的热点。本文介绍了适应性Web缓存领域的研究状况,详细分析了基于组播和基于单播这两种主要的适应性缓存技术。最后,指出了适应性Web缓存研究存在的问题和值得进一步改进的方向。     

Web缓存流量特征模型研究和应用

根据Web缓存流量访问特征建立数学模型，设计实现了Web缓存流量特征模拟生成器（WebSimGen）。利用两层代理缓存结构、基于ADF（Aggregation、Disaggregation和Filtering）模型对Web缓存流量的访问特征和性能进行测试，实验表明模拟日志具有和真实日志类似的访问特性。Web生成器具有较大的灵活性，能够克服真实日志的一些缺点，为进一步提高Web缓存性能和预取技术提供了重要依据。     

一种基于日志挖掘的自适应缓存调度优化算法

针对目前缓存很大程度上只能由程序员根据经验没置，分析了．Net的缓存调度的机制并利用Web日志挖掘技术，提出了“缓存性价比”概念，并据此设计实现了一种自适应的缓存调度优化算法，即SCCOA（self-adaptive cache schedule optimization algorithm）。该算法综合考虑了生成时间、占用空间、并发请求和局部、全局最优情况，能自适应地决定缓存调度，极大地提高Web站点整体性能。     

流媒体代理缓存技术研究

随着流媒体技术在互联网上的广泛应用，原有用于加速Web内容分发的代理缓存技术也被应用于流媒体内容分发领域。然而，由于流媒体对象的一些独特特点，需要在传统Web缓存技术的基础上提出适用于流媒体对象的缓存技术。本文分析了基于代理缓存的流媒体分发中的关键问题和技术挑战，对现有的各种流媒体缓存方案进行了综述、分类和比较，最后对流媒体代理缓存的未来发展方向进行了展望。     

合作式Web缓存系统的性能分析

共享不同代理的缓存文件是减少Web通信量和减轻网络瓶颈的重要方法．在分析现有合作式缓存系统的基础上，提出一种基于混合管理的合作式Web缓存系统(HMCS）．HMCS采用重定向的方法将请求从未命中的代理转发给缓存了请求文件的代理．采用这种方法可以减少缓存文件的冗余度，从而提高了缓存系统的存储利用率，进而提高系统的命中率．性能分析和仿真结果表明HMCS系统性能要优于CRISP和ICPS系统．     

基于虚拟服务缓存的服务网关性能优化

WSRF规范迈出了将网格技术和Web服务技术加以融合的关键一步，服务调用性能的重要性日益突出，服务网关最初用于解决公共IP和私有IP之间的Web服务可访问性问题，现在也用于基于集群的Web服务的调度，本文结合Web服务和网格中常见的数据服务和信息服务的特性，在服务网关中引入了一种新颖的虚拟服务缓存模型，并通过定量的分析，证明该模型能够有效缩短可缓存服务的平均响应时间．实验表明，该虚拟服务缓存模型，具有普遍性，并且可以有效地缩短服务的平均响应时间．     

Web缓存替换算法综述

Web缓存技术是提高www性能的最主要的方法，属于延迟容忍技术。Web高速缓存技术实现了Web内容的关键节点（包括本地）存储，它能减少网络带宽的占用，降低硬件成本，改善响应时间，提高了最终用户的效率。本文对目前常用的Web缓存替换算法作了一个总结。     

基于分布式对等架构的Web应用防火墙

为弥补单节点Web应用防火墙(WAF)在检测效率和稳定性方面的不足,采用反向代理技术,设计并实现一个基于分布式对等架构的WAF。通过反向代理响应客户端请求,各个节点运行相同的程序以实现对等架构,主节点与辅助节点可根据需求动态调整,主节点具有会话保持和负载均衡功能,辅助节点采用专家库和插件协同检测报文。实验结果表明,该应用防火墙能够有效阻止应用层攻击,相比单节点响应更加迅速和稳定。     

Cache技术在万维网上的应用

虽然Cache技术是一种传统的技术,但是在应用到网络新环境时,就需要在原有的技术上进行改进。文中详细地介绍整个网络中各个节点(用户端、代理端、服务器端)对用户事件的网络行为,说明在WWW上使用Cache技术的原因和介绍了如何在网络的不同节点上应用该技术的问题,并比较了现有的主要的有关网络缓存的各种不同协议。还介绍了这一技术中两个重要的问题:缓存替换策略和如何使缓存中的动态对象和原始的Web服务器中相应的对象保持一致。     

ELM-based data distribution model in ElasticChain

World Wide Web - Blockchain technology is becoming familiar to the public, along with the widespread use of cryptocurrency. The blockchain protocol requires that full nodes need to save the...     

灵活结构网页的正文提取

在Web数据挖掘中,由于网页大多都含有指向其他页面的超链接等噪音信息,为了减少噪音信息对Web数据挖掘效果的影响,有必要对网页进行净化处理,提取其中的正文,同时,现实中很多网页的代码结构不是特别规范,对此,提出一种对灵活结构网页适用的正文抽取算法。将网页用HTML标签分割成节点形式,找出其中含有正文内容的一个节点,以此节点为基础向前和向后进行余下正文内容的抽取。实验结果表明,本算法的适用性强、正确率较高。     

基于物联网的智能家居远程无线监控系统设计

基于ARM920T内核的S3C2440、嵌入式Web服务、QT技术、无线组网技术,设计了智能家居监控系统,系统由智能家居主机、ZigBee/Wi-Fi无线传感控制网络、智能家居客户端软件组成。系统完成了智能家居主机的硬件和软件设计：在ARM平台上移植嵌入式Linux操作系统;使用gSOAP工具建立嵌入式Web服务;配置USB转串口驱动、无线Wi-Fi网卡驱动;组建ZigBee无线传感控制网络,完成对协调器节点以及终端节点的程序设计,制定了数据通信协议;使用QT技术设计客户端程序。最后,重点测试ZigBee网络的建立、终端节点入网和传感器节点数据传输。测试结果表明网络中的传感器节点能够将检测的信息传送到协调器中,智能家居客户端软件能够通过智能家居主机完成对家居环境的远程监测和控制。     

网络爬行器的分布式设计

目前单机版的网络爬行器已无法在一个有效的时间范围内完成一次搜集整个Web的任务。该文采用分布式网络爬行器加以解决。在分布式设计中,主要考虑节点内部多个线程的并行和节点之间的分布式并行,包括分布式网络爬行器的策略选择和动态可配置性2个方面。实验结果显示站点散列法基本达到了分布式设计的目标,在追求负载平衡的同时将系统的通信和管理开销降到最低。     

基于Web Service的区域式P2P系统模型研究

P2P(Peer-to-Peer)系统的模型目前来说基本上分为纯分散式结构和服务器辅助式结构，这两种结构各有其优缺点。文中基于简单的模拟现实社会结构的思想和P2P系统需求的特殊性，结合Web Service的技术优势，提出了一种基于HTTP和XML的区域式P2P系统模型并详细描述了系统运作的细节。该模型将资源搜索和文件传输统一在Web Service上实现，并充分利用了分散于各节点上的计算能力，克服了纯分散式结构管理困难和难于发现其它节点的缺点以及服务器辅助式结构容易产生服务器瓶颈和服务器失效时系统瘫痪的缺点。     

基于XPath的XML数据提取的C#实现

简要介绍了XPath技术,分析了使用XPath路径表示式选择XML文档节点的方式,分析了.NET对XML文档的访问支持,探讨了在.NET环境下,基于XPath技术使用C#语言实现XML文档数据提取的解决方案,为Web信息抽取软件的开发打下基础。     

一种网页分类中基于图的半指导学习算法*

提出一种基于图的半指导学习算法用于网页分类.采用k近邻算法构建一个带权图,图中节点为已标志或未标志的网页,连接边的权重表示类的传播概率,将网页分类问题形式化为图中类的概率传播.为有效利用图中未标志节点辅助分类,结合网页的内容信息和链接信息计算网页间的链接权重,通过已标志节点,类别信息以一定概率从已标志节点推向未标志节点.实验表明,本文提出的算法能有效改进网页分类结果.     

Content Adaptation Architectures Based on Squid Proxy Server

The overwhelming popularity of Internet and the technology advancements have determined the diffusion of many different Web-enabled devices. In such an heterogeneous client environment, efficient content adaptation and delivery services are becoming a major requirement for the new Internet service infrastructure. In this paper we describe intermediary-based architectures that provide adaptation and delivery of Web content to different user terminals. We present the design of a Squid-based prototype that carries out the adaptation of Web images and combines such a functionality with the caching of multiple versions of the same resource. We also investigate how to provide some form of cooperation among the nodes of the intermediary infrastructure, with the goal to evaluate to what extent the cooperation in discovering, adapting, and delivering Web resources can improve the user-perceived performance.