基于标记树对象抽取技术的Hidden Web获取研究

目前标准的搜索引擎能够检索的仅仅是WorldWideWeb提供的小部分称为可索引的Web信息。大量的HiddenWeb信息(估计容量是可索引Web的500倍)对这些搜索引擎是不可见的。这些信息隐藏在Web页面的搜索表单后面,保存在大型的动态数据库中。该文提出了一套检索HiddenWeb信息的方法,给出了系统的框架结构,并详细讨论了实现的关键技术。系统采用新的基于标记树的对象抽取(Tag-Tree-basedObjectExtraction)方法自动地从Web页面中抽取HiddenWeb信息,然后在此基础上给出了结构化的HiddenWeb信息查询算法。文章最后对实验结果进行了讨论。     

一种新的网络爬虫带宽控制策略

网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题,但是目前对这个方面的研究较少,本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略,通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制,得到了面向站点的爬行控制算法,最后实验证明这种方法能够充分利用所限定的带宽.     

CALA: A Web Analysis Algorithm Combined with Content Correlation Analvsis Method

Web hyperlink structure analysis algorithm plays a significant role in improving the precision of Web information retrieval. Current link algorithms employ iteration function to compute the Web resource weight. The major drawback of this approach is that every Web document has a fixed rank which is independent of Web queries. This paper proposes an improved algorithm that ranks the quality and the relevance of a page according to users' query dynamically. The experiments show that the current link analysis algorithm is improved.     

CALA: A Web analysis algorithm combined with content correlation analysis method

Web hyperlink structure analysis algorithm plays a significant role in improving the precision of Web information retrieval.Current link algorithms employ iteration function to compute the Web resource weight.The major drawback of this approach is that every Web document has a fixed rank which is independent of Web queries.This paper proposes an improved algorithm that ranks the quality and the relevance of a page according to users‘ query dynamically.The experiments show that the current link analysis algorithm is improved.     

用IP隧道实现分布式控制网络的研究

本文介绍了以IP隧道技术实现分布式的控制网络 ,讨论IP隧道的基本原理、数据包封装、地址解析以及地址表的建立与刷新等。     

分布式Web Crawler的研究:结构、算法和策略

本文介绍了一个大型分布式Web Crawler系统--Igloo 1.2版.它采用分布式的系统结构,通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割,并且系统的规模动态可扩展.爬行网页的质量是评价Crawler的一个重要指标,Igloo以PageRank值作为网页质量评价的标准,从而提高了爬行质量.加快爬行速度的关键是如何解除Crawler系统中的性能瓶颈,本文对此也作了详细的讨论,并提出了一种基于“滞后合并”策略的UBL数据库存取方法.实验表明,Igloo在保持高性能的同时能快速爬行到高质量的网页.     

运输优化模型的研究与应用

以化工产品运输为例阐述了运输优化模型,利用线性规划算法对化工产品的运输方案进行优化,直接生成全局最优的最细粒度的运输方案,保证了运输方案的科学性。在运输优化模型应用过程中,采用时间序列对单位运输成本进行预测,解决单位运输成本初次运输无法获取以及单位运输成本更新的问题。在化工销售决策系统引入运输优化模型后,提高了运输决策的科学性,大幅降低了运输方案制定的难度及化工产品的运输成本。     

基于流水线负载平衡模型的并行爬虫研究

针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型（PLB）,将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。