| 搜索引擎中网络蜘蛛的设计与实现 |
| |
| 引用本文： | 刘刚,于力超.搜索引擎中网络蜘蛛的设计与实现[J].电脑与信息技术,2007,15(4):36-39,45. |
| |
| 作者姓名： | 刘刚 于力超 |
| |
| 作者单位： | 湖南师范大学数学与计算机科学学院,湖南,长沙,410081 |
| |
| 摘 要： | 文章从搜索引擎的应用出发,探讨了网络蜘蛛在搜索引擎中的作用和地住,提出了网络蜘蛛的功能和设计要求.在对网络蜘蛛系统结构和工作原理所作分析的基础上,研究了线程调度、页面爬取、解析等策略和算法,并使用Java实现了一个网络蜘蛛的程序,对其运行结果做了分析.
|
| 关 键 词： | 网络蜘蛛 线程池 哈希表 广度优先 |
| 文章编号： | 1005-1228（2007）04-0036-04 |
| 修稿时间： | 2007-05-31 |
Design and Implementation of Web Spider in Search Engine |
| |
| LIU Gang,YU Li-chao.Design and Implementation of Web Spider in Search Engine[J].Computer and Information Technology,2007,15(4):36-39,45. |
| |
| Authors: | LIU Gang YU Li-chao |
| |
| Affiliation: | Mathematics and Computer Science College,Hunan Normal University,Changsha,Hunan 410081 ,China |
| |
| Abstract: | The paper,discussing from the application of the search engine,searches the importance and function of Web spider in the search engine,and puts forward its demand of function and design.On the base of analyzing Web Spider's system structure and working elements,this paper also researches the method and strategy of multithreading scheduler,Web page crawling and HTML parsing.And then,a program of Web page crawling based on Java is applied and analyzed. |
| |
| Keywords: | Web spider thread pool Hash table breadth first |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
