使用CGI编写网络机器人程序

一．引言 当大家在因特网上漫游时，经常会发现某一个网站上包含了自己非常需要的大量信息，为了尽快地保存这些信息，需要用到机器人程序，那么，什么是机器人程序呢?机器人程序又称为蜘蛛、蠕虫或Web爬虫等等。它实际上是一个自动化程序，用于自动连接到Web页面，然后循着Web页面中的超级链接继续前进，从而在Web页面中漫游。同时，它将收集有用的信息，并保存下来。机器人程序有很多现成的客户端软件，你可以到有关的站点去下载。本文中，重点介绍如何用CGI编写服务器端的机器人程序。