| 网络爬虫在Web信息搜索与数据挖掘中应用 |
| |
| 引用本文： | 杨定中,赵刚,王泰.网络爬虫在Web信息搜索与数据挖掘中应用[J].计算机工程与设计,2009,30(24). |
| |
| 作者姓名： | 杨定中 赵刚 王泰 |
| |
| 作者单位： | 1. 华中师范大学,教育部教育信息技术工程研究中心,湖北,武汉,430079;华中师范大学信息技术系,湖北,武汉,430079
2. 华中师范大学,教育部教育信息技术工程研究中心,湖北,武汉,430079 |
| |
| 基金项目： | "十一五"国家科技支撑计划重点基金项目 |
| |
| 摘 要： | 分析了万维网不良网络信息对网络文化安全带来的挑战,提出了Web信息搜索与数据挖掘体系结构,并介绍了该体系结构中的关键技术和运行原理.分析了普通爬虫所实现的功能和不足之后,重点论述了该爬虫的工作原理、实现方式和性能分析以及该爬虫不同于其它爬虫的功能和在Web信息搜索与数据挖掘体系中应用.通过试验测试表明,该爬虫能够很好地获取万维网上的各种信息资源,有助于网络文化内容监测与管理.
|
| 关 键 词： | Web搜索 Web挖掘 网络爬虫 体系结构 应用 |
Application of WebCrawler in information search and data mining |
| |
| YANG Ding-zhong,ZHAO Gang,WANG Tai.Application of WebCrawler in information search and data mining[J].Computer Engineering and Design,2009,30(24). |
| |
| Authors: | YANG Ding-zhong ZHAO Gang WANG Tai |
| |
| Abstract: | The challenges are analyzed, which that the adverse information on world wide web has brought to network security and web culture. The key technical and operational principles of the architecture in web information search and data-mining are introduced. After the analysis of the functions and disabilities of ordinary reptiles, the principle, implementation, functions, and performance of WebCrawler are elaborated. In addition, the application of WebCrawler in web information search and data-mining system are discussed in detail. Passed tests show that the WebCrawler can access a good range of information on the world wide web resources and contribute to network monitoring and management of cultural content. |
| |
| Keywords: | web search web-mining WebCrawler architecture application |
| 本文献已被 万方数据 等数据库收录！ |
|
