| 基于主题的智能Web信息采集系统的研究与实现* |
| |
| 引用本文： | 李卫,刘建毅,何华灿,王枞.基于主题的智能Web信息采集系统的研究与实现*[J].计算机应用研究,2006,23(2):163-166. |
| |
| 作者姓名： | 李卫 刘建毅 何华灿 王枞 |
| |
| 作者单位： | 北京邮电大学,智能科学技术研究中心,北京,100876 |
| |
| 基金项目： | 国家“863”面向奥运的多语言智能信息服务系统课题资助项目(2002AA117010-07) |
| |
| 摘 要： | 研究并实现了一个基于主题的智能信息采集系统IFWC，该系统以全信息理论为支撑，吸收传统向量空间模型的思想，采用基于概念的向量空间模型，从词的语义层次对文本进行主题相关性分析；使用扩展元数据的语义相关性判定算法，对页面内的URL进行主题相关性预测。实验证明，该系统采集速度快，采集下来的页面精度高。
|
| 关 键 词： | 基于主题的信息采集 全信息 扩展元数据 概念向量空间模型 |
| 文章编号： | 1001-3695(2006)02-0163-04 |
| 收稿时间： | 2005-03-11 |
| 修稿时间： | 2005-05-25 |
Research and Realization of Intelligent Focused Web Crawler |
| |
| LI Wei,LIU Jian yi,HE Hua can,WANG Cong.Research and Realization of Intelligent Focused Web Crawler[J].Application Research of Computers,2006,23(2):163-166. |
| |
| Authors: | LI Wei LIU Jian yi HE Hua can WANG Cong |
| |
| Abstract: | An Intelligent Focused Web Crawler(IFWC) is investigated detailedly.Supported by comprehensive information theory,Concept-based VSM is applied to filter the crawled web pages,while extended metadata semantic relevance algorithm for predicting the relativity between URL and topic.The result of experiments has shown that IFWC has more accurate and wider coverage for web pages relevant to a predefined set of topics. |
| |
| Keywords: | Focused Crawler Comprehensive Information Theory Extended Metadata Concept-based VSM |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
