| 基于内容相似度的网页正文提取 |
| |
| 引用本文： | 王利,刘宗田,王燕华,廖涛.基于内容相似度的网页正文提取[J].计算机工程,2010,36(6):102-104. |
| |
| 作者姓名： | 王利 刘宗田 王燕华 廖涛 |
| |
| 作者单位： | 1. 上海大学计算机科学与工程学院,上海,200072
2. 上海海洋大学信息学院,上海,201306 |
| |
| 基金项目： | 国家自然科学基金资助项目(60575035,60975033);;上海市重点学科建设基金资助项目(J50103);;上海大学研究生创新基金资助项目(SHUCX092162) |
| |
| 摘 要： | 提出一种将复杂的网页脚本进行简化并映射成一棵易于操作的树型结构的方法。该方法不依赖于DOM树，无须用HTMLparser包进行解析，而是利用文本相似度计算方法，通过计算树节点中文本内容与各级标题的相似度判定小块文本信息的有用性，由此进行网页清洗与正文抽取，获得网页文本信息，实验结果表明，该方法对正文抽取具有较高的通用性与准确率。
|
| 关 键 词： | 网页正文抽取 网页映射 网页清洗 文本相似度 |
| 修稿时间： | |
Web Page Main Text Extraction Based on Content Similarity |
| |
| WANG Li,LIU Zong-tian,WANG Yan-hua,LIAO Tao.Web Page Main Text Extraction Based on Content Similarity[J].Computer Engineering,2010,36(6):102-104. |
| |
| Authors: | WANG Li LIU Zong-tian WANG Yan-hua LIAO Tao |
| |
| Affiliation: | (1. School of Computer Science and Engineering, Shanghai University, Shanghai 200072; 2. School of Information Technology, Shanghai Fisheries University, Shanghai 201306) |
| |
| Abstract: | |
| |
| Keywords: | Web page main text extraction Web page mapping Web page cleaning text similarity |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《计算机工程》浏览原始摘要信息 |
|
点击此处可从《计算机工程》下载全文 |
|
