| 基于网页空间进化算法的暴雨灾害主题爬虫策略 |
| |
| 引用本文： | 刘景发,李新,蒋盛益. 基于网页空间进化算法的暴雨灾害主题爬虫策略[J]. 计算机工程, 2019, 0(2): 184-190 |
| |
| 作者姓名： | 刘景发 李新 蒋盛益 |
| |
| 作者单位： | 1.南京信息工程大学计算机与软件学院;2.广东外语外贸大学信息科学与技术学院 |
| |
| 基金项目： | 国家自然科学基金(61373016);国家社会科学基金重大招标项目(16ZDA047);江苏省自然科学基金(BK20171458;BK20181409) |
| |
| 摘 要： | 针对单目标优化算法求解爬虫问题时难以获得最优加权因子和易于陷入局部最优的缺点,将多目标优化算法引入主题爬虫,提出一种基于多目标优化的网页空间进化算法。通过计算测试链接与种子链接库中链接的最短距离,将其与种子链接库中所有链接间的平均距离进行比较来更新种子链接库。针对多目标优化中Pareto最优解的选取问题,给出一种最近最远候选解法。实验结果表明,与宽度优先搜索等算法相比,该算法具有较高的爬准率和稳定性。
|
| 关 键 词： | 多目标优化 主题爬虫 网页空间进化算法 PARETO最优 暴雨灾害 |
Focused Crawler for Rainstorm Disaster Strategy Based on Web Space Evolutionary Algorithm |
| |
| LIU Jingfa,LI Xin,JIANG Shengyi. Focused Crawler for Rainstorm Disaster Strategy Based on Web Space Evolutionary Algorithm[J]. Computer Engineering, 2019, 0(2): 184-190 |
| |
| Authors: | LIU Jingfa LI Xin JIANG Shengyi |
| |
| Affiliation: | (College of Computer and Software,Nanjing University of Information Science and Technology,Nanjing 210044,China;College of Information Science and Technology,Guangdong University of Foreign Studies,Guangzhou 510006,China) |
| |
| Abstract: | LIU Jingfa;LI Xin;JIANG Shengyi(College of Computer and Software,Nanjing University of Information Science and Technology,Nanjing 210044,China;College of Information Science and Technology,Guangdong University of Foreign Studies,Guangzhou 510006,China) |
| |
| Keywords: | multi-objective optimization focused crawler Web Space Evolutionary(WSE) algorithm Pareto optimal rainstorm disaster |
| 本文献已被 维普 等数据库收录！ |
|
