| 基于MongoDB的Web信息采集系统应用研究 |
| |
| 引用本文： | 孙美卫. 基于MongoDB的Web信息采集系统应用研究[J]. 长沙通信职业技术学院学报, 2017, 16(2). DOI: 10.3969/j.issn.2095-7661.2017.02.010 |
| |
| 作者姓名： | 孙美卫 |
| |
| 作者单位： | 泉州经贸职业技术学院,福建泉州,362000 |
| |
| 摘 要： | 在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题.文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试.测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息.
|
| 关 键 词： | MongoDB Web信息采集系统 日志分析 |
Application research of Web information collection system based on MongoDB |
| |
| SUN Mei-wei. Application research of Web information collection system based on MongoDB[J]. Journal of Changsha Telecommunications and Technology Vocational, 2017, 16(2). DOI: 10.3969/j.issn.2095-7661.2017.02.010 |
| |
| Authors: | SUN Mei-wei |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
