主流开源爬虫框架比较与分析

网络爬虫是搜索引擎与信息检索的基础工具,在信息采集、信息过滤等场景中有着广泛的应用。本文首先介绍了URL链接库、文档内容模块、文档解析模块等爬虫基础概念,然后对比分析了Nutch、Heritrix、Larbin、Scrapy等主流开源爬虫框架。     

物联网环境下基于情境的语义Web服务选择

当前Web服务海量增加，物联网应用技术快速发展、不断普及，而现有的Web服务选择算法低效、用户匹配度低。针对该问题提出一种物联网环境下基于情境的语义Web服务选择方法。该方法应用QoS参数的无量纲化与语义Web服务动态选择方式，将物联网环境下服务与语义Web服务相结合，并根据用户需求针对QoS选择最优的服务集。实验表明，该方法能有效地提高用户服务动态选择的成功率。