基于逆向技术的深层网络爬虫与数据分析

大数据时代,各行各业对数据采集的需求日益增多,其中使用JavaScript加密技术进行数据采集的需求广泛,但也存在不少瓶颈。文章采用JavaScript逆向爬虫技术还原参数加密过程,动态构造出某购物网站商品评价的统一资源定位系统(Uniform Resource Locator, URL),实现了指定分类下多商品评价数据的动态采集,为同类加密数据的采集提供了新的思路。使用SnowNLP[基于Python的中文自然语言处理(NLP)库]对采集到的乐高评论数据进行情感分析发现,约66%的购买者对商品给出了积极评论;情感分布呈极性,高段集中在0.8～1.0,低段集中在0.0～0.2;词云分析显示出购买者群体比较注重商品的快递包装外观。以上结论可为在线商家提升经营管理水平提供参考。     

基于负相关学习的支持向量机集成算法

提出一种基于负相关学习理论的支持向量机集成方法，该方法能有效解除各支持向量机之问的相关性，使得集成个体有较大的差异。并采用了演化策略对支持向量机的核函数和相关参数白适应地进行选择。仿真实验表明．该方法不仅能有效地解决支持向量机模型选择的难题，而且能以很小的代价显著提高学习系统的泛化能力。