基于Heritrix的面向特定主题的聚焦爬虫研究

通过分析Heritirx开源爬虫的组件结构,针对Heritrix开源爬虫项目存在的问题,项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类,并引入BKDRHash算法进行URL散列,实现了面向特定主题的网页信息搜索,达到了提高搜索数据的效率以及多线程抓取网页的目的。最后对某一特定主题的网页进行分析,并进行网页内容抓取,采用HTMLParser工具将抓取的网页数据源转换成特定的格式,可为面向主题的搜索信息系统以及数据挖掘提供数据源,为下一步研究工作做好准备。     

100 t伸缩臂履带式起重机臂架结构设计和优化分析

为确保100 t伸缩臂履带式起重机臂架结构设计的合理性,采用壳单元建立该起重机的有限元模型,用ANSYS计算臂架结构应力和应变,得到臂架的应力和应变分布,验证臂架的强度和稳定性.在起重机性能满足要求的情况下,以减轻结构自重为优化目标,以截面尺寸为优化设计变量,用ANSYS对臂架进行优化设计.优化设计后的臂架满足设计规范,臂架截面尺寸缩小、自重降低,整机性能得到提高.     

即时定向新闻采集技术研究

互联网的迅速发展带动了信息量的爆炸性增加。如何更快地采集所需信息一直是国内外研究和开发的热点。近年来,不断增长的对特定信息(例如特定领域的新闻)的需求要求有针对性地从指定的网站即时采集相关信息。这些新闻一般具有不可预见性、更新频率较快、时效性强等特点。这要求我们必须能针对这些特点实现即时定向的采集。本文提出了一种有效抓取网页并进行分析的方法,实践表明取得了满意的效果。     

基于Server酱的电子客票生成信息推送设计与实现

文章通过Python爬虫技术对中国铁路12306网站进行信息抓取并以数据流分析的方法生成有效的电子客票,为出行者提供最佳行程方案。12306网站开启自动提醒这一功能,通过多渠道将订阅的信息推送至客户,方便了出行迁徙的人,但缺点是刷新频率固化,碎片余票严重。一种基于Python爬虫技术的设计系统提出了很好的解决方案。该系统架构主要包括：调用12306官网的查询接口;采集并解析往返车次、站点码表等信息;以拼接技术手段处理数据流,突破固有频率实时查询余票信息;借助于第三方的信息推送工具Server酱发出实时信息。实验结果表明系统的优化算法能最大限度的将碎片余票集成应用,方案行之有效。     

An approach for selecting seed URLs of focused crawler based on user-interest ontology

Seed URLs selection for focused Web crawler intends to guide related and valuable information that meets a user's personal information requirement and provide more effective information retrieval. In this paper, we propose a seed URLs selection approach based on user-interest ontology. In order to enrich semantic query, we first intend to apply Formal Concept Analysis to construct user-interest concept lattice with user log profile. By using concept lattice merger, we construct the user-interest ontology which can describe the implicit concepts and relationships between them more appropriately for semantic representation and query match. On the other hand, we make full use of the user-interest ontology for extracting the user interest topic area and expanding user queries to receive the most related pages as seed URLs, which is an entrance of the focused crawler. In particular, we focus on how to refine the user topic area using the bipartite directed graph. The experiment proves that the user-interest ontology can be achieved effectively by merging concept lattices and that our proposed approach can select high quality seed URLs collection and improve the average precision of focused Web crawler.     

面向增量同生主题的维吾尔文爬虫的研究

针对传统的主题爬虫对网页信息缺乏在知识层面上的处理和理解的问题进行了研究,提出了一种面向增量同生主题的维吾尔文爬虫,通过建立一个增量主题词库优化传统的主题模型,来描述维吾尔文关键词的应用语境及场景,提高了计算网页相关度的准确率。用改进的IC主题敏感算法来预测子页面优先级,过滤无关的网页地址。依据上述方法编写爬虫系统,用构建的维吾尔文语料库进行实验,表明了基于此模型的爬虫具有更好的稳定性和准确度。     

组织机构代码信息公众查询平台防治网络爬虫问题

随着互联网技术的逐渐成熟,公共部门通过公共网络服务平台对外提供服务已成为趋势,但这也造成源自网络的安全威胁的增加。本文对组织机构代码信息公众查询平台防治网络爬虫问题进行了分析,并针对该问题提出一些防护措施。     

网络爬行虫智能化研究分析

Web爬行虫是当今搜索引擎的主要组成部分,也是信息检索领域研究的热点问题。本文综述了具有一定智能性的网络爬行虫的研究历史与现状,主要包括两个方面:传统的人工智能方法如神经网络、遗传算法、蚁群算法等在网络爬行虫的应用,以及借助这些方法发展起来的主题爬行虫;多网络爬行虫系统中爬行虫的协调的Agent技术。在此基础上,提出了一个语义概念背景图的网络爬行的基本思路。     

轮轨式扒渣机防滑夹轨装置研究

轮轨式扒渣机在驻机作业的过程中,工作装置受到渣石阻力的影响,使整机产生水平方向的作用力,导致设备产生滑动,影响工作稳定性及安全性.针对此类情况,通过对机器作业过程中整体受力情况进行分析,提出了通过安装一套水平缸式夹轨装置提高机器与轨道间摩擦阻力的方案来解决此类问题.通过对夹轨装置的运动轨迹分析以及整机的虚拟样机仿真分析,验证了安装该类型夹轨装置防滑方案的可行性.     

分布式开放存取期刊爬虫的设计与实现

开放存取（open access,OA）期刊属于网络深层资源且分散在互联网中,传统的搜索引擎不能对其建立索引,不能满足用户获取OA期刊资源的需求,从而造成了开放资源的浪费。针对如何集中采集万维网上分散的开放存取期刊资源的问题,提出了一个面向OA期刊的分布式主题爬虫架构。该架构采用主从分布式设计,提出了基于用户预定义规则的OA期刊页面学术信息提取方法,由一个主控中心节点控制多个可动态增减的爬行节点,采用基于Chrome浏览器的插件机制来实现分布式爬行节点的可扩展性和部署的灵活性。