林业主题爬虫的算法研究与设计

针对目前通用搜索引擎对林业主题信息覆盖率和查准率较低的不足,提出了一种基于Shark-Search算法的林业主题爬虫设计方案。详细讨论了该主题爬虫的爬行策略、算法描述及实现,并通过实践构建了林业主题搜索引擎"搜林"。实验结果表明,相对于通用搜索引擎,"搜林"减少了搜索结果的信息量,提高了林业主题信息搜索的准确率。     

eMule 网络最佳节点标识

eMule网络是近年来越来越流行的文件共享对等网络.一直以来,文件源的准确定位是文件共享对等网络的一个关键步骤;此外,不健康内容的肆意传播也使网络监管成为必需.这些都导致准确确定eMule网络中节点的需求,同时促使eMule网络最佳节点标识问题的提出.然而,eMule网络中广泛使用的节点标识Kad ID因可被eMule用户任意更改,存在Kad ID别名,即单个节点对应多个Kad ID的情况,以及Kad ID重复,即多个节点对应同一个Kad ID的情况,从而使用传统Kad ID很难准确确定节点.为解决这一问题,首先定义候选节点标识的稳定因子用以评价候选标识;然后设计并实现一个证明可收敛且时空复杂度不高的eMule网络节点信息采集器——Rainbow,以获得实际eMule网络中节点的多个候选标识之间的对应关系信息.实验结果表明,{userID}的稳定因子最大,是节点标识集合2{Kad ID,userID,IP}?{Φ}中的最佳节点标识;之后,为了量化Kad ID别名问题的程度,对{userID}与{Kad ID}的关系进行探讨;最后对最佳节点标识的应用有效性进行分析,说明采用{userID}作为节点标识能够更准确地确定节点.总之,所确定的最佳节点标识为eMule网络的研究奠定了基础,Rainbow也为真实eMule网络测量提供了良好的工具.     

MLZ36/8型龙门式自行锚杆钻机的研制

采用MLZ36/8型龙门式自行锚杆钻机,在全掘高、大断面巷道中,跨在掘进机上可前进、后退,对巷道进行多台锚杆钻机锚护;在巷道顶板好的情况下,边掘进、边锚护,实现同步作业,提高了掘进速度。     

多Agent主题爬虫协作策略的研究与分析

在多个Web主题爬虫并行爬行中,如何避免重复访问网页并高效地获取与主题相关网页,成为搜索引擎主题爬行的热点研究内容之一。为完成系统爬行任务充分发挥每个爬虫自身能力,文章立足于每个爬虫相对独立爬行、共同协作、彼此竞争的思想,将爬虫的历史爬行网页作为背景知识,分析这些网页文本内容,提取网页中“概念”和概念间的语义关系,探讨不同爬虫背景知识之间的语义相似性,提出基于分层概念背景图的爬虫之间理解方法、协作和竞争策略。该策略包括4个方面的内容：主题爬虫背景知识的分层概念背景图的表示模型、基于分层概念背景图的爬虫语义理解方法、在语义理解模型下同组多个网络爬虫之间协作与竞争机制及实现、在语义理解模型下异组多个爬虫之间协作与竞争机制及实现。     

专题型网页搜集系统的设计与实现

近年来人们提出了很多新的搜集思想,他们都使用了一个共同的技术——集中式搜集。集中式搜集通过分析搜索的区域,来发现与主题最相关的链接,防止访问网上不相关的区域,这可以大量地节省硬件和网络资源,使网页得到尽快的更新。为了达到这个搜索目标,本文提出了两个算法：一个是基于多层分类的网页过滤算法,试验结果表明,这种算法有较高的准确率,而且分类速度明显高于一般的分类算法;另一个是基于Web结构的URL排序算法,这个算法充分地利用了Web的结构特征和网页的分布特征。     

基于网页分块的个性化信息采集的研究与设计

个性化Web信息采集是信息检索领域内一个将采集技术与过滤方法结合的新兴方向．也是信息处理技术中的一个研究热点。文章分析了个性化Web信息采集的基本问题，提出了难点以及相关的解决方案，并在此基础上设计了基于网页分块的个性化Web信息采集系统。     

基于星形用户社区模型的Twitter广告投放

目前,Twitter的广告投放市场巨大,但针对个性化的广告投放却很少,提出一种基于星形社区模型的广告投放方式.采用网页爬虫获取Twitter用户社交信息,利用高斯模型的多因素权系数算法处理用户社交信息,初步筛选出对产品感兴趣和有影响力的用户,并对其建立星形结构模型,二次筛选,确定出度核心节点并识别出目标星形子图社区,将该社区的出度核心节点作为广告投放载体进行个性化的投放.实验结果表明该广告投放方式具有较高的社区用户满意度.     

分布式Web信息采集系统的设计与实现

Web信息的急剧增长,给信息的有效使用带来了巨大挑战.作为搜索引擎的重要组成部分,Web信息采集扮演着越来越重要的角色.文中从并行性、负载均衡、体系结构以及可扩展性这4个方面详细讨论了分布式Web信息采集系统的设计与实现.经验证,该分布式Web信息采集系统能够实现负载均衡,并具有良好的可扩展性.     

网络爬虫和案例推理技术在煤矿智能应急预案系统中的研究及应用

目前大多数应急预案系统中事故案例库的案例通常通过人工从网站和书籍中收集而来,不仅工作量大,效率低下,而且获取之后通常是一个案例文本,没有实现自动结构化存储,无法高效的为预案编制提供参考,更不能对救援起到辅助决策支持的作用.针对存在的问题,本系统通过采用网络爬虫技术获取到大量事故案例并通过人工智能中分词技术处理之后进行自...