基于TDT技术的Web主题搜索分析与设计

提出了一种结合最新TDT技术、基于增强学习的优先Web环境主题搜索策略,并以此设计主题搜索器系统.该系统通过引入基于领域知识的TDT文本分类技术,大大改进了基于关键字的Naive Bayes模型主题相似性判别的准确性;通过引入基于增强学习的页面评估函数特征化主题Web环境,有效地提高了稀有信息的搜索能力.试验结果表明,该系统具有较高的实用性.     

WEB主题检索的性能优化设计

Web主题检索是信息检索领域一个将采集技术与过滤方法结合的新兴方向,也是信息处理领域的研究热点。针对现有主题检索系统在Web页面文本的主题相关性判断和Spider搜索策略方面存在的问题,引入两个性能优化方案,即利用信息抽取技术,提出了一种基于模式集的主题相关性判断方法来提高主题判断准确度;针对pagerank在主题检索中存在的不足,引入基于增强学习的页面评估算法,提出了Web环境优先的搜索策略。最后根据实验结果评估两个算法的性能。     

异步Web服务在学分制收费中的应用

用Web服务技术实现教务财务数据的实时共享以满足学分制收费的数据需求,提出了一种基于Web服务的数据共享框架,利用该框架有效地满足了异构环境对数据共享的跨平台、语言无关等要求,再将异步请求技术引入基于web服务的数据共享系统中,提高了系统的响应并增强了用户体验.     

基于NuSOAP及Google Search API搜索技术的研究与实现

Web Services已经成为目前解决分布式系统的主流技术。Google搜索引擎基于Web Services技术为开发者提供了Google Search API,使得开发人员可以在应用程序当中通过与Google Web服务的访问,来获取搜索服务。本文阐述如何在PHP集成开发环境下,利用NuSOAP组件访问Google Search API,构建PHP环境下搜索系统的方法和技术。     

基于P2P的个性化Web搜索系统的设计与实现

针对中心化的Web信息搜索系统在覆盖率、及时性、个性化、可扩展性等方面存在的问题,提出了一种基于Peer-to-Peer(P2P)的可扩展、个性化的Web搜索系统PeerBridge。PeerBridge基于分布式哈希表组织大量的网络结点形成有组织的P2P覆盖网络,每个对等体作为一个主题搜索引擎,根据用户兴趣从Web中搜索特定主题相关的信息,而具有相似主题的对等体被聚集在一起形成基于主题的对等体簇,协作进行Web搜索与信息共享。并采用主题驱动的Web爬行、基于语义概念的文档分类、个性化的链接分析和基于主题划分的P2P搜索等机制来改善PeerBridge的性能。     

基于决策树方法的特定主题Web搜索策略

基于数据挖掘中决策树方法提出了一种新的Web搜索策略。在该策略中,通过对预先采集的Web页面进行学习得到一棵决策树,然后对其进行剪枝,得到简化布尔表达式形式的主题内在规律性信息,在其基础上进行查询修改,把修改后的查询转发到通用搜索引擎上,最终得到查询结果。实验结果表明,提出的查询策略对于特定主题的Web搜索,查询结果的质量有明显的改善和提升。     

基于语义服务的虚拟企业伙伴双向搜索方法

为提高伙伴搜索系统的开放性和查准率,通过引入Web服务和本体技术,提出了一种基于语义服务的伙伴搜索模型。该模型使用OWL-S描述盟主企业的任务型服务和成员企业的资源型服务,介绍了语义相似度的计算方法以及一种基于语义相似度的任务型服务与资源型服务的匹配算法。针对伙伴搜索的实时动态性及盟主企业和成员企业双方利益最大化需求,介绍了双向搜索的搜索规则,提出了基于以上模型的虚拟企业伙伴的双向搜索机制。最后,对该方法进行了分析评价。     

基于Web链接分析的HITS算法研究与改进

垂直搜索引擎的主题搜索策略有基于内容评价的搜索策略和基于Web链接分析的搜索策略,其中HITS算法是一种经典的基于Web链接分析的搜索策略,其主要的缺点是容易发生主题漂移。为了最大程度地避免主题漂移,提出了一种结合网页文本分析和扩散速率改进的F-HITS算法。实验结果表明,这些改进不仅节省了系统的开销,并且提高了页面搜索的准确率。     

一种基于语义的服务搜索与匹配方法

Web服务是构建基于面向服务架构(SOA)的应用系统所需的主流分布式计算技术.作者此前提出了一种语义增强服务库,支持基于语义的服务注册、搜索和组装.讨论该服务库中所使用的一种基于语义的服务搜索与匹配方法.该算法不仅考虑了功能性属性而且引入了非功能性属性来进行服务匹配.算法利用所建立的本体对服务进行语义标注,并通过对OWL-S进行扩展,增加了非功能性属性支持.论文给出了服务的定义,详细介绍了服务搜索与匹配的步骤,并以一个服务的搜索为例对算法的使用进行了说明.最后把本文提出的算法与基于关键字匹配的服务搜索算法进行了比较分析,结果表明本文所提出的算法搜索更加准确.论文最后简介了基于该算法的语义库的基本架构及功能.     

一种需求驱动的自主Web服务聚集方法

引入具有主动搜索需求能力的自主Web服务概念,提出基于环境本体的意图-行为-实现机制,用于描述服务请求和自主Web服务能力,构型了一种需求驱动的自主Web服务聚集的模型.给出了基于意图-行为-实现机制的需求能力匹配算法和自主Web服务聚集算法.最后,通过对应用案例的研究来展示该方法的可行性.     

Learning to crawl deep web

Deep web or hidden web refers to the hidden part of the Web (usually residing in structured databases) that remains unavailable for standard Web crawlers. Obtaining content of the deep web is challenging and has been acknowledged as a significant gap in the coverage of search engines. The paper proposes a novel deep web crawling framework based on reinforcement learning, in which the crawler is regarded as an agent and deep web database as the environment. The agent perceives its current state and selects an action (query) to submit to the environment (the deep web database) according to Q-value. While the existing methods rely on an assumption that all deep web databases possess full-text search interfaces and solely utilize the statistics (TF or DF) of acquired data records to generate the next query, the reinforcement learning framework not only enables crawlers to learn a promising crawling strategy from its own experience, but also allows for utilizing diverse features of query keywords. Experimental results show that the method outperforms the state of art methods in terms of crawling capability and relaxes the assumption of full-text search implied by existing methods.     

动态环境中基于增强式学习的路径规划方法

本文结合机器人路径规划问题介绍了增强式学习方法 ,实现了动态环境中基于增强式学习的自适应路径规划 .增强式学习通过采用随机性的控制策略 ,实现策略的优化搜索和在线学习 .并采用具有模式增强输入的BP网络进行决策参数估计 ,加快学习的收敛 .仿真试验证明该方法能有效实现动态环境中机器人的避碰和导航     

利用优先级双重深度强化学习的自适应Web服务组合方法

针对大规模Web服务组合在动态环境下难以实现高可靠性、高动态适应能力的问题,提出一种结合优先级双重强化学习和POMDP的自适应Web服务组合方法;首先,采用POMDP对大规模Web服务组合优化策略进行建模,简化了组合优化分析的步骤,提高了大规模Web组合服务的效率;然后,在POMDP基础上,利用双重深度强化学习方法对优化策略进行分层重构,并求取最优解,提高了组合服务对动态服务环境的适应能力;实验结果表明,与现有优秀方法相比,所提方法在可靠性、效率和动态环境适应能力方面均有显著提升。     

基于反馈学习自适应的中文话题追踪

在话题追踪研究领域,由于话题是动态发展的,在追踪过程中会产生话题漂移的问题。针对该问题以及现有自适应方法的不足,本文提出基于反馈学习的自适应方法。该方法采用增量学习的思想,对话题追踪任务中的自适应学习机制提出了新的算法。该算法能够解决话题漂移现象,并能够弥补现有自适应方法的不足。该算法中还考虑了话题追踪任务的时序性,将时间信息引入到了算法中。本文实验采用TDT4语料中的中文部分作为测试语料,使用TDT2004的评测方法对基于反馈学习的自适应的中文话题追踪系统进行评价,实验数据表明基于反馈学习的自适应方法能够提高话题追踪的性能。     

一种有效的专题信息集中和检索策略

Internet上专题资源网页汇聚和检索是垂直搜索引擎中的核心问题,HITS算法是早期解决这个问题的经典算法,很多文献对它进行了改进,但无论索引的主题相关率还是引擎的查准率都有提高的余地。提出一种基于锚文本和标题信息过滤并结合网页内容相关度判断的HITS专题检索策略,利用专题训练集判断主题相关度,很好地解决了只依靠查询字符串判断的弊端。实验表明,此策略能很好地提高专题信息汇聚精确度和检索的准确率,并且减少了非相关URL的下载量。     

动态环境中的分层强化学习

现有的强化学习方法都不能很好地处理动态环境中的学习问题,当环境变化时需要重新学习最优策略,若环境变化的时间间隔小于策略收敛时间,学习算法则不能收敛.本文在Option分层强化学习方法的基础上提出一种适应动态环境的分层强化学习方法,该方法利用学习的分层特性,仅关注分层任务子目标状态及当前Option内部环境状态的变化,将策略更新过程限制在规模较小的局部空间或维数较低的高层空间上,从而加快学习速度.以二维动态栅格空间内两点间最短路径规划为背景进行了仿真实验,实验结果表明,该方法策略学习速度明显高于以往的方法,且学习算法收敛性对环境变化频率的依赖性有所降低.     

RL_Spider:一种自主垂直搜索引擎网络爬虫

在分析相关spider技术的基础上,提出了将强化学习技术应用到垂直搜索引擎的可控网络爬虫方法。该方法通过强化学习技术得到一些控制经验信息,根据这些信息来预测较远的回报,按照某一主题进行搜索,以使累积返回的回报值最大。将得到的网页存储、索引,用户通过搜索引擎的搜索接口,就可以得到最佳的搜索结果。对多个网站进行主题爬虫搜索,实验结果表明,该方法对于网络的查全率和查准率都具有较大的提高。