一种面向商业领域的搜索引擎索引结构设计及实现

本文通过分析传统搜索引擎技术不能满足商业领域搜索要求的灵活排序、特殊单字段搜索等需求,提出用新的索引结构和查询算法构建面向商业的搜索引擎系统并予以实现。另外,文章还讨论了其中的索引结构部分,是整个搜索引擎系统的基石。     

基于用户特性的搜索引擎查询结果缓存与预取

针对搜索引擎查询结果缓存与预取问题,与传统的基于查询特性相关的方法不同,提出了一种基于用户特性的缓存与预取方法,用于提高搜索引擎系统性能,尤其针对部分用户效果更显著。通过对国内某著名商业搜索引擎用户的查询贡献分析得出,用户对搜索引擎的贡献具有长尾分布特性,结合该特性设计查询结果预测模型来进行预取和分区缓存。在该搜索引擎两个月的大规模真实用户查询日志上的实验结果表明,与传统的基于查询特性的典型方法相比,该方法可以获得3.03%~4.17%的命中率提升,对于查询贡献最大的0.25%的用户群体,可以获得20.52%~28.2%的命中率提升。     

一种基于查询特性的查询结果缓存与预取方法

针对搜索引擎查询结果缓存与预取问题,该文提出了一种基于查询特性的搜索引擎查询结果缓存与预取方法,该方法包括用来指导预取的查询结果页码预测模型和缓存与预取算法框架,用于提高搜索引擎系统性能。通过对国内某著名中文商业搜索引擎的某段时间的用户查询日志分析得出,用户对不同查询返回的查询结果所浏览的页数具有显著的非均衡性,结合该特性设计查询结果页码预测模型来进行预取和分区缓存。在该搜索引擎两个月的大规模真实用户查询日志上的实验结果表明,与传统的方法相比,该方法可以获得3.5%~8.45%的缓存命中率提升。     

基于本体的企业搜索引擎研究

随着企业的发展以及企业信息化建设的推进,Internet技术在越来越多的企业中得到应用,企业内部信息量以惊人的速度增长.面对企业内部海量信息,传统的搜索引擎无法满足企业用户对企业信息的检索需求,因此企业级的搜索引擎成为迫切需求.对传统的搜索引擎和本体知识进行学习,设计了一个基于本体的企业级搜索引擎系统模型.该设计运用本体知识,对检索关键词进行语义扩展,对检索结果进行语义相似性判断,最终实现搜索结果更加精确.     

元搜索引擎研究

为了提高搜索引擎的可信度,提出一种元搜索引擎的设计方法.根据网络营销的特点,设计了一种元搜索引擎的调度策略,利用Alexa工具的统计数据得出成员搜索引擎的可信度,根据可信度的大小对成员搜索引擎进行调度;在此基础上分析了可信度与用户群的关系,并设定了各成员搜索引擎的权值,根据设定的权值和返回结果的排序信息设计了输出的位置函数,然后根据函数值的大小顺序进行输出.实验结果表明了该设计方法的可行性和有效性.     

如何购买《电子商务世界》杂志

逐渐细分的搜索引擎搜索引擎已经不再是陌生的词汇了,互联网从最初的大而全走向小而精的趋势似乎也感染到了搜索引擎领域。商业搜索     

主题搜索引擎的研究

介绍了将开源的全文检索工具包Lucene嵌入到自己的搜索引擎中来满足开发主题搜索引擎的需求.并基于Lucene中文分词的不足设计了一个比较完善的中文分词器,然后将其引入具体应用中,并且与传统搜索引擎在性能上进行了比较.     

基于模式推荐的个性化搜索引擎研究

随着互联网的飞速发展和目前传统搜索引擎存在的各种弊端,个性化搜索引擎的出现成为了一个必然;同时随着信息过载问题的出现,个性化推荐系统也已成为了不少领域关注的热点。本文将个性化推荐系统与个性化搜索引擎相结合,将推荐模式引入个性化搜索引擎中,研究并设计一个基于模式推荐的个性化搜索引擎。     

杏林搜索:中医药垂直搜索引擎的设计与实现

随着中医药行业的快速发展,中医药相关数字化资源急剧增加,传统的全文搜索引擎因专业性不够强、内容繁多等问题导致用户无法快速方便地找到所需信息.为此,设计并实现了一款面向中医药领域的垂直搜索引擎具有重要的意义和价值.采用Heritrix与Lucene等技术构建中医药垂直搜索引擎——杏林搜索,重点介绍了杏林搜索的设计与实现,包括网络爬虫模块、网页解析模块、索引库和Web端等.实际应用效果表明,杏林搜索可以为用户提供更加快速、专业的中医药资源检索服务.     

基于元搜索引擎的研究

元搜索引擎通过一个统一用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作,是对分布于网络的多种检索工具的全局控制机制.介绍了元搜索引擎分类与实现技术,结合中外元搜索引擎的实例,对使用元搜索引擎存在的问题、选择和设计元搜索引擎及元搜索引擎的发展进行分析、探讨.     

面向网络教育的个性化智能代理搜索引擎

为研究网络教育资源搜索工具的智能化,并为学生提供个性化信息服务的智能代理系统,以当前网络教育资源环境为背景,基于"概念网"和"智能搜索代理"技术,提出面向网络教育的个性化智能代理搜索引擎的设计和实现方法.该引擎可以实现关键词在概念方面的检索,比传统搜索引擎的检索精度和效率更高.     

基于Lucene的Web搜索引擎的研究和实现

互联网的快速发展也使搜索引擎不断的发展着,而搜索引擎逐渐转向商业化运行,使得搜索引擎的技术细节越来越隐蔽。文章研究和分析了搜索引擎工具Lucene的原理、模型和索引器,设计了一个搜索引擎系统。该系统采用了非递归的方式负责Web站点的网页爬取以及爬取过程中URL链接的存储、处理等,并通过多线程技术管理多个抓取线程,实现了并发抓取网页,提高了系统的运行效率。最后采用JSP技术设计了一个简易的新闻搜索引擎客户端,系统可以稳定运行,基本符合搜索引擎原理的探索,具有一定的现实意义。     

Internet上有关元搜索引擎的研究与设计

概述了Internet上一种新形式——元搜索引擎的概念、构成及分类,对元搜索引擎和一般的搜索引擎进行了比较,联系当前国内外元搜索引擎的现状,分析了其意义,提出了基于Agent的元搜索引擎的设计方案,指出了有自己独特的检索方式和处理方式,突破了传统搜索的局限性,并且该形式尚有许多重要问题亟待解决。     

基于用户行为分析的搜索引擎自动性能评价

基于用户行为分析的思路,提出了一种自动进行搜索引擎性能评价的方法.此方法能够基于对用户的查询和点击行为的分析自动生成导航类查询测试集合,并对查询对应的标准答案实现自动标注.基于中文商业搜索引擎日志的实验结果表明,此方法能够与人工标注的评价取得基本一致的评价效果,同时大大减少了评价所需的人力资源,并加快了评价反馈周期.     

多智能体在元搜索引擎中的应用研究

随着网络信息的指数增长和用户对检索质量要求的日益提高,传统搜索引擎的查全率和准确率都开始下降,已无法满足用户信息检索的需求。该文从搜索引擎技术的概念入手,分析了元搜索引擎和多智能体的基本原理,并利用多Agent系统自治智能和分布协同的特性．提出了基于多智能体的元搜索引擎。     

Information Foraging with a Proximity-Based Browsing Tool

This paper describes a user friendly, powerful information foraging tool. Document sets are presented through combinations of traditional ranked lists and 2-dimensional proximity-based visualisations, created by uniting graph-theoretic clustering and force-directed layout techniques, where article positions are determined by inter-document similarities. By using Gestalt principles and information encoding, the simple layout improves search efficiency by leveraging human cognitive strengths that have generally been under-utilised in commercial GUI development. In this paper, design and realisation of the layout technique are described in the context of an article browsing framework. Results of an indicative comparative laboratory study, which evaluates the client application – and in particular Graph-Theoretic Force-Directed (GTFD) visualisations against traditional search engine interfaces – are then presented. This study demonstrates the advantage of graphical presentations when browsing an article collection. Finally, potential improvements identified during the study are discussed, as are future directions for this approach to collection browsing     

基于深度神经网络的搜索引擎点击模型构建

随着富媒体展现形式被越来越多地引入搜索交互界面,搜索引擎的结果页面呈异质化和二维模块展现形式,这对传统的点击预测模型提出了巨大的挑战。针对这一情况,我们对实际搜索引擎结果页面的多模态结果进行了分析,构建了一个结合深度神经网络和点击模型的框架,该框架既包含了神经网络的特性,又利用了点击模型的预测能力。我们希望利用这个框架挖掘出多模态信息与文本信息之间的相关性,使之具有描述异质化结果和二维模块展示形式的能力。实验表明,我们的框架相较于传统的点击模型在点击预测性能上有显著提升,但由于搜索引擎的多模态结果内容复杂,仅利用多模态结果的底层特征,即使使用深度神经网络,从中能够挖据出的语义相关性较弱。     

搜索引擎技术的新发展—多元搜索引擎系统

在分析传统搜索引擎技术所存在不足的基础上，介绍了搜索引擎发展过程中出现的一种新技术-多元搜索引擎，深入分析了多元搜索引擎系统的组成结构。详细地考察了多元搜索引擎的发展状况，并对多元搜索引擎的系统指标进行了完整的评价。     

Deep Web垂直搜索引擎设计与实现

将deep Web发掘与主题爬行技术有机地结合起来,对deep Web垂直搜索引擎系统的关键技术进行了深入研究.首先设计了deep Web主题爬行框架,它是在传统的主题爬行框架的基础上,加入了前端分类器作为爬行策略的执行机构,并对该分类器做定期的增量更新;然后使用主题爬行技术指导deep Web发掘,并且借助开源组件Lucene将主题爬行器所搜索的信息进行合理的安排,以便为检索接口提供查询服务.当用户向搜索引擎提交查询词后,Lucene缺省按照自己的相关度算法对结果进行排序.通过爬虫、索引器和查询接口的设计,实现了一个面向deep Web的垂直搜索引擎原型系统.     

Co-evolution-based mechanism design for sponsored search advertising

Sponsored search advertising (SSA), the primary revenue source of Web search engine companies, has become the dominant form of online advertising. Search engine companies, such as Google and Baidu, are naturally interested in SSA mechanism design with the aim to improve the overall effectiveness and profitability of SSA ecosystems. Due to model intractability, however, traditional game theory and mechanism design frameworks provide only limited help as to the design and evaluation of practical SSA mechanisms. In this paper, we propose a niche-based co-evolutionary simulation approach, aiming at computationally evaluating SSA auction mechanisms based on advertisers’ equilibrium bidding behavior generated through co-evolution of their bidding strategies. Using this approach, we evaluate and compare key performance measures of several practical SSA auction mechanisms, including the generalized first and second price auction, the Vickrey–Clarke–Groves mechanism, and a novel hybrid mechanism adopted by sogou.com, a major search engine in China.