基于Lucene的垂直搜索引擎的设计和实现

在研究垂直搜索引擎原理和开源工具Lucene等技术基础上,实现了对网络数据的抓取、分析、建立索引和检索。阐述了基于Lucene技术的索引和检索的实现方法。实验结果表明,该系统具有较高的检索效率和准确率。     

基于Lucene的新闻垂直搜索引擎设计与实现

为了提高搜索引擎对新闻检索的准确度,在研究垂直搜索引擎的设计思想和相关技术的基础上,利用Lucene搜索框架设计了新闻垂直搜索引擎.对网络爬虫进行了抓取规则的订制,使其只会抓取新闻相关的网页.采用卡方统计量进行文本特征提取,利用TF*IDF算法进行特征权值计算,利用支持向量机分类算法对新闻数据进行分类.实验结果表明,该新闻垂直搜索引擎可以精准地按类别搜索出新闻信息.     

基于Lucene的本地搜索引擎研究与实现

为了改善计算机传统搜索在效率和返回结果上的不足,基于Lucene全文检索高效、准确的特点,采用非结构化文档结构化的思想,提出了文档内容自然分片索引的方法,实现了一个针对本地资源的个性化搜索引擎。     

基于Lucene的搜索引擎设计与实现

当今搜索引擎已经成为人们在网上搜索信息的重要工具.通用的搜索引擎虽然功能强大,但对具有很多子网站的企业门户网站进行搜索时响应速度慢,索引范围不全.Lucene是一个强大的全文索引引擎工具包,应用它可以快速地开发一个搜索引擎.文中描述了利用基于Java的全文检索工具包Lucene开发定制的中文搜索引擎方法,并且将该定制的搜索引擎与Google的站内搜索进行试验比较,发现在对具有很多子网站的企业门户网站进行搜索时有优于Google的性能.     

使用Lucene技术实现桌面批量文件搜索引擎

本文在充分实验的基础上,利用Lucene技术实现了桌面批量文件全文搜索引擎,并通过检测词库工具显示Lucene索引数据,阐述了全文搜索的工作原理。     

基于Lucene的全文搜索引擎设计与实现

全文检索是现代信息检索技术的一个重要分支,它是处理非结构化数据的强大工具,也是搜索引擎的核心技术之一。本文使用Lucene工具包开发一个具有全文搜索功能的数码产品搜索系统。该系统具有很强的实用性。     

基于Lucene的博客搜索引擎设计与实现

为实现博客资源的实时和有效搜索,提出以高性能和可扩展的Lucene作为搜索引擎的框架的博客搜索引擎.它充分利用RSS技术和网络蜘蛛技术实现博客资源的快速采集,能够为博客资源的搜索提供良好的支持,并在采集、索引生成及检索三方面的效率和成本上达到一个较为理想的水平.     

基于Nutch的垂直搜索引擎的设计和实现

为了提高搜索引擎的主题倾向性和准确率,在Nutch平台上实现了带有中文分词插件的垂直搜索引擎,给出了改进后引擎的系统功能和体系结构,并从用例角度分析了系统的功能,介绍了基于该体系结构实现的港口物流信息垂直搜索引擎以及和一般引擎运行情况的比较。实验结果表明,这些改进提高了主题判别的准确度和效率,使信息的定位和查找更加精确,减少了不相关信息的干扰,并提高了系统对于互联网复杂环境的处理能力。     

Lucene应用中Pdf文档文本数据提取方法研究

基于Lucene的搜索已在各种应用系统中已经得到广泛应用,但是Lucene仅仅提供了全文文本搜索的函数库。本文研究了Pdf文档文本数据的提取方法,其优点在于能快速对Pdf文档文本数据进行提取,得到站内Pdf文档文本数据。     

结合本体筛选和文本挖掘的垂直搜索引擎研究

针对垂直搜索引擎研究领域的关键技术问题,提出了一个结合本体筛选和文本挖掘的垂直搜索引擎构建思想.首先探讨了作为研究基础的本体和文本挖掘技术,讨论了两者的作用;之后阐述了垂直搜索引擎构建的关键技术,包括基于本体筛选的智能搜索器、结合文本挖掘的网页信息分析及抽取、索引器及查询处理器的构造;最后,对提出的思想进行了实现验证,构造一个面向高校毕业生招聘的垂直搜索引擎原型.     

Distributed text search using suffix arrays

Text search is a classical problem in Computer Science, with many data-intensive applications. For this problem, suffix arrays are among the most widely known and used data structures, enabling fast searches for phrases, terms, substrings and regular expressions in large texts. Potential application domains for these operations include large-scale search services, such as Web search engines, where it is necessary to efficiently process intensive-traffic streams of on-line queries. This paper proposes strategies to enable such services by means of suffix arrays. We introduce techniques for deploying suffix arrays on clusters of distributed-memory processors and then study the processing of multiple queries on the distributed data structure. Even though the cost of individual search operations in sequential (non-distributed) suffix arrays is low in practice, the problem of processing multiple queries on distributed-memory systems, so that hardware resources are used efficiently, is relevant to services aimed at achieving high query throughput at low operational costs. Our theoretical and experimental performance studies show that our proposals are suitable solutions for building efficient and scalable on-line search services based on suffix arrays.     

智能文本搜索新技术

面对当今互联网上海量的信息,以及搜索信息准确、高效、个性化等需求,提出了一套包括信息检索、信息抽取和信息过滤在内的智能文本搜索新技术.首先举荐了与信息检索新技术相关的企业检索、实体检索、博客检索、相关反馈子任务.然后介绍了与信息抽取技术相关的实体关联和实体填充子任务,以及与信息过滤技术相关的垃圾邮件过滤子任务.这些关键技术融合在一起,在多个著名的国际评测中得到应用,如美国主办的文本检索会议评测和文本分析会议评测,并且在互联网舆情、短信舆情和校园网对象搜索引擎等实际系统中得到了检验.     

基于最近邻子空间搜索的两类文本分类方法

在文本分类中,最近邻搜索算法具有思想简单、准确率高等优点,但通常在分类过程中的计算量较大。为克服这一不足,提出了一种基于最近邻子空间搜索的两类文本分类方法。首先提取每一类样本向量组的特征子空间,并通过映射将子空间变换为高维空间中的点,然后把最近邻子空间搜索转化为最近邻搜索完成分类过程。在Reuters-21578数据集上的实验表明,该方法能够有效提高文本分类的性能,具有较高的准确率、召回率和F1值。     

A Supervised Learning Approach to Search of Definitions

This paper addresses the issue of search of definitions. Specifically, for a given term, we are to find out its definition candidates and rank the candidates according to their likelihood of being good definitions. This is in contrast to the traditional methods of either generating a single combined definition or outputting all retrieved definitions. Definition ranking is essential for tasks. A specification for judging the goodness of a definition is given. In the specification, a definition is categorized into one of the three levels： good definition, indifferent definition, or bad definition. Methods of performing definition ranking are also proposed in this paper, which formalize the problem as either classification or ordinal regression. We employ SVM （Support Vector Machines） as the classification model and Ranking SVM as the ordinal regression model respectively, and thus they rank definition candidates according to their likelihood of being good definitions. Features for constructing the SVM and Ranking SVM models are defined, which represent the characteristics of terms, definition candidate, and their relationship. Experimental results indicate that the use of SVM and Ranking SVM can significantly outperform the baseline methods such as heuristic rules, the conventional information retrieval--Okapi, or SVM regression. This is true when both the answers are paragraphs and they are sentences. Experimental results also show that SVM or Ranking SVM models trained in one domain can be adapted to another domain, indicating that generic models for definition ranking can be constructed.     

一种融合词语位置特征的Lucene相似度评分算法

相似度评分算法是Lucene引擎中的核心部分之一。对Lucene内部的相似度评分算法进行研究分析后,针对Lucene只关心查询词出现的频率,而不关心它们所在的位置这一缺陷提出了一种改进的算法。改进的算法将词语位置关系特征融合到Lucene原始相似度评分算法中。在TREC数据集上的实验结果表明:改进后的算法与Lucene原始算法相比,在MAP和P@n指标上都有一定程度的提高。     

搜索趋势数据可视分析系统

为了帮助用户理解和分析搜索引擎产生的搜索数据,提出一个搜索趋势数据可视分析系统,包括数据收集与预处理、流图计算与绘制、流线生成与文字摆放以及交互式分析.以流图与文本相结合的方式呈现搜索数据,展示数据中蕴含的搜索趋势和热点;创新性地提出了流线指导下的文本布局算法,使文字能更好地贴合流图形状;此外,还提供了一系列交互,帮助用户在不同层面对搜索数据进行探索和分析.选取5个博客数据集,从紧凑性和方向一致性2个方面对可视化方法进行量化评估,并采用2个真实的搜索数据集进行案例分析.结果表明,该系统能帮助用户理解搜索数据的变化模式,发现数据中隐含的搜索趋势,并快速掌握互联网舆情信息.     

一种基于网页自动分类的分类查询搜索引擎

文章分析了传统搜索引擎的缺点,提出了一种基于网页自动分类的分类查询搜索引擎新模型,重点阐述了利用粗糙集进行文本分类的方法,提出了一种基于特征矩阵的决策表约简算法,并以此实现了网页自动分类器。     

基于Lucene的全文检索系统的设计与实现

Lucene是一个纯Java实现的高性能、可扩展的全文信息检索工具库,可以很方便地把它融入到应用程序中来增加索引和搜索功能。该文分析了Lucene的索引机制,探讨了Heritrix的结构框架,最后结合实际实例对基于Lucene的全文检索的应用进行深入研究。     

网络安全之有线与无线局域网

在信息高速发展的时代,局域网已经在日常生活中随处可见。随着无线局域网的崛起,关于无线局域网能否可以替代有线局域网的问题收到了极大的关注。本文主要针对无线局域网以及有线局域网的特点和局限作分析。并认为无线局域网是有线局域网的补充而不是替代,未来的趋势更可能的是两者融合组建成的混合局域网发挥重要作用。     

交互式Agent在文本搜索中的应用

介绍了一个嵌入了Agent的文本编辑器,名为SmartTag,它能够通过与用户的一系列交互推理出通用模式。用户通过提供一些文本搜索的例子,Agent会推理出一个能够覆盖这些例子的通用模式,并且用户可以通过弹出菜单手工调整当前的模式以得到最终模式。然后,Agent可以通过得到的模式自动匹配当前文档中的其余文本字符串,这一交互过程简化了动态文本搜索的复合程度,并且使得人机之间的交互更加自然。