基于Lucene2.0和Heritrix搜索引擎的应用研究

基于Lucene2.0和Heritrix的搜索引擎是以广东技术师范学院天河学院为对象构建的,着重开发一个简单的网络垂直搜索引擎,实现一个简单的搜索引擎所具备的基本功能,为今后搭建一个标准的、实用的、商业化的搜索引擎打下坚实的基础。     

基于Lucene2.0和Heritrix搜索引擎的应用研究

基于Lucene2.0和Heritrix的搜索引擎是以广东技术师范学院天河学院为对象构建的,着重开发一个简单的网络垂直搜索引擎,实现一个简单的搜索引擎所具备的基本功能,为今后搭建一个标准的、实用的、商业化的搜索引擎打下坚实的基础。     

基于Lucene与Heritrix的图书垂直搜索引擎的研究与实现

垂直搜索引擎是针对某一领域的搜索引擎,它可以帮助用户在海量数据面前进行快速、专业、精准的检索。文章研究了垂直搜索引擎的特点,对Lucene与Heritrix的架构与主要模块功能进行了分析,设计并开发了图书垂直搜索引擎系统,为用户提供快捷、专业的图书信息检索服务。     

基于Heritrix与Lucene的垂直搜索引擎研究

垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。该文结合使用Heritrix与Lucene对学校新闻网站网页进行抓取并建立索引,建立相对应的新闻垂直搜索引擎系统。     

基于Lucene的全文搜索引擎

基于B／S模式的Java Web平台架构实现一个全文搜索引擎。该系统使用MySQL作为后台数据库．并采用Heritrix、Lucene等优秀的开源框架实现对某网页手机产品信息的检索。系统还利用Struts、Hibernate、Spring等流行的Java开发框架以及面向接口编程很好地实现对系统的解耦合,在前端使用具备较强UI表现功能的Extjs作为辅助实现了AJAX应用。     

Heritrix在垂直搜索引擎中的应用

主要介绍了垂直搜索引擎和网络爬虫的基本概念,以及Heritrix系统的体系结构,分析了Heritrix工作流程,并通过扩展Heritrix实现了对网易手机频道信息的多线程抓取,为建立面向手机信息的垂直搜索引擎提供了信息源。     

基于Lucene的新闻垂直搜索引擎设计与实现

为了提高搜索引擎对新闻检索的准确度,在研究垂直搜索引擎的设计思想和相关技术的基础上,利用Lucene搜索框架设计了新闻垂直搜索引擎.对网络爬虫进行了抓取规则的订制,使其只会抓取新闻相关的网页.采用卡方统计量进行文本特征提取,利用TF*IDF算法进行特征权值计算,利用支持向量机分类算法对新闻数据进行分类.实验结果表明,该新闻垂直搜索引擎可以精准地按类别搜索出新闻信息.     

基于Lucene的搜索引擎设计与实现

当今搜索引擎已经成为人们在网上搜索信息的重要工具.通用的搜索引擎虽然功能强大,但对具有很多子网站的企业门户网站进行搜索时响应速度慢,索引范围不全.Lucene是一个强大的全文索引引擎工具包,应用它可以快速地开发一个搜索引擎.文中描述了利用基于Java的全文检索工具包Lucene开发定制的中文搜索引擎方法,并且将该定制的搜索引擎与Google的站内搜索进行试验比较,发现在对具有很多子网站的企业门户网站进行搜索时有优于Google的性能.     

基于Heritrix的面向特定主题的聚焦爬虫研究

通过分析Heritirx开源爬虫的组件结构,针对Heritrix开源爬虫项目存在的问题,项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类,并引入BKDRHash算法进行URL散列,实现了面向特定主题的网页信息搜索,达到了提高搜索数据的效率以及多线程抓取网页的目的。最后对某一特定主题的网页进行分析,并进行网页内容抓取,采用HTMLParser工具将抓取的网页数据源转换成特定的格式,可为面向主题的搜索信息系统以及数据挖掘提供数据源,为下一步研究工作做好准备。     

基于Lucene的搜索引擎设计与实现

当今搜索引擎已经成为人们在网上搜索信息的重要工具。通用的搜索引擎虽然功能强大,但对具有很多子网站的企业门户网站进行搜索时响应速度慢,索引范围不全。Lucene是一个强大的全文索引引擎工具包,应用它可以快速地开发一个搜索引擎。文中描述了利用基于Java的全文检索工具包Lucene开发定制的中文搜索引擎方法,并且将该定制的搜索引擎与Google的站内搜索进行试验比较,发现在对具有很多子网站的企业门户网站进行搜索时有优于Google的性能。     

基于Lucene的全文检索系统的设计与实现

Lucene是一个纯Java实现的高性能、可扩展的全文信息检索工具库,可以很方便地把它融入到应用程序中来增加索引和搜索功能。该文分析了Lucene的索引机制,探讨了Heritrix的结构框架,最后结合实际实例对基于Lucene的全文检索的应用进行深入研究。     

中小型网站站内搜索引擎的设计与实现

站内搜索引擎是针对某个网站内部的全文检索服务,具备信息检索的核心技术。提出在文件系统上构建的解决方案,使用全文检索开发工具包——Lucene,实现站内搜索引擎系统。不仅针对关系数据库的数据,还对服务器文件系统上的各种非结构化文档数据进行加工、信息抽取,并创建索引文件进行搜索,最终实现对站内被检索数据的导航浏览,关键字高亮提示,筛选排序等。经过测试,检索效率较高,效果良好。     

基于Heritrix的商品信息搜索的网络爬虫系统的设计

探讨以开源软件Heritrix体系构建的获取商品信息爬虫系统,针对Heritrix开源爬虫项目存在的问题和商品采集的特点,项目设计了定向抓取包含某一特定内容的网页的类,从而改进Heritrix,并引入ELFHash算法进行URL散列中,以提高抓取效率,为面向商品的搜索系统以及数据挖掘提供可靠的数据源。     

基于Lucene 3．5搜索技术的研究与实现

介绍Lucene及这些年来的发展和重大变化以及性能提升。然后通过图例介绍Lucene的架构,做一个Lucene3．5版本的演示程序,来帮助读者更好地了解Lucene。     

基于Heritrix的网页内容过滤抓取

在深入研究开源网页爬虫——Heritrix系统框架和源代码的基础上．对其搜索内容和范围增加过滤处理功能。这些功能扩展的实现是通过面向对象分析与设计技术．定义类对Hefitfix中相关的类进行继承。在校园网范围内运行Hefimx进行网页收集实验。实验结果表明,新增的过滤功能运行有效。     

基于 Lucene 的企业信息垂直搜索引擎

通用搜索引擎在广泛使用的同时,也出现了搜索范围太宽泛、搜索结果中冗杂信息过多、搜索不够精确等问题。在对搜索引擎的工作原理进行深入学习之后,提出基于Lucene的企业信息垂直搜索系统,并调用百度地图API,采用Java语言编程实现该系统。     

基于Lucene二次全文检索系统的设计与实现

通过Lucene API实现对PDF文档的一次全文检索,为了实现更精确的搜索关键词定位,设计并实现了一种新的二次索引算法,该二次索引带有关键词的页码、坐标及其上下文等信息。利用该二次索引可将检索结果定位到PDF文档的具体页,然后在页面上标示出关键字的具体位置,使对PDF文档的二次检索达到了类似Google Book的图书检索效果。系统测试结果说明系统具有良好检索性能,有较高的查全率和查准率,能够满足站内用户快速检索的需求。通过扩展,系统可以适应C/S和B/S这两种应用需求,有广阔的应用前景。     

基于Lucene的Web站内搜索引擎的研究

对于一些专业网站,站内搜索非常重要。本文研究了基于Lucene技术的Web站内搜索引擎的基本实现流程,详细分析了Lucene框架、网络蜘蛛、中文分词等关键技术。并对相关的技术进行了对比。进而说明了运用Lucene进行站内搜索开发的方法。