基于Solr的大规模标准文献可视化分析系统

国家标准馆是唯一的国家级标准收藏机构,建成了规模庞大的标准文献题录数据库、全文数据库.但是面对海量的数据资源,标准文献研究人员在没有计算机相关知识的情况下难以对相关数据进行全面的了解和研究,传统的研究方式也无法实时并直观的对统计数据进行展示.本文基于这些问题,开发了大规模标准文献可视化分析系统,设计和实现了可以自由定制的数据统计功能以及对标准文献的起草人、起草机构的关联分析功能.本系统为标准文献研究领域的研究人员提供了一个对标准文献资源高效便捷的可视化分析工具,研究人员对统计数据进行定制就能够获取到有效的数据,大幅提升了标准文献资源的分析效率.     

基于Solr的商品拼音搜索系统设计与实现

In the commodity search system based on Solr full-text search technology, this paper uses the third-party Chinese word breaker on the Chinese search information entered by the user segmentation, inquiry commodity index database based on segmenta- tion results, but it ignores the case which the user enters pinyin to search. By analyzing the grammatical structure of Chinese pinyin, the pinyin word segmentation methods are designed, using a proprietary lexicon of e-commerce to construct a Chinese pinyin li- brary, and implementing a commodity search system based onAjax pinyin input prompts to improve the deficiencies in the search in- put method.     

分布式爬虫的研究与实现

网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动的在网页上对大量数据的数据信息的收集、解析、格式化存储的过程,提出了基于分布式的网络爬虫技术。采用Nutch爬虫框架和Zookeeper分布式协调服务,配合高性能的Key-Value数据库Redis对数据进行存储,采用Solr引擎将抓取信息进行清晰地索引、展示。运用提取页面信息算法优化提取页面信息流程,通过关键词匹配优化算法根据指标从抓取的数据中获取指标相关数据。通过分布式集群的搭建,Nutch项目的实现,及大量数据的采集,验证了基于Nutch的分布式网络爬虫的可行性。通过页面解析流程实验分析,基于Nutch的分布式爬虫与其他爬虫多组实验数据对比结果表明,基于Nutch的分布式爬虫项目在性能和准确度方面都优于传统其他爬虫。     

电力企业的非结构化数据检索研究

电网公司多年来建设了很多业务系统,各业务系统相互孤立应用.随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便.建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Linux计算机集群上部署Hadoop开发框架以及Solr分布式全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务,使得企业相关人员能够高效、便捷地检索出所需的数据.实现知识服务无处不在,为员工工作提供帮助,为企业提供决策支持.     

高性能分布式搜索引擎Solr的研究与实现

针对信息资源不断膨胀传统搜索技术无法达到高效、可靠的服务需求问题。设计并实现了一中基于Solr的高性能分布式搜索。系统通过使用Zookeeper管理集群,实现搜索模块分布式,利用Solr做索引处理,在多节点上并行创建索引,并将SolrCloud与Mongodb数据库的搭建连接,通过测试表明,系统展现了SolrCloud对数据库搜索功能的提高效果     

基于Solr的IPAC书目信息系统整合

主要讨论基于Solr的上海图书馆书目检索系统的整合,面对ipac这种较老的商用书目检所系统相对比较封闭的情况,提出了新的Solr-ipac系统整合方案以及基于Solr的书目检索系统构架,以应对手机等移动设备上的移动服务的需求。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于Solr的分布式全文检索系统的研究与实现

随着当前网络信息资源的急剧膨胀,传统的检索系统已经难以在处理海量数据时提供高效的、可靠的服务。针对该情况,设计并实现一个基于Solr的分布式全文检索系统。系统通过网络爬虫抓取网页信息,将抓取的信息储存为文本文件;然后利用Solr索引处理模块,在多台计算机节点上并行创建索引,有效地提高系统建立索引的速度;系统通过Zoo-keeper管理集群,将搜索模块设计为分布式,有效地提高检索性能;最后设计了友好的用户界面。目前,系统可以在百万数据量的环境下稳定运行,具有较强的实用价值。     

使用Solr为大数据库搭建搜索引擎

如今信息快速发展,数据库信息不断增多,尤其是对于中文信息,传统的数据库搜索方式（like％％）不仅效率低下,而且搜索速度极慢,此时就需要为数据库搭建外部的中文搜索引擎。ApacheSolr是基于Lucene的企业搜索引擎。本文介绍了Solr的结构和特点,并使用它搭建大数据量的数据库搜索引擎,并在最后比较了数据库和搜索引擎的搜索时间,证明了使用Solr能大大增加搜索效率。     

油气行业垂直搜索引擎关键问题解决方案

垂直搜索引擎构建是搜索领域的热点问题之一,应用领域广泛.现有的方法一般都只是对垂直搜索引擎构建中的某一个或几个阶段进行优化,且针对不同网站信息的获取往往需要人工配置操作,较为繁琐.本文在深入研究构建垂直搜索引擎技术的基础上,运用Heritrix、Solr等JAVA开源工具,结合网页正文抽取和完整性词抽取算法,提出了一套自动化构建垂直搜索引擎的方法,对该方法实现各阶段的关键问题展开了研究,并给出相应的优化方案.实践表明,提出的方法与优化方案具有较强的实用性.