基于Web挖掘的智能门户搜索引擎的研究

搜索引擎是人们在Internet上快速获得信息的重要工具之一,但是由于中文自身的特点,使得检索结果的准确性和相关性不是很高,将Web挖掘技术应用到搜索引擎领域,从而产生智能搜索引擎,将会给用户提供一个高效、准确的Web检索工具。文章首先介绍了搜索引擎的工作原理和相关概念,然后介绍了Web挖掘的定义、分类和应用。最后,详细讨论了Web挖掘技术在智能搜索引擎的重要应用。     

基于Internet的Web Services收集方法

Web Services作为一种部署在Internet上的新型的可复用软件资源,得到广泛的重视和应用。但是,现有通用搜索引擎并不能很好地支持Web Services的发现,这使得软件开发人员需要花费很大的代价寻找合适的Web Services。鉴于此,提出了一种基于Internet的Web Services获取方法,采用通用搜索引擎和特定Web Services信息发布网站相结合的方法,从Internet上收集Web Services,并从Web Services的相关网页中抽取相关描述信息。利用收集到的Web Services数据,对当前互联网上的WebServices现状进行了统计分析。这些统计结果一定程度上反映了WebServices的发展现状。     

基于Google Web API的单机版维文元搜索引擎技术研究

随着Internet的发展,基于多种文字信息的维文信息也越来越多。为了获取有用的维文Web信息,必须要创建符合维文信息检索需求的搜索引擎。文章从分析维文文字的多种性、编码的多样性以及维文Web表示的特殊性等问题的基础上,探讨如何利用Google Web API来实现基于维文信息的单机版元搜索引擎。     

支持Internet上个性化信息重组与发布的Web挖掘关键技术的研究

Internet上个性化信息的重组与发布是Web个性化技术的一个重要组成部分,这一领域目前存在的主要问题是:并非没有信息重组和发布的工具,而是缺乏能够使这类工具高效工作的支持技术。本文提出一种将流数据处理技术引入Web点击流、IP地址流及页面文本流挖掘和分析过程,研究基于Web数据流挖掘的用户行为和需求分析方法;将本体和领域知识引入Web内容挖掘过程,研究领域知识指导下的Web内容挖掘方法;将基于Web数据流挖掘的用户行为和需求分析与领域知识指导下的Web内容挖掘相结合,研究Internet上Web信息模式和Web用户模型及其相互关系的建立;将上述研究成果应用于实际,以期达到高效地支持Internet上满足用户个性化要求的信息重组与发布的目的。     

个性化搜索引擎研究

Internet上存在大量的信息资源,如何从中获取有价值的信息一直以来是一个问题。论文在传统搜索引擎的基础上,采用Web挖掘技术,引用概念格知识,提出了个性化搜索引擎。文中分析了个性化搜索引擎的系统构成,详细介绍了每个模块的功能,最后展望了它的发展前景。     

基于结构挖掘的排序算法研究综述

随着Internet的迅猛发展,Web成为了人们获取信息的重要途径。但是,网页数量的与日剧增,信息量的爆炸式增长,也为人们的信息查询带来了不便。Web数据挖掘技术的引入提高了检索质量,特别是Web结构挖掘在搜索引擎中的应用,很好地帮助用户快速从搜索结果中锁定对自己真正有用的信息。本文对基于结构挖掘的排序算法进行了大量搜集分析,并进行了归纳总结。     

基于Web的Internet信息服务程序的研究

基于Web的Internet信息服务程序是用户连接到World Wide Web的通道,也是用户访问信息、通信、娱乐的出发点。文章首先讨论在Internet上常见的信息服务,然后对实现这些服务的不同技术进行比较,并论述了Web和数据库集成的几种方案。最后,提出了以Java Servlet解决方案为基础的基于Web的Internet信息服务系统的体系结构。     

自然语言理解在Web数据挖掘中的应用

Internet的迅猛发展，使其日益成为人们查找有用数据的重要来源。一般的搜索引擎是基于关键字的查询，命中率较低，且不能针对特定用户给出特定服务。提出了将自然语言理解技术与Web数据挖掘相结合，根据用户的特殊需求定制个性化的Web数据挖掘系统，给出了面向新闻挖掘这一特定领域的Web挖掘系统News-Miner的应用方案及设计实现。初步实验结果表明该方案是可行的。该方法可方便地扩展到其它专业应用领域。     

结果页面信息的提取和结果筛选算法的研究

Web搜索引擎是Internet上非常有用的信息检索工具.但是,目前搜索引擎检索出的信息量庞大.如何能够快速和精确地在这种海洋信息中检索到用户所需信息已成为重要的研究课题.提出基于元搜索引擎理论上的专业课程信息搜索系统,着重研究结果页面信息的提取技术和向量空间模型算法.     

DeepWeb信息集成系统中查询转换

随着Internet信息的迅速增长,许多Web信息已经被各种各样的可搜索在线数据库所深化,并被隐藏在Web查询接口下面.传统的搜索引擎由于技术原因不能索引这些信息--Deep Web信息.由于Deep Web惟一"入口点"是查询接口.为使查询接口自动产生有意义有查询,给出了Deep Web信息集成系统框架,提出了基于数据类型的搜索驱动的用户查询转换方法,基于此设计并实现了一个针对中文Deep Web信息集成原型系统.通过在实际Deep web站点上的实验证明了此方法是非常有效的.     

数据挖掘在智能搜索引擎中的应用

随着互联网的迅速发展,WWW上信息增长越来越快,传统搜索引擎已经不能满足用户的需求。将数据挖掘技术应用到搜索引擎领域,从而产生智能搜索引擎,将会给用户提供一个高效、准确的Web检索工具。文章首先介绍了搜索引擎的工作原理和相关概念,然后介绍了数据挖掘的概念。最后,详细讨论了数据挖掘技术在智能搜索引擎中的重要应用。     

Mining search engine query logs for social filtering-based query recommendation

This paper presents a simple and intuitive method for mining search engine query logs for fast social filtering, where searchers are provided with dynamic query recommendations on a large-scale industrial-strength search engine. We adopt a dynamic approach that is able to absorb new and recent trends in web usage trends on search engines, while forgetting outdated trends, thus adapting to dynamic changes in web user’s interests. In order to get well-rounded recommendations, we combine two methods: first, we model search engine users’ sequential search behavior, and interpret this consecutive search behavior as client-side query refinement, that should form the basis for the search engine’s own query refinement process. This query refinement process is exploited to learn useful information that helps generate related queries. Second, we combine this method with a traditional text or content based similarity method to compensate for the shortness of query sessions and sparsity of real query log data.     

企业智能化Web商务数据挖掘引擎算法设计与实现

针对现有的数据挖掘引擎难以满足企业不断增长的需求的问题,在传统搜索引擎的基础上提出了一种企业专用的智能化Web商务数据挖掘引擎.从总体上给出了模型框架,得出企业智能化Web商务数据挖掘引擎是一个基于多模型的系统的结论.接着分别详细研究了该引擎的:Web内容挖掘、Web信息获取、客户行为挖掘3个核心模块.并给出了3个模块的详细算法设计和实现过程     

浅析如何加强搜索引擎与Web挖掘

本文主要是关于搜索引擎与Web挖掘方面数据源的探讨。随着互联网的发展、信息量的巨增,搜索引擎显露出种种缺陷,产生了Web挖掘,之后引出工作性能低下等问题。于是,作者提出基于搜索引擎的Web挖掘和基于Web日志文件的数据仓库等解决方案,最后探讨了一个更为彻底的、有希望的元数据服务器的框架。     

覆盖算法下文本分类特征选择的研究

文本分类是信息检索和数据挖掘的基础,被广泛应用于网络数据挖掘及搜索引擎等方面。首先对文本进行分词,对分词的结果分别使用x2统计量(CHI)方法与相关系数法(CC法)进行降维,并使用维数调节的思想进行特征提取。在得到特征集后,使用覆盖算法作为文本分类器进行学习。实验结果表明,通过结合相关系数法、覆盖算法以及维数调节方法,可实现一个效果较好的文本分类器。     

基于Web挖掘的网页清洗技术

随着互联网上信息的大量增多,Web挖掘技术越来越重要。而在Web挖掘过程中,基于Web的信息抽取的主要部分是如何去除网页中的噪音数据,它是Web数据的预处理的过程,这个预处理结果影响了Web挖掘的结果。在文中先分析了噪音数据的特点,然后根据实际观察提取规则并且用于模型统计的方法,去除噪音数据,抽取相关可利用的信息。     

Web数据挖掘中的可信数据来源

从大量Web信息中获取有用的信息是Web数据挖掘的关键问题.如何评价web信息是否可信,现在主要方法是通过BadRank算法进行内容评测,或是通过链接权重进行相关引用数计算.可信数据来源是数据挖掘的前提,在基于关键词的数据挖掘中,通过评价挖掘所涉及的不同数据域,以及数据域自身的可信性,对在不同域所获得的挖掘数据给以权重,从而对挖掘结果的序列产生影响,提高挖掘算法在获取可信结果方面的效率.并通过试验测试了可信域评价的效果.     

主题搜索引擎中网络蜘蛛搜索策略的研究

主题网络蜘蛛的搜索策略是主题搜索引擎的核心部分,是近年来主题搜索引擎研究中的热点问题之一。深入研究了主题网络蜘蛛的关键技术,阐述了多线程网络蜘蛛的实现过程,并对传统的VSM算法和PageRank算法进行了改进,提高了主题网络蜘蛛采集信息的有效性和准确性。