基于超链接和DOM结构树的网页标题实时抽取方法

网页标题的正确抽取,在Web文本信息抽取领域有着重大意义。本文提出一种网页标题实时抽取方法。首先通过对目录型网页进行实时解析,接着采用基于超链接遍历的方法,并利用标题与发布时间的对应关系,最终获取对应目录型网页的URL及锚文本。若获得锚文本不是网页正文的标题,则获取主题型网页的HTML源码并构建网页DOM树。在此基础上,结合网页标题的视觉特点,深度优先遍历DOM树,正确提取网页正文标题。实验结果表明,本文提出的Web网页标题实时抽取方法,具有实现简单,准确率高等优点。      

Web链接结构信息研究综述

万维网(World Wide Web)是由大量的网页组成的,网页之间由超链接(HyperLink)相互连接。在传统上,人们对网络信息的分析和获取是依靠对网页内容的分析和处理来进行的。例如,传统的网络搜索引擎对网页上文本信息进行分析、索引,并将处理后的信息存储在数据库中,然后根据用户查询输入进行分析,获得查询结果。     

基于超链接信息的搜索引擎检索结果聚类方法研究

针对目前搜索引擎返回候选信息过多从而使用户不能准确查找与主题有关结果的问题,提出了基于超链接信息的搜索引擎检索结果聚类方法,通过对网页的超链接锚文档和网页文档内容挖掘,最终将网页聚成不同的子类别。这种方法在依据网页内容进行聚类的同时,充分利用了Web结构和超链接信息,比传统的结构挖掘方法更能体现网站文档的内容特点,从而提高了聚类的准确性。     

定题搜索引擎的设计与实现

大量的网页资源和网页的动态特性突出了基于网页信息搜索系统的不断支持和升级的要求.搜索引擎系统中的爬行虫就是为搜集网页中的信息而设计的.爬行虫通过网页中的超链接方便了某个特殊网页快照的自动下载.讨论的根本是与爬行虫的内部架构发展相关.论文首先分析Web信息采集系统模型和爬行虫的搜索策略,给出一个适合中小型网站网页具体信息获取的爬行虫算法,并使用C＋＋ Builder工具实现程序.本文也给出了一些与主题搜索相关的程序说明.     

基于最优查询的多领域deep Web爬虫*

Deep Web信息通过在网页搜索接口提交查询词获得。通用搜索引擎使用超链接爬取网页,无法索引deep Web数据。为解决此问题,介绍一种基于最优查询的deep Web爬虫,通过从聚类网页中生成最优查询,自动提交查询,最后索引查询结果。实验表明系统能自动、高效地完成多领域deep Web数据爬取。     

Web数据挖掘与挖掘算法探讨

本文介绍了Web数据挖掘的概念及其分类,并对Web数据挖掘技术的研究进行概述。利用Apriori算法发现频繁集,找到页面间的关联规则。针对网页超链接结构的特点：一条超链接只能建立在两个网页上,发现频繁集只要找出所有2-项集即可,从而提出网页超链接挖掘的NApriori算法。NApriori算法显著提高了Apriori算法的效率。     

一种计算求精网页主题抽取结果的方法

传统的主题抽取方法单纯依靠分析网页内容的来自动获取网页主题，其分析结果并不十分精确．在WWW上，网页之间通过超链接来互相联系，而链接关系紧密的网页趋向于属于同一主题、基于这一思想，本文提出了一种利用Web链接结构信息来对主题抽取结果进行求精的方法，其通过所链接网页对本网页的影响来修正本网页的主题权值．本文还通过一个实际应用例子，分析了这一方法的特点。     

基于超链接信息的Web文本聚类方法研究

面对当前大量的文本数据信息,如何帮助人们准确定位所需信息,成为文本挖掘领域的一个研究趋势。通过将文本分类和聚类方法应用于信息检索-—对网页文本进行聚类,提出了基于超链接信息的Web文本自动聚类模型。利用结构挖掘技术获得主题领域的多个权威网页作为初始聚类中心,通过去除超链接信息中的噪声和多余链接得到网站的简明拓扑结构,并结合内容挖掘,动态调整聚类中心,最终将网页聚成各主题下的不同子类别。     

一种Deep Web爬虫的设计与实现

随着World Wide Web的快速发展,Deep Web中蕴含了越来越多的可供访问的信息.这些信息可以通过网页上的表单来获取,它们是由Deep Web后台数据库动态产生的.传统的Web爬虫仅能通过跟踪超链接检索普通的Surface Web页面,由于没有直接指向Deep Web页面的静态链接,所以当前大多数搜索引擎不能发现和索引这些页面.然而,与Surface Web相比,Deep Web中所包含的信息的质量更高,对我们更有价值.本文提出了一种利用HtmlUnit框架设计Deep Web爬虫的方法.它能够集成多个领域站点,通过分析查询表单从后台数据库中检索相关信息.实验结果表明此方法是有效的.     

基于Hyperlink和相关度发现Web相关文档的研究

分析了Web文档的相似度计算方法，提出了Web上查询相关信息发现的SW0HITS算法，它结合了Web超链接、网页知识表示的信息相关度以及HITS方法来搜索Web上相关知识．本文通过它们搜索网上有关医药的信息和知识，其效果和查准率比传统HITS和IR方法有一定提高。     

Web站点的超链结构挖掘

ＷＷＷ是一个由成千上万个分布在世界各地的Ｗｅｂ站点组成的全球信息系统,每个Ｗｅｂ站点又是一个由许多Ｗｅｂ页构成的信息（子）系统。由于一个文档作者可以通过超链把自己的文档与任意一个已知的Ｗｅｂ页链接起来,而一个 Ｗｅｂ站点上的信息资源又通常是由许多人共同提供的, 因此 Ｗｅｂ站点内的超链链接通常是五花八门、各种各样的,它们可以有各种含义和用途。文章分析了ＷＷＷ系统中超链的使用特征和规律,提出了一个划分超链类型、挖掘站点结构的方法,初步探讨了它在信息收集和查询等方面的应用。     

Link contexts in classifier-guided topical crawlers

Context of a hyperlink or link context is defined as the terms that appear in the text around a hyperlink within a Web page. Link contexts have been applied to a variety of Web information retrieval and categorization tasks. Topical or focused Web crawlers have a special reliance on link contexts. These crawlers automatically navigate the hyperlinked structure of the Web while using link contexts to predict the benefit of following the corresponding hyperlinks with respect to some initiating topic or theme. Using topical crawlers that are guided by a support vector machine, we investigate the effects of various definitions of link contexts on the crawling performance. We find that a crawler that exploits words both in the immediate vicinity of a hyperlink as well as the entire parent page performs significantly better than a crawler that depends on just one of those cues. Also, we find that a crawler that uses the tag tree hierarchy within Web pages provides effective coverage. We analyze our results along various dimensions such as link context quality, topic difficulty, length of crawl, training data, and topic domain. The study was done using multiple crawls over 100 topics covering millions of pages allowing us to derive statistically strong results.     

加速评估算法:一种提高Web结构挖掘质量的新方法

利用Web结构挖掘可以找到Web上的高质量网页，它大大地提高了搜索引擎的检索精度,目前的Web结构挖掘算法是通过统计链接到每个页面的超链接的数量和源结点的质量对页面进行评估，基于统计链接数目的算法存在一个严重缺陷：页面评价两极分化，一些传统的高质量页面经常出现在Web检索结果的前面，而Web上新加入的高质量页面很难被用户找到,提出了加速评估算法以克服现有Web超链接分析中的不足，并通过搜索引擎平台对算法进行了测试和验证。     

灵活结构网页的正文提取

在Web数据挖掘中,由于网页大多都含有指向其他页面的超链接等噪音信息,为了减少噪音信息对Web数据挖掘效果的影响,有必要对网页进行净化处理,提取其中的正文,同时,现实中很多网页的代码结构不是特别规范,对此,提出一种对灵活结构网页适用的正文抽取算法。将网页用HTML标签分割成节点形式,找出其中含有正文内容的一个节点,以此节点为基础向前和向后进行余下正文内容的抽取。实验结果表明,本算法的适用性强、正确率较高。     

Focussed crawling of environmental Web resources based on the combination of multimedia evidence

Focussed crawlers enable the automatic discovery of Web resources about a given topic by automatically navigating the Web link structure and selecting the hyperlinks to follow by estimating their relevance to the topic based on evidence obtained from the already downloaded pages. This work proposes a classifier-guided focussed crawling approach that estimates the relevance of a hyperlink to an unvisited Web resource based on the combination of textual evidence representing its local context, namely the textual content appearing in its vicinity in the parent page, with visual evidence associated with its global context, namely the presence of images relevant to the topic within the parent page. The proposed focussed crawling approach is applied towards the discovery of environmental Web resources that provide air quality measurements and forecasts, since such measurements (and particularly the forecasts) are not only provided in textual form, but are also commonly encoded as multimedia, mainly in the form of heatmaps. Our evaluation experiments indicate the effectiveness of incorporating visual evidence in the link selection process applied by the focussed crawler over the use of textual features alone, particularly in conjunction with hyperlink exploration strategies that allow for the discovery of highly relevant pages that lie behind apparently irrelevant ones.     

Web挖掘研究

因特网目前是一个巨大,分布广泛,全球性的信息服务中心,它涉及新闻,广告,消费信息,金融管理,教育,政府,电子商务和许多其它信息服务,Web包含了丰富和动态的超链接信息,以及Web页面的访问和使用信息,这为数据挖掘提供了丰富的资源,Web挖掘就是从Web活动中抽取感兴趣的潜在有用模式和隐藏的信息,对Web挖掘最新技术及发展方向做了全面分析,包括Web结构挖掘,多层次Ｗeb数据仓库方法以及Ｗ eb,Log挖掘等。     

Web结构挖掘中基于熵的链接分析法

在Web结构挖掘中,传统的HITS（hyperlinkinducedtopics search）算法被广泛应用来寻找搜索引擎返回页面中的Auto-rity页面和Hub页面.但是在网站中除了有价值的页面内容外,还有很多与页面内容无关的链接,如广告、链接导航等.由于这些链接的存在,应用HITS算法时就会导致某些广告网页或无关网页获得较高的Authority值和Hub值.为了解决这个问题,在原有HITS算法的基础上,引入了香农信息熵的概念,提出了基于熵的网页链接分析方法来挖掘网页结构.该算法的核心思想是用信息熵来表示链接文本所隐含的知识.     

Concepts for improved visualization of Web link attributes

This paper discusses methods to generate and display automatically additional hyperlink information to the users of the World Wide Web. Current Web browsers make it hard to predict what will happen if a link is followed: users get different information than they expect, a new window may be opened, a download starts, or the destination object is just not available. Instead of giving an appropriate notification in advance, users have to follow a link, check whether the document contains the expected information, get back, try another link etc. However, usually it is possible to obtain additional hyperlink information from several sources like link anchor tags, the user's history and Web servers. Furthermore, with little enhancements, Web servers may include even more additional information to the hyperlinks in Web documents. These can be displayed before users select a link to improve navigation and reduce the cognitive overhead. In this paper several types of Web hyperlink information are listed, potential methods to present these facts are compared, the prototype implementation of the proposed concept — called by us HyperScout — is presented, and further developments are discussed.     

基于超链接和内容相关度的检索算法

在网络环境下，经典的链接分析方法（HITS算法）过多的关注网页的权威性，忽视了其主题相关度，易产生主题漂移现象。文本在简要介绍HITS算法的基础上，分析了其产生主题漂移的原因，并结合内容相关度评价方法，提出了一种新的搜索算法——WHITS算法。实验表明，该算法挖掘了超链接间的潜在语义关系，能有效的引导主题挖掘。