基于DOM的网页主题信息的抽取

随着Internet的发展,Web页面信息量不断加大,信息密集程度不断加强。但Web页面的主题信息通常不太明确,抽取主题信息也比较困难。针对这一难题,提出一种算法:构建文档对象模型DOM(Document Object Model)树,然后针对HTML半结构特征的不足,为DOM添加显示、语义(链接数、非链接文字数、高度、宽度)等属性,并提出一种聚类规则来对其进行分块,最后对其进行剪枝,删除掉无用的信息,提取主题信息。实验表明,该方法能够准确抽取主题信息。     

应用聚类技术分类提取Web页面

针对Web中数据密集型的动态页面,文本数据少,网页结构化程度高的特点,介绍了一种基于HTML结构的web信息提取方法。该方法先将去噪处理后的Web页面进行解析,然后根据树编辑距离计算页面之间的相似度,对页面进行聚类,再对每一类簇生成相应的提取规则,对Web页面进行数据提取。     

基于逆向匹配的电子商务网站实体模板半自动构建方法

Web页面中的主题信息一般分布比较集中,可利用网页的这一特性进行网页主题信息的自动提取。网页源代码中的HTML标签不规范,使得正向匹配难以生成嵌套结构准确的DOM树,该文提出一种通过逆向匹配的方法,构建完整的网页源代码DOM树。通过对DOM树进行剪枝,删除无关节点,对保留下来的信息块的节点标签进行人工选择与唯一性判定,从而生成提取模板。该方法能够实现对电子商务网站源网页中的主题信息进行提取,是一种半自动、通用的方法,可用于信息检索系统中的信息采集。     

Web信息抽取系统的设计

为了获取分散Web页面中隐含信息,设计了Web信息抽取系统。该系统首先使用一种改进的HITS主题精选算法进行信息采集;然后对Web页面的HTML结构进行文档的数据预处理;最后,基于DOM树的XPath绝对路径生成算法来获取被标注结点的XPath表达式,并使用XPath语言结合XSLT技术来编写抽取规则,从而得到结构化的数据库或XML文件,实现了Web信息的定位和抽取。通过一个购物网站的抽取实验证明,该系统的抽取效果良好,可以实现相似Web页面的批量抽取。     

咖啡伴侣——Java Script给你的Web页加入交互功能

自从Java小人Duke在网页上跳动起来,World Wide Web就不再死气沉沉,Java一时间火爆全球,成为各类传媒争相报道的热点。 实际上Java是通过编写称之为applet的小程序在需要时下载来扩展Web页面或Web浏览器的功能。但applet存在于Web页面本身的HTML文件之外,它还不能与HTML文档类型、窗体以及窗口对象交互。与给定图像一个特殊矩形一样,Java applet被简单的分配了当前页面中一个空间,然后在自己的空间里做它们的事情。可见在与用户及浏览器环境交互作用的能力上,Java有着     

Web数据库技术进展

一、引言 WWW是目前Internet上发展最快的领域,也是Internet网上最重要的信息检索手段。早期的Web页面(Home Page)主要用来传递静态HTML文档,后来由于CGI接口,特别是Java和JavaScript语言的引入,使得Web页面可以方便地传播动态信息。借助Java和JavaScript语言,可以设计出具有动画、声音、图形/图像和各种特殊效果的Web页面。 WWW的主要内容包括超文本传输协议(HTTP)、超文本标记语言(HTML)、通用网关接口(CGI)、Java和JavaScript语言等。 HTTP(Hyper Text Transfer Protocol),是一个专门为Web服务器和Web浏览器之间交换数据而设计的网络协议。它通过规定通用资源定位符(UBLs)使客户端的浏览器与服务器的Web资源建立链接关系,从而奠定     

Java开源项目HtmlUnit在浏览器模拟方面的应用

HtmlUnit是一项基于JAVA的开源浏览器工具项目。学习该项目对于深度了解网页原理、浏览器原理非常有效，该项目对HTML文档开展模型抽象，并提供可以调取页面、填写表单、打开超链接的编程接口，使程序像普通浏览器一样与网站进行交互，项目官方网站为http：//htmlunit.sourceforge.net。本文主要介绍使用Java原因调用HtmlUnit接口提供的类和方法完成Web页面访问工作。     

基于CURE算法的网页分块及正文块提取研究

研究基于CURE聚类的Web页面分块方法及正文块的提取规则。对页面DOM树增加节点属性,使其转换成为带有信息节点偏移量的扩展DOM树。利用CURE算法进行信息节点聚类,各个结果簇即代表页面的不同块。最后提取了正文块的三个主要特征,构造信息块权值公式,利用该公式识别正文块。     

基于本体论的Web信息抽取

以本体论为基础，以所要提取的信息的层次结构作为信息提取的路径，定义了Web页面的信息项本体，并自动解析生成Web页面的结构本体．通过对这两个本体进行对比，构造了一种归纳学习算法来半自动地生成信息提取规则，对Web页面的信息提取具有较高的效率．     

基于链式结构XML文档的生成方法

提出了一种基于链式结构的XML文档生成方法,设计了一个利用Java中的stream tokenizer类实现HTML文档解析的算法,将解析得到的元素内容及文本内容生成的结点插入到相应的位置上,同步生成DOM解析树,对DOM解析树进行遍历,将遍历得到的信息以二叉链表的形式存储,采用改进的先根遍历算法对该二叉链表遍历,提取相应的信息构建DTD,完成整个转换生成的过程。     

Automatic discovery of Web Query Interfaces using machine learning techniques

The amount of information contained in databases available on the Web has grown explosively in the last years. This information, known as the Deep Web, is heterogeneous and dynamically generated by querying these back-end (relational) databases through Web Query Interfaces (WQIs) that are a special type of HTML forms. The problem of accessing to the information of Deep Web is a great challenge because the information existing usually is not indexed by general-purpose search engines. Therefore, it is necessary to create efficient mechanisms to access, extract and integrate information contained in the Deep Web. Since WQIs are the only means to access to the Deep Web, the automatic identification of WQIs plays an important role. It facilitates traditional search engines to increase the coverage and the access to interesting information not available on the indexable Web. The accurate identification of Deep Web data sources are key issues in the information retrieval process. In this paper we propose a new strategy for automatic discovery of WQIs. This novel proposal makes an adequate selection of HTML elements extracted from HTML forms, which are used in a set of heuristic rules that help to identify WQIs. The proposed strategy uses machine learning algorithms for classification of searchable (WQIs) and non-searchable (non-WQI) HTML forms using a prototypes selection algorithm that allows to remove irrelevant or redundant data in the training set. The internal content of Web Query Interfaces was analyzed with the objective of identifying only those HTML elements that are frequently appearing provide relevant information for the WQIs identification. For testing, we use three groups of datasets, two available at the UIUC repository and a new dataset that we created using a generic crawler supported by human experts that includes advanced and simple query interfaces. The experimental results show that the proposed strategy outperforms others previously reported works.     

Revyu: Linking reviews and ratings into the Web of Data

Revyu is a live, publicly accessible reviewing and rating Web site, designed to be usable by humans whilst transparently generating machine-readable RDF metadata for the Semantic Web, based on user input. The site uses Semantic Web specifications such as RDF and SPARQL, and the latest Linked Data best practices to create a major node in a potentially Web-wide ecosystem of reviews and related data. Throughout the implementation of Revyu design decisions have been made that aim to minimize the burden on users, by maximizing the reuse of external data sources, and allowing less structured human input (in the form of Web 2.0-style tagging) from which stronger semantics can later be derived. Links to external sources such as DBpedia are exploited to create human-oriented mashups at the HTML level, whilst links are also made in RDF to ensure Revyu plays a first class role in the blossoming Web of Data. In this paper we document design decisions made during the implementation of Revyu, discuss the techniques used for linking Revyu data with external sources, and outline how data from the site is being used to infer the trustworthiness of reviewers as sources of information and recommendations.     

基于XML的Web数据挖掘关键技术的研究

由于存在着大量的在线信息，WWW成为数据挖掘的热点。该文介绍了Web网页的数据挖掘技术，提出一种基于XML的Web数据挖掘模型，阐述将半结构化HTML文档转换成良构的XML文档的原因，并给出基于HTML Tide库的转换代码，介绍了利用XML技术从Web网页析取数据的关键技术，包括XHTML、XSLT和XQuery等，对Web数据挖掘的其他方面如数据检验和集成作了一定的探讨。     

Becoming an information provider on the World Wide Web

This paper describes the tools which are being evaluated at the University of Leeds for use by information providers on the World Wide Web. The paper also gives an introduction to the World Wide Web's client/server architecture and the Hypertext Markup Language (HTML). Information is provided on further sources of information which will assist information providers and trainers of information providers.The paper is intended for new information providers on the World Wide Web and for people who are involved in their training.     

一种基于分类算法的网页信息提取方法

在目前的Web信息提取技术中,很多都是基于HTML结构的,由于HTML结构的经常变化,使提取模板需要经常更新,而提取模板的更新需要很多领域知识.本文提出一种基于分类算法的Web信息提取方法,通过将网页文本按照其显示属性的不同进行分组,以显示属性值为基础对Web页面文本进行分类,获取所关注文本,从而完成对web页面的信息提取.这种提取方法操作简单,易于实现,对网页结构的依赖性小.     

NEMTF：基于多维度文本特征的新闻网页信息提取方法

目前主流的网页抽取方法存在两大问题：提取信息类型单一,难以获取多种类新闻信息;多依赖HTML标签,难以扩展至不同来源。为此提出一种基于多维度文本特征的新闻网页信息提取方法,利用新闻文本的写作特点划分出写作、语义和位置特征,通过多通道卷积神经网络融合为多维度文本特征,用于提取多种类新闻网页信息;仅需少量数据集训练,就可提取新来源的新闻网页信息。实验结果表明,该方法在性能上高于当前最优方法。     

KPS: a Web information mining algorithm

The Web mostly contains semi-structured information. It is, however, not easy to search and extract structural data hidden in a Web page. Current practices address this problem by (1) syntax analysis (i.e. HTML tags); or (2) wrappers or user-defined declarative languages. The former is only suitable for highly structured Web sites and the latter is time-consuming and offers low scalability. Wrappers could handle tens, but certainly not thousands, of information sources. In this paper, we present a novel information mining algorithm, namely KPS, over semi-structured information on the Web. KPS employs keywords, patterns and/or samples to mine the desired information. Experimental results show that KPS is more efficient than existing Web extracting methods.     

树和模板的文献信息提取方法研究*

教师科研文献信息的自动搜集是科研成果有效管理的重要手段,将网页信息的提取方法用于网络数据库中文献信息的自动搜集有广大的应用前景。提出基于DOM树和模板的文献信息提取方法,利用HTML标记间的嵌套关系将Web网页表示成一棵DOM树,将DOM树结构用于网页相似度的度量和自动分类,相似度高的网页应用同一模板进行信息提取。实验结果表明该方法在提取网络数据库中文献信息的准确率在94%以上。     

一种基于多叉树的HTML到XML的转换方法

当前的Web信息大多数都是HTML格式的，由于HTML文件中没有严格的结构性，故很难能用一种有效的方法来检索或提取隐藏其中的数据，针对HTML的这种缺陷，本文提出了基于多叉树的HTML到XML转换方法，把对HTML的信息检索问题转化为对XML的检索问题，以便简化下一步的检索问题。     

一种基于多叉树的HTML到XML的转换方法

当前的Web信息大多数都是HTML格式的，由于HTML文件中没有严格的结构性，故很难能用一种有效的方法来检索或提取隐藏其中的数据．针对HTML的这种缺陷，本文提出了基于多叉树的HTML到XML转换方法，把对HTML的信息检索问题转化为对XML的检索问题，以便简化下一步的检索问题．