多信息块Web页面中的抽取规则

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block)Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。     

基于Web的新闻信息抽取

随着互联网的普及，信息技术的发展，形成了大量的新闻信息资源。从海量的新闻信息中抽取出有用的资源，是当前迫切需要解决的问题。该文在分析新闻网页结构的基础上，结合了基于DOM的结构抽取和基于文本特征模式抽取两种处理技术的优点，提出了基于Web新闻网页的半自动化抽取技术，自动下载了有用的Web页面，抽取了所需的新闻信息。最后，该文描述了一个面向奥运新闻的信息抽取系统，并给出了该系统的实验结果。     

一种可行的Web数据抽取包装器的设计方法

Web包装器是根据特定的抽取规则从特定的Web数据源执行数据抽取程序,设计Web包装器是Web信息抽取和集成的关键技术.针对网页结构的不确定性和易变性,详细阐述了一种基于预定义模式的Web包装器的设计与实现过程,并选取了几个出版社的新书发布Web页面进行了数据抽取验证和抽取结果分析,取得了较好的效果.充分体现了此Web包装器的可行性,并具有一定的高效性及可维护性,能够应用在基于Wrapper/Mediator方法的Web数据集成.     

一种高效Web数据抽取包装器的设计与实现

Web包装器是根据特定的抽取规则从特定的Web数据源执行数据抽取程序,设计Web包装器是Web信息抽取和集成的关键技术.详细阐述了一种基于预定义模式的Web包装器的设计与实现过程,并选取了几个出版社的新书发布Web页面进行了数据抽取验证和抽取结果分析,取得了较好的效果.充分体现了此Web包装器的可行性、高效性及可维护性,能够应用在基于Wrapper/Mediator方法的Web数据集成.     

抽取Web信息的包装器归纳学习构造

开发Web信息集成系统的关键是为需集成的各个Web信息源构造包装器。鉴于存在的HTLR类包装器对需抽取信息的Web页限制过严，影响了其表达能力，该文扩展了HTLR，提出了DHTLR类包装器的概念和归纳学习构造算法，较HTLR增强了表达能力，能适用于更广泛的信息源。     

Web数据抽取技术研究进展

由于Web上存在着大量有用而复杂的信息,近年来学术界和企业界开发了许多从Web中抽取数据的方法和工具。本文总结了Web数据抽取技术的研究进展和从Web中抽取数据的主要原理、过程、方法和抽取规则,并讨论了未来的研究方向。     

基于Agent和XML的Web页面信息抽取研究与设计

在以前相关研究的基础上,提出了一个建立在Agent和XML基础上的Web页面信息抽取的原型系统。在这个原型系统里,利用Agent的自治能力和合作能力来协助用户对抽取请求进行公式化表述和结合知识库学习抽取规则等。另外,系统还用XML语言描述抽取请求和抽取规则,在其中加入一些语义信息,这些语义信息可被有效利用,从而提高抽取的精确性。     

基于语料的Web页面抽取器的研究与实现

主要介绍了面对万维网上各种各样的诸如文本、声音、图形和图像等语料信息，如何按照用户的实际需求将其中对用户有用的信息抽取出来，从而实现对现有语料信息的一种有效分离。重点介绍了Web信息簇聚性的特点和语料库的设计，以及语料库的实际工作原理。     

基于Web页面有效信息抽取的分类方法

随着Internet的迅猛发展,Web上的网页数目呈现指数级的爆炸性增长趋势,在Web上检索及发现有价值的信息已成为了一项重要的任务,"噪音"的出现往往会降低基于页面处理的各种算法的效率。因此,如何删除页面的噪音,提取页面中的主要内容是Web挖掘中的重要问题。给出了抽取网页中各种分类有效的文本的具体实现。     

基于网页聚类的Web信息自动抽取

针对现今较流行的动态Web网页数量巨大、数据价值高,并且网页结构高度模板化的特点,设计了一个基于网页聚类的Web信息自动抽取系统。在DOM抽取技术基础上利用网页聚类寻找高相似簇,并引入列相似度和全局自相似度计算方法,提高了聚类结果的准确性。抽取模板中应用了可选节点对模板的修正和调整,以提高内容节点的正确标识。实验结果表明,该方法能够自动寻找并抽取网页主要信息,达到了较高的准确率和查全率。     

Web信息的自主抽取方法

提出了基于表格结构及列表结构的W eb页面信息自主抽取的方法。可根据用户对信息的需求自主地从相关页面中抽取信息并将抽取信息按关系模型进行重组存放在数据库中,对表格结构信息源仅需标注一页网页,即可获取抽取知识,通过自学习能够较好地适应网页信息的动态变化,实现信息的自动抽取。对列表结构信息源信息,通过对DOM树结构的分析,动态获得信息块在DOM层次结构中的路径,根据信息对象基本的抽取知识,获得信息对象值。采用自学习的方法以适应网页信息的动态变化。     

面向网上论坛的信息抽取技术

在分析了网上论坛内部的信息组织模式和链接结构的基础上,提出了一套面向网上论坛的语义话题线索抽取框架、叙述了其具体实现。为信息抽取定义了完善的抽取规则规范,提供了用户定制规则的可视化工具和论坛站点中语义信息单元自动下载抽取的后台引擎。     

Generating finite-state transducers for semi-structured data extraction from the Web

Integrating a large number of Web information sources may significantly increase the utility of the World-Wide Web. A promising solution to the integration is through the use of a Web Information mediator that provides seamless, transparent access for the clients. Information mediators need wrappers to access a Web source as a structured database, but building wrappers by hand is impractical. Previous work on wrapper induction is too restrictive to handle a large number of Web pages that contain tuples with missing attributes, multiple values, variant attribute permutations, exceptions and typos. This paper presents SoftMealy, a novel wrapper representation formalism. This representation is based on a finite-state transducer (FST) and contextual rules. This approach can wrap a wide range of semistructured Web pages because FSTs can encode each different attribute permutation as a path. A SoftMealy wrapper can be induced from a handful of labeled examples using our generalization algorithm. We have implemented this approach into a prototype system and tested it on real Web pages. The performance statistics shows that the sizes of the induced wrappers as well as the required training effort are linear with regard to the structural variance of the test pages. Our experiment also shows that the induced wrappers can generalize over unseen pages.     

半结构化网页中多记录信息的自动抽取方法

从多记录网页中准确的自动抽取出需要的信息,是Web信息处理中的一个重要研究课题。针对现有方法对噪声敏感的缺点,该文提出了基于记录子树的最大相似度发现记录模式的思想,以在同类记录的表现模式存在一定差异的情况下正确识别记录。在此基础上,实现了多记录网页自动抽取系统,该系统可以从多个学术论文检索网站中,自动获取结果网页,并自动抽取其中的记录。对常见论文检索网站的实验表明了该系统具有较好的有效性和准确性。     

基于DOM模型扩展的Web信息提取

提出了一种基于DOM模型扩展的Web信息提取方法.将Web页面表示为DOM树结构,对DOM树结点进行语义扩展并计算其影响度因子,依据结点的影响度因子进行剪枝,进而提取Web页面信息内容.该方法不要求对网页的结构有预先认识,具有自动和通用的特点.提取结果除可以直接用于Web浏览外,还可用于互联网数据挖掘、基于主题的搜索引擎等应用中.     

基于遗传算法的Web信息抽取

WHISK系统是一个半自动的IE系统,对结构化、半结构化的Web文本它都能使用生成的抽取规则进行信息抽取．但是它在规则学习过程中规则不能保证以最优的方式进行扩展,且生成规则集的时间较长．文中主要针对这些问题,提出利用遗传算法改进WHISK的监督式学习算法,并采用移除法生成规则集．实验结果表明此方法在效率和召回率上都得到提高．     

Web智能信息检索体系结构的研究

利用XML建立了基于领域模型的Web信息集成系统 ,对Web信息进行了分割、组织和管理 ,并参考公共对象请求代理结构CORBA ,集成XML和移动Agent技术的优势 ,构造了一个Web智能信息检索体系结构。它不仅适合Web发展的需要 ,同时为用户获取网络信息提供了一种有效的方法。     

Web信息抽取研究

在分析当前一些主流的wrapper技术的基础上，提出了一个基于移动Agent的web信息抽取系统框架。在该框架中，利用移动Agent所具有的自治性、移动性、交互性和智能性．将数据抽取和转换任务交给移动Agent．让其移动到Web数据源上去完成信息抽取任务，并将抽取结果传田。这样不但可以减少数据传输量，节约网络带宽。降低响应时间；还可以减少对网络的依赖性，允许网络的间断连接。     

Web信息抽取研究

在分析当前一些主流的wrapper技术的基础上,提出了一个基于移动Agent的Web信息抽取系统框架。在该框架中,利用移动Agent所具有的自治性、移动性、交互性和智能性,将数据抽取和转换任务交给移动Agent,让其移动到Web数据源上去完成信息抽取任务,并将抽取结果传回。这样不但可以减少数据传输量,节约网络带宽,降低响应时间;还可以减少对网络的依赖性,允许网络的间断连接。