基于统计的中文网页正文抽取的研究

信息抽取技术是一种广泛运用于互联网的数据挖掘技术。其目的是从互联网海量数据中抽取有意义、有价值的数据和信息,从而能更好的利用互联网资源。文中采用一种统计网页特征的方法,将中文网页中的正文部分抽取出来。该方法首先将网页表示成基于XML的DOM树形式,利用统计的节点信息从树中过滤掉噪音数据节点,最后再选取正文节点。该方法相比传统的基于包装器的抽取方法,具有简单,实用的特点,试验结果表明,该抽取方法准确率达到90%以上,具有很好的实用价值。     

基于脚本代码和局部数据匹配的网页抽取研究

随着科技的进步互联网的普及,InYXrnXY逐渐成为我们日常生活中的重要角色,变成学习和社会生活中的一部分。随着网络的高速发展,导致用户对信息的需求量也越来越高。HYML作为WXD信息的主要载体在发展中逐渐变得复杂,内容变得丰富。WXD普遍以HYML语言的形式出现,不用直接进行分析处理。WXD信息在网页信息抽取上可以分为手工抽取、半自动抽取、全自动抽取三种,对于网页信息抽取来说其发展的结果就是将逐步被全自动化网页信息抽取技术所取代。通过新方案对网页信息抽取上市进行总结,第一步网页控制代码树可以从网页脚本代码的嵌入转换而来,通过对网页信息抽取的最小编辑距离来动态的规划网页信息抽取的算法,并且将同类阈值的网页结合在一起,最后再根据网页自动生成的规则采取相应的容错性策略,完成对同类网页的抽取。     

基于Web的新闻信息抽取

随着互联网的普及，信息技术的发展，形成了大量的新闻信息资源。从海量的新闻信息中抽取出有用的资源，是当前迫切需要解决的问题。该文在分析新闻网页结构的基础上，结合了基于DOM的结构抽取和基于文本特征模式抽取两种处理技术的优点，提出了基于Web新闻网页的半自动化抽取技术，自动下载了有用的Web页面，抽取了所需的新闻信息。最后，该文描述了一个面向奥运新闻的信息抽取系统，并给出了该系统的实验结果。     

基于路径学习的信息自动抽取方法

针对用户需求的网页信息自动抽取是解决互联网信息爆炸问题的一个有效途径 ,然而现有的信息自动抽取方法均难以同时满足网页信息自动抽取中查全率与查准率高、抽取速度快、抽取信息量大和用户负担轻的要求 .本文提出了一种基于路径学习的信息自动抽取方法 ,并采用该方法编制了一个商品价格信息自动抽取系统 .实验结果表明 ,该方法具有用户负担较轻 (只需用户提供 2～ 4个学习实例 )、查全率 (97.0 4～ 10 0 % )与查准率 (99～ 10 0 % )高、可实现大样本量信息抽取和时间资源耗费少 (抽取时间 <1秒 )等特点 ,能基本满足网页信息自动抽取的要求 .     

基于云计算平台的知识库构建方案

当今互联网已成为一个巨大的开放式知识库,其中包含着许多有价值的信息。互联网信息呈现形式多样性的 特点,如何初步筛选出有价值的网页,是信息抽取的第一要务,也是构建知识库的基础。本文在建立互联网模型基础上,利用 Hadoop 平台下的Pagerank 算法,旨在研究如何在节省时间和空间基础上筛选出有价值的网页,为从互联网抽取有价值信息构 建知识库提供解决方案。     

基于多知识的Web网页信息抽取方法

从Web网页中自动抽取所需要的信息内容,是互联网信息智能搜取的一个重要研究课题,为有效解决网页信息抽取所需的信息描述知识获取问题,这里提出了一个种基于多知识的Web网页信息抽取方法（简称MKIE方法）。该方法将网页信息抽取所需的知识分为二类,一类是描绘网页内容本身表示特点,以及识别各网信息对象的确定模式知识,另一类则描述网页信息记录块,以及各网页信息对象的非确定模式知识,MKIE方法根据前一类知识,动态分析获得后一类知识;并利用这两类知识,最终完全从信息内容类似担其表现形式各异的网页中,抽取出所需要的信息,美大学教员论文网页信息抽取实验结果表明,MKIE方法具有较强的网而信息自动识别与抽取能力。     

基于视觉特征的就业信息页面抽取方法

随着网络技术的发展,互联网上出现了大量的就业信息,但信息数据零散的以不同的呈现方式展现在各种就业信息网站中。为了解决传统的Web信息抽取方法中准确率和效率相矛盾的问题,本文通过采用基于网页视觉特征的模板生成方法,提出了一种基于网页视觉特征的就业信息页面抽取方法,在保证抽取准确率的同时,尽可能减少人工干预。该方法通过分析网页视觉特征自动生成初始模板,并通过人工配置,生成最终网页抽取模板。通过此方法,实现了将互联网上零散的就业数据转换为统一的数据格式存储下来。实验结果表明,本文提出的抽取方法抽取的准确率和召回率都很高,取得了比较好的抽取结果。     

基于语义的互联网药品信息抽取算法

针对现有互联网信息抽取技术存在准确率不高、覆盖率低、人工干预多等诸多缺陷,提出了一种新的互联网药品信息抽取算法,通过引入语义技术构建三维语义词典,屏蔽不同药品信息网页在内容和结构上的异构性,同时利用所需抽取的目标药品属性信息具有一定聚集度的特征,基于信息熵的理论设计出对目标信息智能定位和抽取的方法。实验证明该算法既能降低人工干预,又具备较高的准确率和召回率。应用该算法能实时自动全面准确地获取互联网药品信息,为政府药监部门提供丰富的监管依据,对规范医药电子商务市场,保证人们的用药安全具有重要的现实意义。     

一种多策略联合信息抽取方法

介绍了一种多策略联合信息抽取方法——MSCIE(Multi-Strategy Comtbination Information Extraction)．MSCIE将对表格式网页的信息抽取分为基于网页结构特征分析的信息抽取和基于模式匹配的信息抽取，提出了一种对网页DoM(Document Object Moclel)树的冗余信息进行剪枝分析的方法和一种实体特征模式发现算法分别用于这两种信息抽取方法，并通过两种策略联合完成信息抽取工作．应用于互联网竞争情报监测系统中，从大量网站中抽取多种商品的供求信息，取得了较高的准确率和召回率(平均在95％以上)。     

Web藏文文本资源挖掘与利用研究

该文结合链接分析技术和藏文编码识别技术,使用网络爬虫实现对互联网上藏文文本资源的挖掘,分析了Web藏文文本资源的分布情况。统计数据显示,国内藏文网站50%以上在青海省;约87%的藏文网页集中分布在31个大型网站中;人们正在逐步弃用旧有藏文编码,使用Unicode编码来制作网页。利用HTML标记、栏目归属、标点符号等自然标注信息对这些文本进行抽取,可以构建篇章语料和文本分类语料,可以抽取互联网藏文词库,进行词频统计和训练藏文语言模型,结合双语词典和搜索引擎技术抽取双语平行语料。这些语料可用于藏文分词、命名实体识别、信息检索、统计机器翻译等研究领域。     

异构环境下基于Web的信息系统的设计与实现

信息社会的到来,使得Web技术与数据库技术紧密结合起来,开发基于Web的MIS系统是未来的发展方向。但是目前一个系统中经常存在多个异构数据库。因此,该文着重对如何进行异构环境下基于Web的信息系统的开发进行了分析,提出了使用PHP技术开发异构环境下基于Web的信息系统的方案,并给出了实例。     

图书电子商务网站的设计与实现

阐述基于ASP.NET技术构建一个实现网上购物的图书电子商务网站,并详细分析了系统的功能需求,及主要功能模块的设计与实现方法。该系统将Web技术和数据库技术很好地融合在一起,使数据库成为Web的重要组成部分,实现了数据库技术和网络技术的有机结合。     

Integrating database and World Wide Web technologies

Integrating database and World Wide Web technologies is another topic where industrial and practical activities lead ahead of academic ones. The purpose of this article is to survey the related activities from database people's view and stimulate the interests among the database community. It covers three aspects. First, the efforts that apply established database techniques to retrieving Web information are summarized. These efforts aim to overcome the inadequacy of file system technology on which the Web is based, so that information can be retrieved easily and quickly from the Web. Second, various approaches to interfacing databases via the Web are discussed, with examples of accomplished prototypes and commercial products showing recent advances. Finally, some possible extensions to the traditional database techniques are investigated for building fully fledged Webbased database applications.     

基于粗糙集的Web文本挖掘技术

随着Internet的普及和相关技术的发展,Web上聚集了大量的信息资源。如何从这些Web信息资源中提取有用信息这一问题促使了Web文本挖掘技术的产生。本文首先介绍了粗糙集的相关概念和理论,然后对基于粗糙集的Web文本挖掘技术进行了初步探讨和研究。     

基于粗糙集的Web文本挖掘技术

随着Internet的普及和相关技术的发展,Web上聚集了大量的信息资源.如何从这些Web信息资源中提取有用信息这一问题促使了Web文本挖掘技术的产生.本文首先介绍了粗糙集的相关概念和理论,然后对基于粗糙集的Web文本挖掘技术进行了初步探讨和研究.     

Web数据库网站信息发布系统设计与实现

介绍应用ASP和ACCESS数据库技术,构建基于Web数据库的网站信息发布系统,并阐述其设计与实现.     

PHP在Web数据库的应用研究

信息社会的到来,使昝ＷＥＢ技术与数据库技术紧密结合起来。该文着重对ＰＨＰ在ＷＥＢ数据库中的开发技术作了分析,并与其它ＷＥＢ数据库开发技术进行了比较,提出取Ｌｉｎｕｘ为系统平台,利用ＰＨＰ与ＭｙＳＱＬ构建民ＷＥＢ数据库系统的方案民,并对其前景作了展望。     

RDS在远程mdb数据库连接中的应用

随着计算机网络技术尤其是因特网技术的普及应用,远程数据库技术日益受到软件开发人员的重视,在Web网站后台管理系统和Intranet信息系统中,这种技术具有广阔的应用前景。远程数据库的连接方法是远程数据库技术的关键,尤其显得重要。本文作者根据自己从事信息管理系统开发的经验,给出在VB6.0编程中使用RDS组件与远程mdb数据库连接的方法。     

面向Web的信息收集工具的设计与开发

随着互联网的发展以及网上信息的日益丰富 ,传统的信息处理已经延伸到互联网领域。在对互联网上的信息进行处理时 ,常常要将分布在互联网各处的Web页面下载到本地供进一步处理 ;这便是所讨论的Web页面收集工具的核心功能。该页面收集系统在综合使用Web页面间的链接关系和页面内容的基础上 ,增加了多层次的页面过滤模块 ,可用来收集特定领域内的Web页面 ;同时可采用多机并行收集的方法提高页面收集的效率 ;采用大型数据库存放元收集信息 ,并对收集到的页面进行压缩 ,能够支持海量数据的收集 ;动态更新机制的实施使得下载到本地的页面信息能够得到及时的更新。     

浅谈Web数据库访问技术

World Wide Web(WWW)是当今Internet上最主要的信息服务。Web技术与数据库技术的结合能够综合二者的优点、发挥二者的潜力,充分利用已有的数据库信息资源。目前基于Web的数据库访问技术有很多种方法,且各有千秋。该文主要介绍在Web应用程序中较为流行的几种数据库访问技术,并对这几种技术进行详细阐述。