基于WEB的增量式数据挖掘的研究与应用

Web数据挖掘是当前数据挖掘的热点研究领域之一.由于Web页面数据的半结构化、不规则性和动态更新等特征,使得基于Web内容的数据挖掘研究具有一定的复杂性.本文首先简介如何从Web页面中提取半结构化数据,接着提出一种增量FP-Growth挖掘方法,使传统的FP-Growth方法适应于动态数据环境的关联规则挖掘,最后以中国汽车市场为例,挖掘消费者对不同类型、不同型号、不同价格轿车的购买偏好.     

基于HTML结构的Web文本主题挖掘研究

随着数据挖掘应用的深入,非结构化和半结构化数据的挖掘,将成为下一个数据挖掘应用的热点。文本挖掘是一种典型的非结构化数据挖掘,而Web挖掘则是典型的半结构化数据挖掘。所以将信息处理技术中的汉语分词、信息抽取、语义分析等技术应用到Web挖掘研究技术是必然的发展趋势。本文根据Web挖掘的特点,运用数据抽取进行数据结构转换并把语义分析技术应用到数据抽取的过程中的思想,以便使数据提取更加准确。     

基于Web Services的Web挖掘实现方案

随着信息技术的发展,web挖掘技术已成为数据挖掘技术的研究热点。本文针对Web挖掘中数据库环境的异构和信息半结构化等难题,提出了一个Webservices框架下的Web挖掘实现方案,使用XML关键技术对异构信息进行包装,使之成为统一的数据模式,从而可以采用数据挖掘技术从海量异构信息中提取出更加有用的信息。     

基于XML的Web数据挖掘的研究

1.引言传统的数据挖掘方法一般是针对数据库或数据仓库中的结构化数据进行的,但在现实世界中,人们面对的数据绝大部分是属于非结构化或半结构化的,例如Web页面。我们知道,Web的数据量目前至少可以用数百兆兆字节计算,且仍在迅速增长。这些数据一方面为数据挖掘提供了丰富的资源,另一方面也对数据挖掘技术提出了严峻的挑战。与传统的数据挖掘相比,实现Web数据挖掘的主要困难表现在以下三个方面:第一,Web页面缺乏统一的结构,Web上的每一个站点就     

基于Ontology的Web内容二阶段半自动提取方法

目前Web中的海量信息已经成为人们重要的信息来源，如何从大量半结构化或无结构的HTML网页中提取信息已成为目前的研究热点．但是Web页面的初始设计目的是为了方便用户浏览，而不是便于应用程序自动处理，如何实现一个精确的、应用广泛的提取系统面临很多困难．传统的方法可以粗略划分为基于交互产生的包装程序和自动生成的包装程序，但是基于交互产生的包装程序不具备普遍的应用性，基于自动生成的包装程序准确性不高．该文提出了一种新的二阶段基于语义的半自动提取方法，在保证提取准确性的前提下，尽可能减少交互操作，同时随着参与网站的增加，逐步提高包装程序生成的自动化．相对于目前的方法，该文方法同时考虑了包装程序提取结果的准确性和提取过程的应用普遍性．其有效性在原型系统中得到验证．应用该方法，已经成功提取了120万HTML页面．     

应用聚类技术分类提取Web页面

针对Web中数据密集型的动态页面,文本数据少,网页结构化程度高的特点,介绍了一种基于HTML结构的web信息提取方法。该方法先将去噪处理后的Web页面进行解析,然后根据树编辑距离计算页面之间的相似度,对页面进行聚类,再对每一类簇生成相应的提取规则,对Web页面进行数据提取。     

基于启发式规则的多记录页面分隔符识别方法

从半结构化或者非结构化的Web文档中提取信息时通常要求指定记录集的边界符,如果不根据记录边界符将包含多记录的页面分成单个记录块,那么记录的提取就不能成功。介绍了一种根据启发式的规则发现Web文档中的记录分隔符的方法,能够很好地解决多记录页面记录分割的问题。     

基于DOM的Web信息提取

当前，Web已经成为人们获取信息的主要渠道之一。然而，用于表达Web页面信息的HTML语言存在着与生俱来的缺点。HTML的“标记”只是告诉浏览器软件如何显示所定义的信息，却不包含任何语义。因此由HTML语言所表述的Web页面经过浏览器分析后只适合人们浏览，不适合作为一种数据交换的方式由机器处理。该文以文档对象模型DOM为基础，把所要提取的信息在DOM层次结构中的路径作为信息抽取的“坐标”，并以这个基本原理为基础设计了一种归纳学习算法来半自动地生成提取规则，然后根据提取规则生成Java类.生成的Java类可以作为Web数据源包装器组成的重要构件。     

XML技术在Web数据挖掘中的应用

随着网络资源的日益丰富,从中发现潜在的、有价值的信息的商业需求一直推动着数据挖掘技术不断向前发展,由于Web数据本身具有半结构化、组织性差的特点,使得Web数据挖掘工作变得十分困难,而XML的出现为Web数据挖掘技术带来了新的契机和巨大的发展。本文介绍了XML技术以及Web数据挖掘,阐述了XML技术在Web数据挖掘中的应用。由于基于XML的Web数据挖掘是一门新兴的技术,如何进一步充分利用Web资源进行数据挖掘还有待于进一步研究。     

Web挖掘在远程教学系统中的应用

Web挖掘是针对包括Web页面内容、页面之间的结构、用户访问信息等在内的各种Web数据,应用数据挖掘的方法,提取抽象的、潜在的有用的知识。本文通过对远程教学系统中Web挖掘应用的分析,着重介绍了Web访问挖掘基本流程,并总结了Web挖掘结果在远程教学系统中的重要作用。     

Web挖掘在远程教学系统中的应用

Web挖掘是针对包括Web页面内容、页面之间的结构、用户访问信息等在内的各种Web数据．应用数据挖掘的方法．提取抽象的、潜在的有用的知识。本文通过对远程教学系统中Web挖掘应用的分析。着重介绍了Web访问挖掘基本流程．并总结了web挖掘结果在远程教学系统中的重要作用。     

新闻网页主题内容提取方法研究

网页的半结构化特点与新闻的自身特征为选择性抽取网页内容创造了条件。我们在前人的研究基础上,挖掘Web页面结构特征、充分利用Html标记与新闻特征,重点从Web页面编者对文本修饰角度出发,提出了基于网页内容分割的主题内容抽取方法。实验结果表明该方法能有效地抽取新闻各要素,测试的抽取准确率在96%以上。     

基于Web的数据挖掘技术

由于Web数据所具有的半结构化特性,使得Web数据挖掘更加复杂,不同于传统的基于数据库的数据挖掘。基于Web的数据挖掘主要分为:Web内容挖掘、Web结构挖掘和Web使用记录的挖掘。文中综述了基于Web的数据挖掘技术,并且介绍了一种全新的技术XML。XML的推广和使用,对于推动Web挖掘和知识获取具有重要的意义。如何进一步的开发Web数据挖掘,充分利用Web资源,还有待于进一步的研究。Web数据挖掘的研究具有极大的挑战性同时又具有极大的开发潜力。     

基于Web的数据挖掘技术

基于Web数据挖掘是一个结合了数据挖掘和WWW的热门研究主题.本文综述了基于Web的数据挖掘技术,介绍了Web数据挖掘目前最流行的分类:Web内容挖掘、Web结构挖掘和Web访问挖掘,根据Web数据挖掘的最近研究现状,小结了几个研究热点.由于Web数据所具有的半结构化特性,使得Web数据挖掘更为复杂,不同于传统的基于数据库的数据挖掘.最后介绍一种全新的技术XML,XML的出现为解决Web数据挖掘的难题带来了机会.Web数据挖掘的研究具有极大的挑战性,同时又具有极大的开发潜力.     

Web挖掘在现代远程教育中的应用

从Web上异质的、非结构化的数据中发现有用的知识或者模式,是目前数据挖掘研究中的一个重要内容。Web挖掘就是从Web文档和Web活动中抽取感兴趣的、潜在的有用模式和隐藏的信息。文章介绍了Web挖掘基本情况。在此基础上对基于Web的文本挖掘进行了分析研究,给出了一个基于Web的文本挖掘的结构模型图。在Web挖掘和数据挖掘研究的基础上,提出了一个智能化、个性化的现代远程教育系统结构模型。它比传统的远程教育系统具有更大的发展前景。     

多信息块Web页面中的抽取规则

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block)Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。     

一种基于页面Block的Web信息提取方法

基于页面结构的信息提取是Web数据挖掘中三大研究领域之一。该研究的关键技术是如何识别Web页面的组织形式,从中挖掘所需要的页面信息。文中基于页面的语义分块（Block）给出一个新的块主题提取算法,与传统的以页面为单位的Web信息提取相比,更符合实际情况,粒度优势明显。该算法针对页面中不同分块的重要性给予不同的权值,依据权值大小取舍页面信息提供给用户。针对该算法进行了模拟实验,从实验结果可以看出该算法具有一定的实用性和有效性。     

一种基于页面Block的Web信息提取方法

基于页面结构的信息提取是Web数据挖掘中三大研究领域之一。该研究的关键技术是如何识别Web页面的组织形式,从中挖掘所需要的页面信息。文中基于页面的语义分块（Block）给出一个新的块主题提取算法,与传统的以页面为单位的Web信息提取相比,更符合实际情况,粒度优势明显。该算法针对页面中不同分块的重要性给予不同的权值,依据权值大小取舍页面信息提供给用户。针对该算法进行了模拟实验,从实验结果可以看出该算法具有一定的实用性和有效性。     

Web挖掘在现代远程教育中的应用

从Web上异质的、非结构化的数据中发现有用的知识或者模式,是目前数据挖掘研究中的一个重要内容.Web挖掘就是从Web文档和Web活动中抽取感兴趣的、潜在的有用模式和隐藏的信息.文章介绍了Web挖掘基本情况.在此基础上对基于Web的文本挖掘进行了分析研究,给出了一个基于Web的文本挖掘的结构模型图.在Web挖掘和数据挖掘研究的基础上,提出了一个智能化、个性化的现代远程教育系统结构模型.它比传统的远程教育系统具有更大的发展前景.     

基于XML的Web文本挖掘模型的研究与设计

Web上的数据量急剧膨胀使得进行Web数据挖掘成为数据挖掘技术研究的热点.而XML能够为Web挖掘提供半结构化的数据模型,解决了Web挖掘中的数据源问题.介绍了XML的和Web文本挖掘的概念,提出了一种基于XML的Web文本挖掘模型,剖析了该模型的各个组成部分,给出了该模型的特点.