共查询到19条相似文献,搜索用时 125 毫秒
1.
针对Web结构挖掘算法容易出现“主题漂移”以及主机间的多重互相加强关系的问题,提出了一种基于最大流与页面相似度值的超链接结构挖掘方法。该方法在传统的超链接结构挖掘算法HITS的基础上引入页面相似度值构造邻接矩阵,并结合基于最大流的Web社区发现技术来构建特征向量空间模型,通过迭代计算最终获得价值最高的权威结果集和中心结果集。实验结果证明该方法有较好的查准率与查全率,并有效抑制了“主题漂移”现象,具有一定的实用价值。 相似文献
2.
基于ID3算法的Web日志挖掘预处理中的Frame页面过滤技术的研究 总被引:1,自引:0,他引:1
描述了Web日志数据预处理技术的一种改进技术——Frame过滤技术,对其关键部分与运作模式进行了研究与改进。讨论了Frame页面过滤预处理技术在Web页面挖掘中的效率问题,分析了决策树算法中最著名的算法——ID3算法,并用ID3算法对Frame过滤算法进行了改进,比较新旧算法的执行效率及算法结果质量,得出了新算法执行效率更高及质量更好的结论,从而搞高了对存在Frame页面的网站实施Web日志挖掘算法时挖掘结果的兴趣度。 相似文献
3.
基于页面结构的信息提取是Web数据挖掘中三大研究领域之一。该研究的关键技术是如何识别Web页面的组织形式,从中挖掘所需要的页面信息。文中基于页面的语义分块(Block)给出一个新的块主题提取算法,与传统的以页面为单位的Web信息提取相比,更符合实际情况,粒度优势明显。该算法针对页面中不同分块的重要性给予不同的权值,依据权值大小取舍页面信息提供给用户。针对该算法进行了模拟实验,从实验结果可以看出该算法具有一定的实用性和有效性。 相似文献
4.
5.
随着Internet技术的发展,Web网页成为人们获取信息的有效途径,Web数据挖掘逐渐成为研究的热点。基于Web结构挖掘的PageRank算法存在不足的情况下,提出了一种改进的算法,实验结果证明改进的算法较原算法具有较好的效果,具有一定的实用价值。 相似文献
6.
Web结构挖掘及其算法 总被引:10,自引:0,他引:10
随着网络和数据挖掘技术的发展,Web数据挖掘得到了较多的研究。该文从Web结构挖掘的角度出发,在分析了网络有向图的总体结构以及导航页面、目标页面和网络功能的基础上,研究了结构挖掘算法,针对Hub页面的多主题性、无关页面、无关链接等问题,提出了HITS算法的改进算法。 相似文献
7.
8.
针对原始最大流算法给每条边的边容量分配一个常量值,在社区质量及成员数量上造成的问题,提出了一种改进的Web社区挖掘算法。该算法考虑不同边的重要性差异,将加权PageRank算法中页面的重要度转化为衡量页面之间边重要性的传递概率值,并使用该值对边容量进行赋值。实验结果表明,改进的算法有效地提高了Web社区的质量。 相似文献
9.
从Web结构挖掘的角度出发,比较了基于链接结构分析的PageRank和HITS 2个经典算法,针对HITS单纯利用链接,忽略主题相关性问题,利用模糊关系的合成,得到页面与查询词之间的模糊隶属关系,对原有的HITS算法进行改进.实例验证了算法的有效性. 相似文献
10.
基于改进的模糊聚类算法的Web日志挖掘 总被引:1,自引:1,他引:0
Web日志挖掘是Web数据挖掘领域中的一个重要研究方向,是通过对Web日志记录的挖掘发现用户访问Web页面的浏览模式用以改进Web站点的性能和组织结构。在介绍Web日志挖掘的原理和技术的基础上对Web日志挖掘中的聚类技术进行了分析研究,并重点讨论了有关模糊聚类算法的原理及计算过程,对这一算法进行了改进后的优化和应用,最后用实例对算法加以验证。 相似文献
11.
网络爬虫技术是网络信息获取的重要手段,面向Web论坛的信息获取则是网络爬虫技术所面临的新课题.在分析和研究面向Web论坛信息获取技术的基础上,本文设计和实现了一种用于Web论坛信息获取的主题网络爬虫系统,根据Web论坛信息组织结构,提出了基于遍历策略的信息搜索技术;根据正文信息分布及论坛自身特点,提出了基于DOM与分块... 相似文献
12.
Web结构挖掘中基于熵的链接分析法 总被引:1,自引:0,他引:1
在Web结构挖掘中,传统的HITS(hyperlinkinducedtopics search)算法被广泛应用来寻找搜索引擎返回页面中的Auto-rity页面和Hub页面.但是在网站中除了有价值的页面内容外,还有很多与页面内容无关的链接,如广告、链接导航等.由于这些链接的存在,应用HITS算法时就会导致某些广告网页或无关网页获得较高的Authority值和Hub值.为了解决这个问题,在原有HITS算法的基础上,引入了香农信息熵的概念,提出了基于熵的网页链接分析方法来挖掘网页结构.该算法的核心思想是用信息熵来表示链接文本所隐含的知识. 相似文献
13.
Extracting Web Data Using Instance-Based Learning 总被引:1,自引:0,他引:1
This paper studies structured data extraction from Web pages. Existing approaches to data extraction include wrapper induction
and automated methods. In this paper, we propose an instance-based learning method, which performs extraction by comparing
each new instance to be extracted with labeled instances. The key advantage of our method is that it does not require an initial
set of labeled pages to learn extraction rules as in wrapper induction. Instead, the algorithm is able to start extraction
from a single labeled instance. Only when a new instance cannot be extracted does it need labeling. This avoids unnecessary
page labeling, which solves a major problem with inductive learning (or wrapper induction), i.e., the set of labeled instances
may not be representative of all other instances. The instance-based approach is very natural because structured data on the
Web usually follow some fixed templates. Pages of the same template usually can be extracted based on a single page instance
of the template. A novel technique is proposed to match a new instance with a manually labeled instance and in the process
to extract the required data items from the new instance. The technique is also very efficient. Experimental results based
on 1,200 pages from 24 diverse Web sites demonstrate the effectiveness of the method. It also outperforms the state-of-the-art
existing systems significantly. 相似文献
14.
基于Bayes概率的用户兴趣发现 总被引:2,自引:0,他引:2
本文结合网页结构,充分考虑用户在网页的滞留时间和页面切换,基于Bayes概率提出了一种能挖掘出优良的用户兴趣迁移模式及感兴趣的页面。采用本文提出的思想及算法,再结合人工智能策略,将能更好地辅助网站设计,并为电子商务的决策提供充分依据。 相似文献
15.
Ana G. Maguitman Filippo Menczer Fulya Erdinc Heather Roinestad Alessandro Vespignani 《World Wide Web》2006,9(4):431-456
Automatic extraction of semantic information from text and links in Web pages is key to improving the quality of search results.
However, the assessment of automatic semantic measures is limited by the coverage of user studies, which do not scale with
the size, heterogeneity, and growth of the Web. Here we propose to leverage human-generated metadata—namely topical directories—to
measure semantic relationships among massive numbers of pairs of Web pages or topics. The Open Directory Project classifies
millions of URLs in a topical ontology, providing a rich source from which semantic relationships between Web pages can be
derived. While semantic similarity measures based on taxonomies (trees) are well studied, the design of well-founded similarity
measures for objects stored in the nodes of arbitrary ontologies (graphs) is an open problem. This paper defines an information-theoretic
measure of semantic similarity that exploits both the hierarchical and non-hierarchical structure of an ontology. An experimental
study shows that this measure improves significantly on the traditional taxonomy-based approach. This novel measure allows
us to address the general question of how text and link analyses can be combined to derive measures of relevance that are
in good agreement with semantic similarity. Surprisingly, the traditional use of text similarity turns out to be ineffective
for relevance ranking. 相似文献
16.
本文介绍了Web数据挖掘的概念及其分类,并对Web数据挖掘技术的研究进行概述。利用Apriori算法发现频繁集,找到页面间的关联规则。针对网页超链接结构的特点:一条超链接只能建立在两个网页上,发现频繁集只要找出所有2-项集即可,从而提出网页超链接挖掘的NApriori算法。NApriori算法显著提高了Apriori算法的效率。 相似文献
17.
Daiyue Weng Jun Hong David A. Bell 《International Journal of Software and Informatics》2012,6(3):453-472
A rapidly increasing number of Web databases are now become accessible via their HTML form-based query interfaces. Query result pages are dynamically generated in response to user queries, which encode structured data and are displayed for human use. Query result pages usually contain other types of information in addition to query
results, e.g., advertisements, navigation bar etc. The problem of extracting structured data from query result pages is critical for web data integration applications, such as comparison shopping, meta-search engines etc, and has been intensively studied. A number of approaches have been proposed. As the structures of Web pages become more and more complex, the existing approaches start to fail, and most of them do not remove irrelevant contents which may affect the accuracy of data record extraction. We propose an automated approach for Web data extraction. First, it makes use of visual features and query terms to identify data sections and extracts data records in these sections. We also represent several content and visual features of visual blocks in a data section, and use them to filter out noisy blocks. Second, it measures similarity between data items in different data records based on their visual and content features, and aligns them into different groups so that the data in the same group have the same semantics. The results of our experiments with a large set of Web query result pages in di?erent domains show that our proposed approaches are highly effective. 相似文献
18.
在分析了网站拓扑结构与Web使用挖掘以及个性化推荐之间关系的基础上,提出了一种超链接结构的分类方法,通过对网站结构信息的分析和处理,得到网站的拓扑结构并进行存储,从而解决了单个网站中Web使用挖掘及推荐中的若干实际问题. 相似文献
19.
基于新型的竞争型神经网络的Web日志挖掘 总被引:10,自引:0,他引:10
提出了一种基于竞争的自激励神经网络学习算法SIN,该算法综合了自适应谐振理论和竞争型神经网络的特点,并在隐含层采用了Hebb学习规则,既能保证原有记忆不受影响,又能对新的信息加以记忆,同时又克服了ART网络对噪音敏感的缺点,学习速度快,分类性能好,具有在线学习的功能.将该算法应用于Web日志挖掘能够有效地剔除噪音,得到很好的用户聚类和页面聚类的结果,为网站的管理者设计个性化的商务网站提供了有效的决策依据. 相似文献