基于示例的Web信息自动获取系统的设计与实现

介绍了一个基于多层体系结构的个性化Web信息自动获取系统的设计与实现,提出了一种新的基于少量中文示例Web页面的兴趣特征抽取算法,并给出了系统的检全率和检准率测试结果.实验结果表明,较基于关键词的搜索引擎而言,该系统能充分考虑用户的兴趣偏好(示例),长期、主动地向用户提供更加准确的Web信息获取服务.     

个性化推荐服务中用户兴趣模型研究

本文提出了一种利用用户浏览页面集的内容信息和浏览行为信息,隐式地创建用户兴趣描述文件的方法。通过对用户浏览的web页面进行兴趣度分析,并与对用户浏览网页时的浏览行为分析相合,得到了用特征矩阵表示的用户兴趣模型。并采用层次聚类算法和k-means聚类算法相结合的综合聚类算法进行聚类,得到用兴趣分类树表示的用户兴趣模型。由于采用的是隐式创建用户描述文件的方法,减少了因用户参于而带来的系统噪声,保证了所创建的用户兴趣模型的准确性。     

一种基于页面价值和跳转偏爱度挖掘频繁访问路径的模型

设计实现了一种从Web日志挖掘用户频繁访问路径的模型.提出网页聚类分析的一个重要基础理论,以及页面价值和跳转偏爱度的概念,并建立页面价值模型.该模型从页面价值-用户矩阵计算出页面价值间的加权欧氏距离,并由距离大小获得等价值页面集.再根据跳转偏爱度把等价值页面集转化为2-项频繁访问子路径集,并经过自适应的合并算法得到最终的频繁访问路径集.实验证明该页面价值模型能高效获得更精准的频繁访问路径.     

基于TP-RBAC权限树算法研究及应用

为了提高基于Web信息管理系统中生成用户权限树算法的灵活性和效率,提出了一种基于TP-RBAC模型的权限树动态生成算法.以资源页面作为用户权限的最小单位,综合使用队列、哈希表和树3种数据结构在.NET平台下进行实现.该算法在实际的销售管理系统中得到了应用和测试,测试结果表明了该算法的可行性.     

MFPSM:基于双向约束的极大频繁页面集挖掘算法

挖掘极大频繁页面集是WEB使用挖掘中的关键应用之一。由于一定时间段的会话中蕴含着用户的访问模式与访问动机,设计一种结点带有驻留时间,类似FP-tree的频繁页面树FPDT-tree结构;利用FPDT-tree结构存储双向驻留时间约束的会话数据库,简化挖掘过程中驻留时间阈值的设置。基于FPDT-tree提出算法MFPSM挖掘会话中的极大频繁页面集,实验结果表明,在时间约束环境中,通过决策者给出合适的时间约束阈值,该算法可以有效地缩短挖掘极大频繁页面集的时间。     

基于用户兴趣的个性化模型研究

大多数搜索引擎没有考虑到用户的个性和兴趣,大大降低了搜索的准确性。采用Web挖掘技术对存放在Web缓存中的历史页面进行挖掘,获取用户的兴趣信息,使用最优二叉树的形式来表示用户兴趣,利用获取的用户兴趣信息来构建个性化模型,并且利用智能Agent跟踪用户的兴趣变化,不断地对用户兴趣个性化模型进行更新。     

基于树比较的Web页面主题信息抽取

为了从具有海量信息的Internet上自动抽取Web页面的信息,提出了一种基于树比较的Web页面主题信息抽取方法。通过目标页面与其相似页面所构建的树之间的比较,简化了目标页面,并在此基础上生成抽取规则,完成了页面主题信息的抽取。对国内主要的一些网站页面进行的抽取检测表明,该方法可以准确、有效地抽取Web页面的主题信息。     

基于本体的个性化信息检索技术研究

针对传统的采用关键词的信息检索方式在个性化方面的不足,提出了一种根据领域本体的个性化信息检索模型.首先获取用户的特征信息,接着利用用户的特征信息构建基于本体的用户兴趣模型,在检索过程中通过领域本体概念和用户兴趣模型对检索请求进行分析并对其进行扩展,获得符合检索意图的结果,在此基础上按兴趣度大小处理后将最终个性化信息检索结果反馈给用户.通过搭建关于本体的个性化检索原型系统,仿真结果验证了改进模型的有效性.     

个性化搜索引擎中用户兴趣模型的构建方法

在分析个性化搜索引擎的基础上,提出一种构建用户兴趣模型的方法.该方法综合考虑用户注册兴趣及浏览行为,将用户兴趣分为长期兴趣和短期兴趣并通过兴趣树进行存储.遗忘机制的引入保证模型能够及时准确地反映用户兴趣.模拟实验表明,本文提出的用户兴趣模型能够有效地提高检索效率,使搜索结果更好地满足用户个性化需求.     

基于WSFT模型的深层网文本获取方法

Ajax技术在深层网（Deep Web）网站开发中得到了广泛应用。针对Ajax页面多状态、状态之间强关联的特性,提出一种构建WSFT（带权状态融合树）模型的方法,来进行Ajax页面文本信息预处理。引入了文本特征树作为状态指纹进行状态捕获,优化了当前Ajax页面数据采集方法,同时通过StatusRank方法计算状态转移权值来分析状态迁移信息,最后生成WSFT。实验证明,该方法能有效地获取Ajax页面多状态文本信息,并且有助于后续Web挖掘的重要文本内容提取。     

Prediction of Web Page Accesses by Proxy Server Log

As the population of web users grows, the variety of user behaviors on accessing information also grows, which has a great impact on the network utilization. Recently, many efforts have been made to analyze user behaviors on the WWW. In this paper, we represent user behaviors by sequences of consecutive web page accesses, derived from the access log of a proxy server. Moreover, the frequent sequences are discovered and organized as an index. Based on the index, we propose a scheme for predicting user requests and a proxy-based framework for prefetching web pages. We perform experiments on real data. The results show that our approach makes the predictions with a high degree of accuracy with little overhead. In the experiments, the best hit ratio of the prediction achieves 75.69%, while the longest time to make a prediction only requires 2.3 ms.     

个性化服务中用户近期兴趣视图的生成

随着时间和环境的改变,Web用户的兴趣也会随之改变,在信息服务中应该能捕获到用户的这种近期兴趣变化以便能为用户提供更好的个性化服务。对现在描述网页的特征片技术中的关键词权重的计算做了改进以更加准确地描述网页,给出了利用行为分析得到网页兴趣度的方法,进而给出了根据某领域的标准分类树形成网页分类树,并最终生成能准确表示用户近期兴趣的兴趣视图的新方法。以此进行个性化推荐也更加有效。     

Adapting web pages using graph partitioning algorithms for user-centric multi-device web browsing

In the era of ubiquitous computing, applications are emerging to benefit from using devices of different users and different capabilities together. This paper focuses on user-centric web browsing using multiple devices, where content of a web page is partitioned, adapted and allocated to devices in the vicinity. We contribute two novel web page partitioning algorithms. They differ from existing approaches by allowing for both, automatic and semi-automatic partitioning. On the one hand, this provides good automatic, web page independent results by utilizing sophisticated structural pre- and postprocessing of the web page. On the other hand, these results can be improved by considering additional semantic information provided through user-generated web page annotations. We further present a performance evaluation of our algorithms. Moreover, we contribute the results of a user study. These clearly show that (1) our algorithms provide good automatic results and (2) the application of user-centric, annotation-based semantic information leads to a significantly higher user satisfaction.     

数据挖掘技术在Web中的应用研究

随着信息技术的快速发展，特别是计算机技术的不断普及，使得“数据丰富而信息贫乏”这对矛盾显得日益突出．数据挖掘技术正是应了这一需求而结合了数理统计学、人工智能、神经网络和信息枝术等多学科而出现的一项新技术，且在广大应用领域产生了和正在产生着巨大的作用：因特网在目前为一个分布式的、全球的、巨大的信息服务中心，每时每刻有海量数据产生于此．这无疑对数据挖掘这门新兴的学科提出了巨大的挑战．Web不仅由页面组成，而且还包含了由一个页面指向另一个页面的链接结构和用户使用记录．而大量的这些Web内容、链接结构和用户使用记录隐含了人们使用web页面行为习惯、页面质量、用户类别等大量有趣信息．本文就Web挖掘技术的web内容挖掘、web结构挖掘、Web使用记录挖掘作了深入、详细的探讨．     

数据挖掘技术在Web中的应用研究

随着信息技术的快速发展,特别是计算机技术的不断普及,使得“数据丰富而信息贫乏”这对矛盾显得日益突出,数据挖掘技术正是应了这一需求而结合了数理统计学、人工智能、神经网络和信息技术等多学科而出现的一项新技术,且在广大应用领域产生了和正在产生着巨大的作用。因特网在目前为一个分布式的、全球的、巨大的信息服务中心,每时每刻有海量数据产生于此,这无疑对数据挖掘这门新兴的学科提出了巨大的挑战。Web不仅由页面组成,而且还包含了由一个页面指向另一个页面的链接结构和用户使用记录,而大量的这些Web内容、链接结构和用户使用记录隐含了人们使用Web页面行为习惯、页面质量、用户类别等大量有趣信息,本文就Web挖掘技术的Web内容挖掘、Web结构挖掘、Web使用记录挖掘作了深入、详细的探讨。     

网络用户浏览行为的分析

近年来,Web使用挖掘成为数据挖掘领域中一个新的研究热点,Web使用挖掘是从记录了大量网络用户行为信息的Web日志中发现用户访问行为特征和潜在规律.本文结合某高校主页的真实运行数据,通过Web使用挖掘对于网站的运行日志文件进行全面的挖掘分析,分析用户对信息内容的兴趣度,并通过用户对网页的访问数据推算出各个页面受众的兴趣度高低,借此改良网站的内容和布局.     

Improving the prediction of page access by using semantically enhanced clustering

There are many parameters that may affect the navigation behaviour of web users. Prediction of the potential next page that may be visited by the web user is important, since this information can be used for prefetching or personalization of the page for that user. One of the successful methods for the determination of the next web page is to construct behaviour models of the users by clustering. The success of clustering is highly correlated with the similarity measure that is used for calculating the similarity among navigation sequences. This work proposes a new approach for determining the next web page by extending the standard clustering with the content-based semantic similarity method. Semantics of web-pages are represented as sets of concepts, and thus, user session are modelled as sequence of sets. As a result, session similarity is defined as an alignment of two sequences of sets. The success of the proposed method has been shown through applying it on real life web log data.     

用JavaScript实现网页曲线图动态信息显示

对于一般的本地图片或者网页上的图片,在鼠标移动的时候,并不能显示曲线上点的具体信息和精确坐标值。针对这一情况,利用JavaScript语言编制曲线图网页,当用户鼠标置于曲线上任意点时,可显示出该点具体信息以及对应坐标值。整个网页由C#程序自动生成,无需借助其他控件,并且无论在本地双击或者放在网上都可以顺利实现此项功能。     

基于扩展DOM树的Web页面信息抽取

随着Internet的发展,Web页面提供的信息量日益增长,信息的密集程度也不断增强.多数Web页面包含多个信息块,它们布局紧凑,在HTML语法上具有类似的模式.针对含有多信息块的Web页面,提出一种信息抽取的方法:首先创建扩展的DOM(Document Object Model)树,将页面抽取成离散的信息条;然后根据扩展DOM树的层次结构,并结合必要的视觉特性和语义信息对离散化的信息条重新整合;最后确定包含信息块的子树,深度遍历DOM树实现信息抽取.该算法能对多信息块的Web页面进行信息抽取.