Web用户访问模式挖掘研究

1 引言目前World Wide Web(WWW)已经发展成为拥有近亿个工作站、数十亿页面的分布式信息空间,在这个分布式信息空间中蕴涵着具有巨大潜在价值的知识,也带来了巨大的经济效益和社会效益。对于不同层次、不同使用目的和爱好的浏览者需要个性化的信息服务,希望网站能够根据自己的浏览习惯,动态定制     

基于Web数据挖掘的用户浏览兴趣路径研究

使用Web日志与用户浏览行为相结合的方式对用户浏览兴趣模式进行挖掘。分别建立以访问次数、平均到网页中字符数的访问时间和拉动滑动条次数为元素值的矩阵,通过对矩阵进行路径兴趣度的计算得到兴趣子路径,进行合并生成用户兴趣路径集。实例分析表明该算法是可行和有效的,对于电子商务网站的优化和实施个性化服务具有意义。     

基于Web日志挖掘用户的浏览兴趣路径

提出一种基于Web日志发现用户浏览偏爱路径算法。引入了支持-兴趣度概念。建立用户访问矩阵以表示用户浏览网页行为,并获得访问矩阵的海明距离矩阵。通过对距离矩阵与相似度阈值的计算获得偏爱路径的候选2项子路径,再利用支持-兴趣度对候选集做进一步的过滤,最后进行合并并生产浏览偏爱路径。实验表明该算法可以有效地反映用户的浏览兴趣。     

改进的访问统计方法及对用户兴趣度的计算

为解决传统的以点击量为标准的网络访问统计方法对网络访问量表示不准确的问题,分析了现有的两种统计方法,提出了一种改进的网络访问统计方法。在点击量的基础上,引入用户停留时间,并把两种统计量进行合并,设计了一个兼有点击量和停留时间两种衡量尺度的表示网络访问量的统计量。把改进的网络访问统计方法引入到对用户兴趣度的计算,并提出了改进的用户兴趣度量化定义,实验结果表明,改进的网络访问统计方法对用户兴趣度的表示更加合理有效。     

基于兴趣度的Web用户访问模式分析

Web日志隐含了用户访问Web行为的动因和规律,如何有效地从中挖掘出用户访问模式是Web日志挖掘的重要研究内容.构造了User_ID-URL矩阵,矩阵元素为用户访问页面的兴趣度.应用经典的模糊C-均值聚类算法进行用户访问模式分析,通过在真实数据集上的实验,结果表明引入了用户兴趣度的日志挖掘算法是行之有效的.     

集成Web使用挖掘和内容挖掘的用户浏览兴趣迁移挖掘算法

提出了一种集成Web使用挖掘和内容挖掘的用户浏览兴趣迁移模式的模型和算法。介绍了Web页面及其聚类。通过替代用户事务中的页面为相应聚类的方法得到用户浏览兴趣序列。从用户浏览兴趣序列中得到用户浏览兴趣迁移模式。该模型对于网络管理者理解用户的行为特征和安排Web站点结构有较大的意义。     

基于不规则路径聚类算法的用户访问模式挖掘

通过分析目前主流的Web用户访问模式挖掘的技术方法,针对各种挖掘算法存在复杂度高、灵活性低的缺陷,本文提出一种能对不规则用户访问路径进行用户访问模式挖掘的聚类算法,该算法可以简单高效地挖掘不定长度的用户兴趣模式。     

基于用户浏览行为分析的用户兴趣度计算

从用户的浏览行为可以反映用户的兴趣出发,分析了用户的浏览行为与兴趣之间的关系,通过分析把能反映用户兴趣的典型浏览行为归纳为保存页面、打印页面、将页面加入收藏夹、复制页面内容、访问同一页面的次数和在页面上浏览时间这些浏览行为.针对这些浏览行为下的用户兴趣度计算做出阐述,并且在分析基于网页驻留时间和浏览次数计算网页兴趣度的算法的基础上,考虑网页大小的影响因素,使用基于浏览速度计算网页兴趣度,同时利用BP神经网络进行用户兴趣度融合.     

网络号百用户兴趣模型挖掘算法

为了实现在线推荐信息服务,要对网络号百用户的访问行为进行分析,荻取用户访问聚类模型,从而在聚类模型的基础上进行在线推荐.介绍获取用户访问路径信息的方法,对用户访问路径信息建立相似度矩阵,基于相似度矩阵改进K-means算法,据此进行用户模型聚类,给出分析案例,并说明算法实现过程.     

一种基于图结构挖掘WEB用户访问模式的方法

挖掘Web用户访问模式常用的技术有Web挖掘特有的路径分析技术和数据挖掘领域的传统技术。文章首先分析了现有路径分析技术的不足,然后从Web用户访问模式挖掘过程预处理的结果用户会话文件开始,提出了一种基于Web拓扑结构(图结构)挖掘用户访问模式的方法,提高了发现模式的精确性和效率,并在实验室对该方法进行了简单实现和实际日志数据的测试。     

一种基于社区结构的用户兴趣关联规则发现方法

提出一种基于用户社区结构的用户兴趣关联规则发现方法,通过对用户按照兴趣进行社区划分,挖掘社区群体的共同兴趣,高效地发现兴趣之间的关联规则。对兴趣关联规则的特点进行了研究,分析发现有效关联规则均产生于社区内部的兴趣之间,不同社区之间的兴趣关联较少。     

一种新的可扩展用户浏览兴趣表示模型

在分析Web使用挖掘中现有用户浏览兴趣表示方法的特点和不足基础上,针对现有方法表示用户浏览兴趣准确性不高的缺点,提出了一种新的可扩展用户浏览兴趣表示模型（SIM）,并且给出了SIM的数据结构、SIM表示用户浏览兴趣的方法。以真实数据进行了实验分析,实验结果表明,SIM与现有方法相比有效地提高了表示用户浏览兴趣的准确性。     

一种分布式序列模式挖掘算法

针对分布式环境下的序列模式挖掘问题,提出了一种分布式序列模式挖掘(DSPM)算法。DSPM以PrefixSpan算法为基础,使用抽样检测技术平衡了任务负载,将挖掘任务分解后分配到多台计算机上以多进程、多线程并行执行。另外采用了伪投影技术来降低生成投影数据库的开销。实验结果表明,DSPM算法能够快速有效地挖掘分布式环境下的全局序列模式。     

Mining user access patterns with traversal constraint for predicting web page requests

The recent increase in HyperText Transfer Protocol (HTTP) traffic on the World Wide Web (WWW) has generated an enormous amount of log records on Web server databases. Applying Web mining techniques on these server log records can discover potentially useful patterns and reveal user access behaviors on the Web site. In this paper, we propose a new approach for mining user access patterns for predicting Web page requests, which consists of two steps. First, the Minimum Reaching Distance (MRD) algorithm is applied to find the distances between the Web pages. Second, the association rule mining technique is applied to form a set of predictive rules, and the MRD information is used to prune the results from the association rule mining process. Experimental results from a real Web data set show that our approach improved the performance over the existing Markov-model approach in precision, recall, and the reduction of user browsing time. Mei-Ling Shyu received her Ph.D. degree from the School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN in 1999, and three Master's degrees from Computer Science, Electrical Engineering, and Restaurant, Hotel, Institutional, and Tourism Management from Purdue University. She has been an Associate Professor in the Department of Electrical and Computer Engineering (ECE) at the University of Miami (UM), Coral Gables, FL, since June 2005, Prior to that, she was an Assistant Professor in ECE at UM dating from January 2000. Her research interests include data mining, multimedia database systems, multimedia networking, database systems, and security. She has authored and co-authored more than 120 technical papers published in various prestigious journals, refereed conference/symposium/workshop proceedings, and book chapters. She is/was the guest editor of several journal special issues. Choochart Haruechaiyasak received his Ph.D. degree from the Department of Electrical and Computer Engineering, University of Miami, in 2003 with the Outstanding Departmental Graduating Student award from the College of Engineering. After receiving his degree, he has joined the National Electronics and Computer Technology Center (NECTEC), located in Thailand Science Park, as a researcher in Information Research and Development Division (RDI). His current research interests include data/ text/ Web mining, Natural Language Processing, Information Retrieval, Search Engines, and Recommender Systems. He is currently leading a small group of researchers and programmer to develop an open-source search engine for Thai language. One of his objectives is to promote the use of data mining technology and other advanced applications in Information Technology in Thailand. He is also a visiting lecturer for Data Mining, Artificial Intelligence and Decision Support Systems courses in many universities in Thailand. Shu-Ching Chen received his Ph.D. from the School of Electrical and Computer Engineering at Purdue University, West Lafayette, IN, USA in December, 1998. He also received Master's degrees in Computer Science, Electrical Engineering, and Civil Engineering from Purdue University. He has been an Associate Professor in the School of Computing and Information Sciences (SCIS), Florida International University (FIU) since August, 2004. Prior to that, he was an Assistant Professor in SCIS at FIU dating from August, 1999. His main research interests include distributed multimedia database systems and multimedia data mining. Dr. Chen has authored and co-authored more than 140 research papers in journals, refereed conference/symposium/workshop proceedings, and book chapters. In 2005, he was awarded the IEEE Systems, Man, and Cybernetics Society's Outstanding Contribution Award. He was also awarded a University Outstanding Faculty Research Award from FIU in 2004, Outstanding Faculty Service Award from SCIS in 2004 and Outstanding Faculty Research Award from SCIS in 2002.     

Incremental and interactive mining of web traversal patterns

Web mining involves the application of data mining techniques to large amounts of web-related data in order to improve web services. Web traversal pattern mining involves discovering users’ access patterns from web server access logs. This information can provide navigation suggestions for web users indicating appropriate actions that can be taken. However, web logs keep growing continuously, and some web logs may become out of date over time. The users’ behaviors may change as web logs are updated, or when the web site structure is changed. Additionally, it can be difficult to determine a perfect minimum support threshold during the data mining process to find interesting rules. Accordingly, we must constantly adjust the minimum support threshold until satisfactory data mining results can be found.The essence of incremental data mining and interactive data mining is the ability to use previous mining results in order to reduce unnecessary processes when web logs or web site structures are updated, or when the minimum support is changed. In this paper, we propose efficient incremental and interactive data mining algorithms to discover web traversal patterns that match users’ requirements. The experimental results show that our algorithms are more efficient than other comparable approaches.     

基于文本聚类与兴趣衰减的微博用户兴趣挖掘方法

微博平台隐含潜在的用户信息,通过微博数据挖掘用户兴趣具有重要的社会意义。结合用户兴趣与微博信息的特点,提出了一种文本聚类与兴趣衰减的微博用户兴趣挖掘（TCID-MUIM）方法。首先,通过基于词林的同义词合并策略弥补建模时词频信息不足的弊端;其次,利用二次Single-Pass不完全聚类算法将用户微博划分为多个簇,将簇合并为同一文档以弥补微博文本短小难以挖掘主题信息的问题;最后,通过LDA模型建模,并考虑用户兴趣随时间变化的问题,引入时间因子,将微博—主题矩阵压缩为用户—主题矩阵,获取用户兴趣。实验表明,较之传统建模方法与合并用户历史微博为同一文档的建模方法,TCID-MUIM方法挖掘的用户兴趣主题具有更好的主题区分度,且更贴合用户的真实兴趣偏好。     

多层次用户兴趣模式的动态捕捉

为了得到更多的用户兴趣信息,提出了一种新的高效的用户兴趣模式获取方法,面向层次结构的信息网站,提供动态的多层次用户兴趣模式。该方法根据网站和用户兴趣所具有的层次性特征,利用蚁群算法,将用户对网站结点的一次浏览过程,对应于蚂蚁的一次觅食活动周期,从各个层次求出相应路径的信息素浓度和支持度,从而得到用户对该结点的偏好函数值,再依据此值求得用户兴趣模式。实验表明了该方法的有效性。     

一种新的用户事务算法

提出了双阈值用户事务算法。根据用户所访问的页面数来判断该用户是否为偶然用户,利用网络的拓扑结构和网页最低兴趣度来衡量一个网页是否为用户感兴趣的页面。改进了数据预处理过程,删除了偶然用户引起的访问记录,以及链接页面和用户不感兴趣的页面,生成一种有效的访问页面序列,即双阈值用户事务。通过事例对算法的有效性进行了论证。     

基于SSPISIA数据收集的个人兴趣增量挖掘算法*

为提高搜索引擎的个性化信息检索能力,通过构建个人兴趣搜索智能agent子系统SSPISIA来搜集、组织、挖掘和应用用户的个人兴趣信息。着重介绍了SSPISIA的实现,包括逻辑组成、学习方式、工作过程以及基于页面浏览时间和内容选择的个人兴趣度量规则,并在此基础上给出了基于SSPISIA数据收集的个人兴趣增量挖掘算法。实验表明该结构和算法不仅能够反映用户的长期兴趣,而且能够跟踪用户的短期兴趣变化,具有良好的适应性,进而为实现搜索引擎的个性化信息检索奠定了基础。     

结合用户兴趣度聚类的协同过滤推荐算法

针对传统的协同过滤算法忽略了用户兴趣源于关键词以及数据稀疏的问题,提出了结合用户兴趣度聚类的协同过滤推荐算法。利用用户对项目的评分,并从项目属性中提取关键词,提出了一种新的RF-IIF （rating frequency-inverse item frequency）算法,根据目标用户对某关键词的评分频率和该关键词被所有用户的评分频率,得到用户对关键词的偏好,形成用户—关键词偏好矩阵,并在该矩阵基础上进行聚类。然后利用logistic函数得到用户对项目的兴趣度,明确用户爱好,在类簇中寻找目标用户的相似用户,提取邻居爱好的前◢N◣个物品对用户进行推荐。实验结果表明,算法准确率始终优于传统算法,对用户爱好判断较为准确,缓解了数据稀疏问题,有效提高了推荐的准确率和效率。