基于语义模型的Web挖掘算法研究

分析了Web日志和用户查询行为之间存在的潜在语义关系,提出了一个能够有效反映用户查询行为的语义模型.提出了一个Web挖掘算法.由于Web日志是一个典型的稀疏矩阵,进一步给出了加速的Web挖掘算法.实验结果表明,基于语义模型的Web挖掘算法是可行、有效的.     

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAPBUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.     

搜索引擎用户查询的广告点击意图分析

搜索引擎广告点击率的多少直接影响搜索引擎的收入,而深入分析用户查询的广告点击意图则是提高广告点击率的基础性工作.针对与此,基于商用搜索引擎的用户查询点击日志,统计分析了搜索引擎用户查询的广告点击率,提出基于查询词内容匹配和基于贝叶斯分类的两种方法预测搜索引擎用户查询的广告点击意图.在大规模的真实用户查询点击日志上的实验结果表明,所提出的方法能够预测查询的广告点击意图,将广告投放的精度从3.0%提高到36.8%,广告投放的平均F-measure值从0.060提升到0.408.通过广告点击意图预测,有效缩小了广告投放范围,并适用于在线广告意图的实时预测.     

基于Apriori改进算法的Web日志挖掘支撑工具的实现

Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,以发现相似客户群体、相关Web页面和频繁访问路径等,其目的在于从用户访问Web系统的行为中发现用户的访问模式.在对Web日志挖掘的原理和技术进行讨论的基础上,重点探讨了如何将Apriori改进算法应用于对Web日志的挖掘,提出了一种基于该算法的Web日志挖掘实现方法,实验结果表明了算法的有效性.     

基于数据仓库内在特征的OLAP关键词查询

提出基于数据仓库多维模型维度及维度属性特征的联机分析处理(OLAP)关键词查询方法,将获得广泛应用的关键词查询方法和OLAP结合,可大大降低OLAP应用的门槛.该方法用列结构创建数据仓库维度全文索引,根据用户输入的查询获得按关键词划分的命中集,对命中集进行连接并排序后将产生的候选结果提供给用户.该方法基于对数据仓库用户更加关注概要性数据的特性,以及多维模型维度及其属性的非均衡型特征的分析,采用过滤不相关维度属性及重复维度列值的方法,并在传统的全文检索排序算法上增加维度层次权重系数.在MS SQL Server提供的FoodMart和AdventureWorks示例数据集上的实验对上述因素的影响做出了比较和分析,结果表明,首选候选结果命中率均优于基于关键词的分析处理方法.     

新型用户访问模式挖掘方法研究

用户访问模式反映了用户浏览网站的规律,可从中发现用户的访问兴趣。常用的模式发现方法则是从用户的访问日志中挖掘用户的频繁遍历路径。由于基于Apriori算法的频繁遍历路径挖掘方法需频繁访问数据库和产生大量的候选项,提出了新型的遍历路径树的数据结构,用以挖掘用户的频繁遍历路径,通过与传统算法比较,提高了挖掘效率。     

基于Web日志挖掘的网页推荐系统的设计

提出了一种基于Web日志挖掘的网页推荐系统。该系统采用Web日志挖掘的方法对用户的访问记录进行分析,挖掘出与用户访问的页面具有一定相关度的页面并推荐给该用户,为用户提供最合适、更具人性化的信息资源。     

基于用户兴趣领域中可信圈挖掘的推荐模型

基于信任的推荐系统通过系统评分数据和用户信任关系为用户推荐所需资源。现有相关工作中在考虑信任关系时,通常考虑的是一种泛化的信任关系,尚未充分挖掘信任关系信息与特定兴趣领域之间的关系,对推荐的准确性和可靠性会产生一定的劣化影响。考虑到以上问题,提出基于用户兴趣领域的信任圈模型,针对不同兴趣领域分层挖掘用户间潜在的隐形信任关系;并充分融合显性信任关系为用户资源进行综合评分。该模型不仅考虑信任信息与领域的匹配关系,而且能够挖掘在具体领域下用户间的隐性信任关系,能够进一步提高评分预测的精确度和覆盖率。通过在Epinions数据集上的实验,证明了所提出的基于用户兴趣领域可信圈挖掘的推荐模型与基于泛化信任关系的传统推荐算法相比可以有效提高推荐评分预测的准确度和覆盖率。     

基于Spark的UCSLIM推荐算法研究及实现

稀疏线性( SLIM)推荐算法侧重于通过挖掘物品与物品之间的关系进而产生推荐结果。为了提高推荐质量,借鉴了SLIM算法和协同过滤算法的思想,将用户划分为用户集合,进一步挖掘用户与用户集合之间的隐含关系,并综合考虑用户与用户相关性、用户与用户集合相关性这两个因素,提出了融合用户集合关系的稀疏线性( UCS-LIM)推荐算法。实验结果表明, UCSLIM 算法能够提高推荐结果质量。同时为了提高算法的执行效率,分别在Spark和Hadoop云计算平台上实现了UCSLIM并行推荐算法,并通过实验表明,UCSLIM的Spark版本具有更高的计算效率。     

一种查询日志匿名化算法

查询日志的发布会泄露用户的隐私。提出一种基于差分隐私的查询日志匿名化算法:首先构建用户查询项模型进行相似度计算并利用所求结果对用户查询项模型进行聚类,其次在聚类过程中添加指数噪音来满足差分隐私,最后发布匿名化数据。实验表明:该算法有效地提高了查询日志的实用性和隐私保护程度。