基于MapReduce和AprioriAll的分布式序列挖掘算法

序列挖掘技术,能够从大量杂乱的数据中挖掘出用户的潜在访问模式。然而,传统的挖掘技术,由于其性能和扩展性的诸多限制,并不适合现今大数据下的挖掘任务。本文基于传统的挖掘算法Apriori All,在结合国内外研究进展的基础上引入分布式概念格模型,提出了分布式序列挖掘算法PAHDP。通过在分布式系统上构建算法原型,并加以评估,本文证明了该算法的正确性和有效性,具有一定的应用价值。     

基于相似模式聚类的电子商务网站个性化推荐系统研究

保证个性化推荐系统产生高质量的推荐结果的重要因素是:系统必须要确定访问者在访问行为的相似程度,从而能预测访问者的访问和购买兴趣。实现此功能的关键技术是计算访问者对象在整个或者部分属性空间的相似距离,从而得到访问行为的相似程度。该文首先分析了目前在推荐系统中常用的用于计算访问行为相似程度的距离函数,发现它们是测定访问者对象在所有测试属性空间上的平均测定,而在属性集的子维空间上的相似模式并没有有效地挖掘出来。然后提出一种新的基于相似模式聚类算法的电子商务个性化推荐系统,综合考虑可供挖掘的数据源(如:网站内容,网站的超链接结构,顾客访问网站的行为,以及商业的实际购买情况,顾客的身份数据等)获取用户访问电子商务网站的访问页面序列,构建较高购买者的顾客行为的矩阵模型,高效地得到访问者对象在整个或者部分属性空间的相似访问行为,然后通过挖掘潜在购买者与较高购买者的相似模式特征,帮助顾客发现他所希望购买的产品信息,用于提高实际购买量,实验数据表明,该系统高效并可广泛使用。     

一种基于Close模式发现用户频繁访问路径的方法

Web日志挖掘的一个主要任务是获得用户的浏览模式，这对Web站点的改进和为用户提供个性化服务提供了非常有价值的潜在信息。该文在分析用户访问模式的特点后，提出了Close模式的概念，基于此概念提出了一种挖掘用户频繁访问模式的Close算法。该算法利用频繁访问模式的封闭特性，挖掘出既是频繁的又是封闭的访问模式，在一定程度上减少了下一阶段“寻找最大频繁访问模式”的工作量。用实际数据对算法的性能进行了验证和分析。     

有序概念格与WWW用户访问模式的增量挖掘

访问模式是用户沿URL超链寻找和浏览网页规律的总结 ,发现用户访问模式对于帮助用户快速到达目标页面 ,进而实现搜索引擎的个性化导航具有重要意义 目前虽有一些挖掘用户访问模式的工作 ,但尚未发现能够处理增量数据的系统化挖掘算法 用户访问模式挖掘可由如下 3个步骤完成 :①由日志库提取最大向前关联路径 ,②由最大向前关联路径发现频繁关联路径序列 ,③由频繁关联路径序列得到最大频繁关联路径序列 ,其中②是问题的核心 为得到系统化算法 ,对概念格模型加以顺序约束 ,提出了有序概念格 ,并将其用于Web访问模式的增量发掘 给出了增量式高效挖掘算法 ,并与相关工作进行了比较 ,对合成数据和实际数据的实验结果验证了算法的有效性     

一种新型的Web挖掘数据采集模型

本文在简要论述了当前Web挖掘采用的数据源不足后,分析了XML文档结构与Web挖掘算法结构的相似性,提出了采用XML技术在应用服务层采集用户访问数据的数据源模型X-DIM,并分析了它的优越性。该模型克服了以往基于Web访问日志在数据预处理中的一系列问题,具有数据完备、准确度高、便于为挖掘算法使用等优点,有较高的应用价值。     

基于数值分析的匿名大数据访问最优控制算法

为了降低大数据访问对人们生活的影响,减少因数据访问带来的一系列问题,更好地保护用户的隐私,需要对匿名大数据访问进行控制;当前算法是利用Purpose建立匿名大数据访问模型,在原来的K-匿名算法基础上为Purpose匿名数据访问模型构建算法,该算法对公开信息隐私安全涉及较少,对分布式数据隐私的安全保障效果不理想;为此,提出一种基于数值分析的匿名大数据访问最优控制算法;该算法利用MapReduce编程框架对匿名大数据用户的公钥和私钥进行初始化,将计算代理权授权,用户把需要保存的数据以及授权传送给第三方,也就是代理方签名,实现匿名大数据的审计;根据属性群对匿名大数据访问进行控制,系统管理员构建一棵二叉树,通过对称加密算法与属性群路径密钥,加密的群密钥,产生报头消息,根据上述所获结果,管理员对属性群密钥进行生成、更新和分发;实验结果证明,所提算法计算开销、存储开销以及通信开销较低,匿名大数据访问控制的效率高,具有较强的可实践性,为该领域的研究发展提供了支撑。     

有序概念格与WWW用户访问模式的增量控掘

访问模式是用户沿URL超链寻找和浏览网页规律的总结，发现用户访问模式对于帮助用户快速到达目标页面，进而实现搜索引擎的个性化导航具有重要意义．目前虽有一些挖掘用户访问模式的工作，但尚未发现能够处理增量数据的系统化挖掘算法．用户访问模式挖掘可由如下3个步骤完成：①由日志库提取最大向前关联路径，②由最大向前关联路径发现频繁关联路径序列，③由频繁关联路径序列得到最大频繁关联路径序列，其中②是问题的核心．为得到系统化算法，对概念格模型加以顺序约束，提出了有序概念格，并将其用于Web访问模式的增量发掘．给出了增量式高效挖掘算法，并与相关工作进行了比较，对合成数据和实际数据的实验结果验证了算法的有效性．     

OLAP数据挖掘模型的应用研究

OLAP数据挖掘模型结合了微软分析服务可以访问的数据挖掘和联机分析处理两种决策机制,其创建可以借助挖掘模型向导或利用决策支持对象编程实现。采用微软决策树算法的OLAP数据挖掘模型可根据决策树、虚拟立方体和维来分析数据,并预测数据的某些特性,以帮助用户决策。     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

基于矩阵聚类的电子商务网站个性化推荐系统

提出一种基于“矩阵聚类”的电子商务网站个性化推荐系统,通过分析Web server日志文件中的访问页面序列行为数据,构建较高购买者的顾客行为的矩阵模型;并使用一种新型的“矩阵聚类”算法挖掘潜在购买者与较高购买者的相似特征,从而帮助顾客发现他所希望购买的产品信息,用于提高实际购买量．该技术特别适合于目前大型的电子商务网站,实验数据表明,该系统是高效并可广泛使用．     

Web使用挖掘技术在电子商务中的应用

从Web服务器日志文件和客户交易数据中挖掘有意义的用户访问模式和潜在的客户群 ,使企业提供个性化信息服务和开展有针对性的电子商务活动。分析了Web使用挖掘技术的主要特点 ,提出了Web使用挖掘技术在电子商务中的应用方法 ,并对其挖掘过程进行了详细地阐述 ,最后给出了一个电子商务中Web使用挖掘的具体实例     

以客户需求为导向的定制终端潜在客户挖掘模型研究

本文设计了以客户需求为导向的定制终端潜在客户挖掘模型,不仅要有效地挖掘出有换机需求的潜在客户,同时根据各类用户的特征,为其匹配相应价位的终端,并通过市场部门在第一时间向用户开展主动营销,提升终端销量及用户消费能力。     

基于K-均值聚类算法的大客户用电行为分析

为掌握大客户的用电习惯和用电特征、满足不断变化的客户用电需求、逐步提升大客户领域供电服务水平,本文采用K-均值聚类算法、二八定律、归一化算法等统计分析方法,运用SPSS等数学分析工具,从行业特点、客户价值、用电需求、成长性等方面刻画用电客户群体特征,挖掘大客户用电数据中的隐藏数据和潜在价值,得出五类典型的大客户用电负荷特征曲线,建立对应的五类典型用户分类,得到了五类用电行为特征的结果,通过结果分析得出半数以上用户的用电特点、同类型的船舶制造业仍然具有不同的用电特点、电能紧张时优先对建筑业和采矿业实施有序用电可以取得较好效果,最终对企业的电力营销和调度进行决策支撑,为用电需求侧管理、优化客户服务管理规范提供辅助决策。     

基于马尔可夫混合模型的电子商务搜索引擎用户行为聚类

对搜索引擎用户行为进行聚类分析有利于为用户提供个性化的服务。为了能准确地刻画用户行为的动态性,提出利用马尔可夫混合模型,对电子商务搜索引擎的用户行为模式聚类。模型假设每一类用户行为可表示为一个马尔可夫模型,当用户使用搜索引擎时,每个用户以一定的概率属于某一聚类;该用户的行为序列,由对应的马尔可夫模型产生。同时,为了解决参数估计和模型自动选择的问题,将贝叶斯阴阳和谐学习理论应用于该混合模型,提出针对该模型的和谐度函数及自适应梯度算法。仿真实验结果表明,与传统的最大期望（EM）算法相比,基于贝叶斯阴阳机的自适应梯度算法能更高效和准确地同时进行参数学习和模型选择。最后,将所提出的聚类方法应用于真实的电子商务搜索引擎点击日志,初步验证了本模型的有效性。     

一种基于遗传算法的智能电网调度方法

随着智慧电网的发展,调度控制系统中的数据规模和种类呈指数型上升并且处理复杂度较高。为了更好地进行电力调度,给予电力系统相应的决策支持和更好地为客户服务,满足用户在不同时段的电力需求,本文基于遗传算法提出一种多种类型可控电器的G-DSM算法,将负荷调度问题定义为成本最小化问题,并用遗传算法求解;结合从用户侧获取的电力大数据对用户的电力需求进行规划,降低了用户的花销以及峰值电力负荷,从而避免电力资源的浪费,提高了电网的工作效率。实验结果表明,该算法具有较好的可行性,并在实际操作中易于实现。     

基于MFP方法的Web用户访问模式的模式发现

针对Web用户访问模式问题，采用最大频繁访问路径（MFP）方法可以挖掘出更有普遍意义的模式。给出一种新的用户访问模式树WUAP tree结构，并采用E OEM模型，综合考虑了页面拓扑结构及用户浏览路径等多个数据源，进一步提出了一种Web访问模式挖掘算法WUAP mine。该算法不用产生候选集和递归，只对事务数据库进行一次扫描，对WUAP tree结构进行深度优先遍历一次，就可从WUAP tree结构上直接查询出Web用户频繁访问模式。最后，从理论和实践上推导和验证了它的有效性和高效性。     

基于属性和规则的访问控制模型

针对分布式服务环境中用户数目大量增长和资源访问策略复杂多样化的问题,分析目前访问控制模型的应用局限性,提出多用户服务模式中一种基于属性和规则的访问控制模型。该模型引入复合属性表达式和复合权限的概念,制定授权约束规则,为用户分配多组角色。给出模型实例,并将其与其他模型进行比较。     

开放式环境下一种基于信任度的RBAC模型

在开放式环境中,用户和资源的高流动性会导致基于角色的访问控制(RBAC)模型在角色指派和权限控制方面异常复杂。为此,提出一种基于信任度的弹性RBAC模型。利用评价机制确定用户与资源间的直接信任度及资源之间的推荐信任度,综合2种信任度计算用户的信任度和资源的权威度,结合用户的访问记录,为用户分配合理的角色和权限,并采用加性增、乘性减算法动态调整实体的信任度,从而防止恶意行为。基于Query Cycle Simulator的实验结果证明,该模型可以保证评价的合理性和准确性。     

基于并行分类算法的电力客户欠费预警

针对供电企业"先消费后付款"的经营模式可能造成用电客户因失信引发的欠费风险,需要在用电客户欠费行为发生之前实时快速地分析海量的用电用户的数据,给出潜在的欠费客户名单的问题,提出一种基于并行分类算法的电力客户欠费预警方法。首先,该方法使用基于Spark的随机森林(RF)分类算法对欠费用户进行建模;其次,根据用户以往历史用电行为和缴费记录使用时间序列进行预测得到其未来用电和缴费行为特征;最后,使用之前得到的模型对用户进行分类得到未来潜在高危险欠费用户。将该方法与并行化后的支持向量机(SVM)算法和在线序列极限学习机(OSELM)算法进行对比分析,实验结果表明,所提方法相对于对比算法在准确率上有较大提高,便于电费回收管理人员进行提前催缴,确保电费回收的及时性,有利于电力企业进行客户欠费风险管理。     

一种基于用户兴趣度模型的Web路径挖掘算法

针对目前在挖掘用户访问行为方面存在的准确性不高的问题,本文提出了一种用户兴趣度模型.并基于这个模型设计了一个web访问路径挖掘算法,用来更准确地挖掘用户的访问模式,实现网站的个性化服务.