一种基于压缩FP-树的最大频繁项集挖掘算法

针对基于FP-树挖掘最大频繁项集的算法需要大量的递归调用导致挖掘效率降低的问题,本文提出一种减枝策略并结合FP-树的结构.依据构造Patricia-树的基本原理提出一种PFP-树,将FP-树中满足一定条件的结点进行合并来保存事务数据库,对事务数据库进行进一步压缩以达到降低内存开销和递归调用次数的目的.实验表明,当最小支持度较小时,在执行效率尤其在内存开销方面都有一定的改善.     

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAPBUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.     

基于EMFP-树的频繁模式挖掘算法

针对MFP-tree挖掘算法的不足,给出了一个频繁模式挖掘算法EMFP。算法通过将事务数据库的每条事务支持度进行裁剪以及为EMFP-树的节点添加子树个数计数器等措施来提高EMFP-树的挖掘算法的效率。实验结果表明,EMFP-树的挖掘算法是一个高效的频繁模式挖掘算法,其性能优于MFP算法。     

一种基于页面兴趣度的关联规则研究

给出了页面兴趣度的定义,并针对传统的Apriori关联规则算法必须经过大量反复扫描数据库才能产生候选项集的问题,提出了一种改进算法.此算法将数据库经过预处理后,对事务数据库进行分段,比较时可不针对所有事务记录,从而减少比较时间.最后将页面兴趣度应用于改进的Apriori算法中,形成一种基于页面兴趣度的关联规则算法--I_NEW_AR算法.实验结果表明,该算法不仅提高了挖掘效率,而且应用于网上推荐系统具有较好的准确率.     

基于Apriori改进算法的Web日志挖掘支撑工具的实现

Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,以发现相似客户群体、相关Web页面和频繁访问路径等,其目的在于从用户访问Web系统的行为中发现用户的访问模式.在对Web日志挖掘的原理和技术进行讨论的基础上,重点探讨了如何将Apriori改进算法应用于对Web日志的挖掘,提出了一种基于该算法的Web日志挖掘实现方法,实验结果表明了算法的有效性.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

一种针对大型事务数据库的关联规则挖掘算法

为进一步解决对大型数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁问题,给出一种改进的关联规则挖掘算法(ARMAC).该算法引入有向无环图和tidlist结构用以提高频繁项目集的计算效率,并将数据库划分为内存可以满足要求的若干部分,解决了对大型数据库挖掘时磁盘操作频繁的问题,从而有效地适用于大型数据库的关联规则挖掘.该算法吸取连续关联规则挖掘(CARMA)算法的优势,只需扫描两次数据库便可完成挖掘过程.实验结果表明:该算法在大型事务数据库中具有更高的执行效率.     

基于用户访问树的分布式Web日志挖掘算法

为了提高对分布式Web日志数据的准确挖掘能力,提出基于用户访问树的分布式Web日志挖掘算法.构建分布式Web日志的信息分布式检测模型,采用模糊信息粗糙集调度方法进行分布式Web日志信息的结构重组,提取分布式Web日志的统计特征量,采用用户访问树特征聚类方法进行分布式Web日志数据的空间分布式重组,结合粗糙集特征匹配方法...     

Web日志中时态约束浏览模式挖掘算法研究

为了有效地从海量的Web日志中挖掘出有用的用户浏览模式,将顺序约束和时态约束加入到快速关联规则挖掘算法中,给出了一种基于时态约束的浏览模式挖掘算法FPMBTC.该算法简化了挖掘过程中候选模式的生成操作,对数据库扫描一次,求出所有事务的连续子序列集,利用集合交差运算求得支持度,同时逐步修正会话事务时间得到浏览模式的有效时间,根据网站结构及Web日志不断变化的特点,给出了增量更新挖掘算法.实验结果表明:与类Apriori算法相关工作相比,运行时间少,扩展性好,并且挖掘出的模式具有时效性,适合于不断变化的且有时态特点的Web日志信息的挖掘.此研究对于学习和研究Web挖掘技术具有很好的参考价值,对建造实际的Web挖掘系统具有重要的理论意义和实用价值.     

基于量值的频繁闭项集层次聚类算法

提出了基于量值的频繁闭项集层次聚类算法CFIHCQ,并将其应用于Web使用挖掘。该算法首先通过用户Web访问数据获取频繁闭项集;其次,以频繁闭项集对簇进行初始化,并以打分的方式将用户指入唯一簇;再次按照簇标记生成自上而下的簇树结构,并使用用户访问向量分裂子簇;最后,对簇树进行剪枝。实验表明,该算法能够很好的预测用户Web访问行为;在海量用户数据情况下,可满足实时挖掘的需求;并能以树结构展示挖掘结果。     

一种内存数据库存取路径的实现方法

从内存数据库的概念和内存的存储介质特性出发,讨论内存数据库的数据组织和存取方法,提出了一种适合内存直接地址访问特征的索引结构-ＳＢ树,从而给出了一种较为理想的内存数据库存取路径的实现方法．     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

Web应用中的网页静态化技术研究

针对绝大多数Web应用都在使用动态网页以及数据库技术,频繁访问后台数据库并动态生成内容会给服务器带来沉重负荷,从而降低页面响应速度,甚至造成服务器崩溃;为解决这一问题,提出了动态网页静态化的方案.结合某网上商城系统的设计,提出了网页静态化的原则和策略;针对商城首页和商品详情页面,分别介绍了定时静态化以及访问时静态化的方法.实验结果表明:经过静态化处理,网页的响应速度明显提升,而系统能够处理的并发请求数量也大幅度提升.     

基于 Counting Bloom Filter 的海量网页快速去重研究

网页去重是从给定的大量的数据集合中检测出冗余的网页,然后将冗余的网页从该数据集合中去除的过程,其中基于同源网页的URL去重的研究已经取得了很大的发展,但是针对海量网页去重问题,目前还没有很好的解决方案,文章在基于MD5指纹库网页去重算法的基础上,结合Counting Bloom Filter算法的特性,提出了一种快速去重算法IMP-CBFilter。该算法通过减少I/O频繁操作,来提高海量网页去重的效率。实验表明,IMP-CBFilter算法的有效性。     

在VRML文件中实现对数据库信息的访问

介绍了在VRML文件中访问数据的方法，对每种方法的适用条件，实现过程进行了重点讨论，在VRML文件中可以通过锚（Anchor)节点将对数据库的访问要求转到网页文件中去处理，也可以通过Script节点直接编写连接数据库的程序，以实现对数据库信息的调用，还简介了WEB方式下数据查询结果的显示并列举了VRML文件访部数据库的应用实例。     

一种面向边缘计算的混合内存系统

针对物联网智能终端的低功耗需求,提出了一种基于内存控制器扩展的低功耗混合内存系统.使用动态随机存储器和相变存储器构成混合内存结构,通过在内存控制器中添加迁移控制模块对混合内存进行管理.设计了一种改进的双队列算法,筛选出相变存储器中写请求较多的内存页面,并通过地址映射模块和迁移控制模块将写请求较多的页面从相变存储器迁移到动态随机存储器中,规避相变存储器写操作的缺陷,从而实现对低功耗混合内存系统的性能优化.仿真结果表明,与动态随机存储器构成的内存系统相比,混合内存系统的功耗延时积平均降低了43.9%,在面向边缘计算的应用场景中具有一定的可行性.     

基于用户访问兴趣的Web站点路径聚类研究

用户对Web站点的访问代表了用户对Web站点上页面的访问兴趣。这种兴趣程度可以通过用户对Web站点上页面的浏览顺序表现出来。Web站点的访问日志记录了用户访问页面的详细信息。在对Web站点的访问日志进行事务识别后,按照访问兴趣对群体用户对Web站点的访问顺序进行聚类分析,则每一个聚类集反映出该聚类集中的全体用户具有相似的访问兴趣。文中在用户访问兴趣度量中综合考虑用户访问路径、网页内容、在此页面的驻留时间、此页面浏览频度因素,提出了一种基于用户访问兴趣的路径聚类算法。最后通过实验来验证这种算法的有效性。     

基于网页内容的网页消重高效检测算法研究

在对现有主流网页消重技术分析的基础上,提出一种基于网页内容的改进的网页消重高效检测算法．该算法通过利用网页的标签树结构选取最大的多个文本块,将这些文本块连接在一起生成一个代表该网页的MD5指纹,对指纹进行比较,确认近似网页实现消重,实验证明该方法对近似网页能进行准确的检测．     

增量式频繁闭合序列挖掘算法

在许多场合挖掘频繁闭合序列时,输入串数据库呈现实时动态增长的特点.分析Bide算法,给出并证明了闭合序列前缀中任意一个项目的后向扩展事件（BEE）项目交集随前缀的生长单调不增的定理,据此对BEE累计操作进行了优化,使其性能平均提高了48%.定义了闭合序列树作为频繁闭合序列的表示形式,并阐述了它的3个性质.分析发现,当新增输入串不同时包含前缀串和频繁项目时,两次连续挖掘的结果是相同的,给出了相应的定理和证明,据此实现了增量式频繁闭合序列挖掘算法BideInc.实验验证了BideInc算法的正确性,使用该算法后挖掘性能平均提高了47%.