基于多核并行的海量数据序列模式挖掘*

为了在多核处理器上充分利用多核资源以提升挖掘性能,提出了一种动态与静态任务分配机制相结合的基于多核的并行序列模式挖掘算法。该算法采用数据并行与任务并行相结合的策略,在各处理器核生成局部序列模式后,再与其他处理器核协同,以最终获得所有的全局序列模式。算法通过并行局部归约技术消除了局部序列的重复生成与计算,并可结合静态与动态任务分配机制解决处理器的负载不均衡问题。理论分析和实验都证实了该算法可有效利用多核计算平台及多核体系结构优势,具有较高的运行效率和加速比。     

改进的基于PSO的离群点检测算法

针对Mohemmed等新近提出的基于粒子群优化(PSO)算法的离群点检测方法(MOHEMMED A,ZHANG M,BROWNE W.Particle swarm optimisation for outlier detection[C]∥GECCO'10:Proceedings of the 12th AnnualConfernce on Genetic and Evolutionary Computation.Oregon,Portland:ACM,2010:83-84)可能出现适应值和相应数据对象的离群度不匹配的不合理现象,分析了存在这种现象的原因,并提出一种改进的适应值函数.新的适应值调整了对不合理邻域半径估值的惩罚力度,从而弱化粒子适应值和对象离群度之间的偏差;算法在解空间范围内搜索近似最优粒子,以确定合适的邻域半径估值;最终基于该半径估值衡量各数据对象的离群度.通过对若干UGI数据案的实验表明,采用新的适应值函数的离群检测算法优于原有方法和LOF方法.所提算法不仅解决了上述存在的问题,离群点检测效果也更突出,这表明合理定义适应值函数有助于提高算法的检测质量.     

web环境下的个性化信息服务实现

科技飞速发展,人们对个性化的信息服务的需求也越来越高。WEB环境下,信息服务机构如何满足人们日益增长的个性化需求?W E B数据挖掘技术便是关键的一环。     

基于多线程评估的基因表达式编程算法

分析了基因表达式编程(GEP)算法的性能关键,指出提升的一个重要瓶颈是在个体评估阶段;结合多核CPU并行计算能力,提出了基于多线程评估的GEP算法(MTEGEP),并通过实验验证了MTEGEP的高效性：在双核CPU环境下MTEGEP运算速度是传统GEP的1.89倍,而在8核CPU环境下达到了6.48倍。实验结果表明该算法能有效提升GEP算法的性能。     

社交网络隐私保护中的随机算法

提出了一种基于高斯随机乘法的社交网络隐私保护方法.该算法利用无向有权图表示社交网络,通过高斯随机乘法来扰乱其边的权重,保持网络最短路径不变并使其长度应与初始网络的路径长度尽可能接近,以实现对社交网络的隐私保护.从理论上证明了算法的可行性及完美算法的不存在性.采用这种随机乘法得到的仿真结果符合理论分析结果.     

一种移动物体时空轨迹聚类的相似性度量方法

针对利用最小包围盒(MBB)压缩的移动物体时空轨迹,为了能对其进行有效地聚类,提出了一个基于盒内数据点密度的轨迹间相似性度量公式.首先,把两条轨迹的相似性度量转化为两条轨迹上有时间交叠的MBB之间的相似性度量,这在很大程度上减少了数据存储量.其次,分析两条轨迹上有时间交叠的MBB之间影响相似性的因素:时间持续、空间距离和盒内数据点的密度.剖析这3个因素对轨迹相似性的影响作用,提出了利用MBB压缩的移动物体时空轨迹相似性度量公式.实验证明采用本公式对移动物体时空轨迹进行聚类,可以提高聚类结果有效性指标Dunn的值.     

基于线性链表的模糊关联规则挖掘

为改进现有模糊关联规则挖掘算法的不足,提出了一种基于线性链表的模糊关联规则挖掘算法。算法利用线性链表只存储有用的事务数据库信息,并不断利用前期的运算结果对之进行简化,减少了数据的存储开销及扫描时间,降低了算法的时间复杂度,提高了算法的效率。比较分析以及实验表明,该算法对于挖掘模糊关联规则是快速而有效的。     

SA-BFSN:一种自适应基于密度聚类的算法

针对BFSN算法需要人工输入参数r和λ的缺陷,提出了一种自适应确定r和λ的SA-BFSN聚类方法。该方法通过Inverse Gaussian拟合判断r参数,通过分析噪声点数量的分布特征选择合适的λ值。算法测试表明,使用SA-BFSN无需人工输入参数,能够实现聚类过程的全自动化,能够有效处理任意形状、大小和密度的簇。     

基于剪枝的海量数据离群点挖掘

基于距离的离群点挖掘通常需要O(N2)的时间进行大量的距离计算与比较,这限制了其在海量数据上的应用。针对此问题,提出了一个带剪枝功能的离群点挖掘算法。算法分为两步:在对数据集进行一遍扫描后,剪枝掉大量的非离群点;然后对余下的可疑数据实施一种改进的嵌套循环算法,以每个数据点与其k个最近邻点的平均距离作为离群度,确定前n个离群点。在真实数据和合成数据集上的实验结果均表明,该算法在获得高命中率的同时仍保持低误警率。与相关算法相比,其具有较低的时间复杂性。     

基于改进的Wap算法的Web序列模式的研究

基于不完备决策表的属性约简定义有多种,现研究基于知识粒度的属性约简。研究发现,差别矩阵是一种较好的设计属性约简算法的方法。为此,定义了一种粒度差别矩阵和基于该差别矩阵的属性约简,并证明了该差别矩阵的属性约简定义与基于知识粒度的属性约简定义等价。在此基础上,设计了一个新的基于信息量的不完备决策表的属性约简算法,其时间复杂度得以降低。