一种基于Spark的不确定数据集频繁模式挖掘算法

如何在海量不确定数据集中提高频繁模式挖掘性能是目前研究的热点.传统算法大多是以期望、概率或者权重等单一指标为数据项集支持度，在大数据背景下，同时考虑概率和权重支持度的算法难以兼顾其执行效率.为此，本文提出一种基于Spark的不确定数据集频繁模式挖掘算法（UWEFP），首先，为了同时兼顾数据项的概率和权重，计算一项集的最大概率权重值并进行剪枝；然后，为了减少对数据集的多次扫描，结合Spark框架的优点，设计了一种具有FP-tree特征的新颖的UWEFP-tree结构进行模式树的构建及挖掘；最后在Spark环境下，以UCI数据集进行实验验证.实验结果表明本文的方法在保证挖掘结果的同时，提高了效率.     

F150交换机告警关联规则的研究

为了提高电信网络运营效率，降低维护成本，电信运营企业在网络告警管理系统中需要引入数据挖掘技术。本文主要研究利用数据挖掘技术来进行故障的管理，即对告警进行关联性分析，详细分析了告警序列数据的关联规则挖掘算法，并在南昌本地网F150交换机的告警数据库中予以实现，同时对实际挖掘结果进行分析和整理，推导出一些实用的关联规则。     

Effect of Additives on Magnetic Properties of High Frequency MnZn Power Ferrite

In keeping with the advance of more compact and more power-saving electronic equipment, the demand is increasing for smaller and more efficient switching power supply. Therefore, it is necessary to provide the adequate magnetic power ferrite materials to satisfy the demand. Such ferrite materials have to meet the following main requirement: 1) high initial permeability (μ i ); 2) high saturation magnetic induction (Bs); 3) high Curie temperature (Tc); 4) high electrical resistivity (ρ ); 5)…     

A new algorithm for fast mining frequent itemsets using N-lists

Mining frequent itemsets has emerged as a fundamental problem in data mining and plays an essential role in many important data mining tasks.In this paper,we propose a novel vertical data representation called N-list,which originates from an FP-tree-like coding prefix tree called PPC-tree that stores crucial information about frequent itemsets.Based on the N-list data structure,we develop an efficient mining algorithm,PrePost,for mining all frequent itemsets.Efficiency of PrePost is achieved by the following three reasons.First,N-list is compact since transactions with common prefixes share the same nodes of the PPC-tree.Second,the counting of itemsets’ supports is transformed into the intersection of N-lists and the complexity of intersecting two N-lists can be reduced to O(m + n) by an efficient strategy,where m and n are the cardinalities of the two N-lists respectively.Third,PrePost can directly find frequent itemsets without generating candidate itemsets in some cases by making use of the single path property of N-list.We have experimentally evaluated PrePost against four state-of-the-art algorithms for mining frequent itemsets on a variety of real and synthetic datasets.The experimental results show that the PrePost algorithm is the fastest in most cases.Even though the algorithm consumes more memory when the datasets are sparse,it is still the fastest one.     

基于视频数据和传递熵的鱼群信息传递网络构建

鱼群中的个体如何通过信息传递从而达到一致的群体运动状态,至今还没有刻画这一现象的统一数学模型.本文阐述了一种利用视频数据和传递熵构建鱼群中个体间信息传递网络的方法.首先用实验获取斑马鱼集群的视频数据,并采用计算机视觉跟踪的方法获取鱼群中每个个体的位置和运动速度,然后利用传递熵计算个体两两之间的信息传递关系,在此基础上构建了鱼群信息传递网络.通过网络分析,揭示了鱼群中个体间的信息交互个数与信息传播速度之间的关系,进一步发现了鱼群信息传递网络中的频繁子结构.本文提供了一种利用探测时间序列间因果关系建立鱼群信息传递网络的方法,为鱼群信息传递研究提供了一种新的思路.     

一种基于Hadoop的动态树增量更新方法

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求,提高传统树增量更新挖掘效率,改变已有算法的串行执行方式,提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念,针对现有Hadoop平台中任务调度的随机分配策略,设计一种动态云平台中的资源调度与分配算法,以期达到成本消耗的最小化,给出树增量更新挖掘算法以及2个并行算法（DeleteFreqTree和FindNewTree）,完成树数据的增量挖掘工作。实验结果表明,该并行算法有效可行,具有高效性与良好的扩展率,能够对海量树数据进行更新挖掘。     

一种频繁核心项集的快速挖掘算法

传统的频繁核心项集挖掘需多次生成和反复扫描数据库,导致生成效率低下。为此,提出一种快速生成频繁核心项集算法FMEP。该算法使用Rymon枚举树作为搜索空间,并采用分而治之的策略选择特定的路径进行剪枝。利用频繁核心项集特有的反单调性质,可以快速地判断某一个候选项集是否为频繁核心项集,而无需和所有直接子集的析取支持度进行比较。通过上述方法,可以达到快速挖掘的目的。实验结果证明,该算法能够在挖掘出所有的频繁核心项集精简表示元素的同时,降低消耗时间,与MEP算法相比,在密集型数据集上的时间可缩短2倍以上,在稀疏型数据集上时间至少缩短30%。     

事件序列上的频繁情节挖掘算法

事件序列上的频繁情节挖掘是时序数据挖掘领域的热点之一,基于非重叠发生的支持度定义,提出一个频繁情节挖掘算法NONEPI＋＋,该算法首先通过情节串接产生候选情节,然后通过预剪枝和计算情节发生的时间戳来产生频繁情节.算法只需扫描事件序列一次,大大提高了情节挖掘的效率.实验证明,NONEPI＋＋算法能有效地挖掘频繁情节.     

不确定性数据频繁项集挖掘算法

由于不确定性数据大量存在于传感器网络,移动计算,军事,电信等应用领域,传统的频繁项集挖掘算法难以适用到不确定性数据挖掘。为了解决这个问题,本文提出了一种快速有效的算法,该算法基于可能世界模型,只需要扫描一次数据库,且没有建树的过程,通过实验证明,我们提出的算法比UF_Growth算法效率更高。     

双聚类的关联规则挖掘方法

为了使所有关联规则算法都可用于双聚类挖掘,将双聚类问题转化为关联规则的频繁集挖掘问题.在为双聚类挖掘提供大量算法的同时,不但能获得双聚类,而且还能得到额外的双聚类关联信息.基因表达数据的实验结果证明了其有效性.