基于可变粒度机会调度的网络大数据知识扩充算法

为了满足网络大数据背景下,大数据传播的数据知识高精度要求和清除劣质数据干扰,基于粒度可变调整方案提出了机会调度的网络大数据知识扩充算法。在分析网络大数据特征基础上,通过自适应向量编码,捕捉网络大数据的异构特性,采用多阶反向传播将异构网络大数据归一化处理,再通过机会调度实现网络大数据实时传输。同时,基于网络大数据组成的知识工程系统分割细粒度大数据,将多维特征进行降维处理,使得知识粒度转变为已知,接着调整粒度动态特性,使得知识工程的大数据集具有线性特征和明确的几何特性,通过知识扩充提高知识获取精度。实验结果通过与基于细粒度的知识获取算法进行对比,证明了所提算法的网络数据传输的高可靠性、实时性和知识获取的高效率。     

基于规模压缩的关联规则数据挖掘算法研究

基于关联规则的数据挖掘算法是人工智能和数据库研究的热点之一。本文提出的关联规则算法通过压缩规模,及时删除数据库中无用的事务记录,减少了事务数据的数量,提高了算法的执行效率。本算法能够生成较小规模的频繁候选集,有效减少了生成的候选集的规模,实现方便,在很大程度上也提高了效率。     

基于Apriori算法的医学分类器研究

基于关联分类的数据挖掘在医学临床上得到了广泛应用,但传统算法在进行医学挖掘时却出现选项集大小的制约、项的位置、关联规模过大等问题.针对传统关联分类算法在医学数据挖掘上的这些不足,提出了一种Apriori算法的优化,算法通过加入最大支持度及最小支持度和项出现位置的约束有效地在算法执行前和算法执行过程中删除了冗余模式和规则,满足医学分类要求,提高了医学分类的有效性,并且通过Aptiori-gen函数的改进提高了算法运行效率.最后用仿真实验验证了上述优化措施.     

Web Service架构下的分布式关联规则挖掘研究

随着信息技术的不断发展,大量的分布系统和跨平台系统不断涌现,同时也给数据挖掘带来了一定难度.针对分布的、异构的应用环境,提出了一个基于Web Service架构的数据挖掘框架.该框架能极大地实现分布异构环境下的数据挖掘.在此框架基础上设计了一个改进的PF增长算法,算法主要针对分布异构环境下的关联规则挖掘并具有较高的效率,同时也证实了框架的可行性.     

基于大数据挖掘处理的多维数据去重聚类算法分析模型仿真

本文设计了基于大数据挖掘处理的多维数据去重聚类算法分析模型.通过详细介绍多维聚类算法,基于大数据内部关联性分析,实现了去重聚类算法分析模型构建.最后通过算法优化与仿真研究,得出结论,多维数据去重聚类算法采样时复杂度偏低,数据分析结果准确率较高,可有效分析处理数据,避免冗余繁杂,保障数据分析效率与水平,评估判定结果较好,值得大力推广应用.     

一种基于参考点和密度的快速聚类算法

数据的规模越来越大,要求数据挖掘算法有很高的执行效率.基于密度的聚类是聚类分析中的一种,其主要优点是发现任意形状的聚类和对噪音数据不敏感.提出了一种新的基于参考点和密度的CURD(clustering using references and density)聚类算法,其创新点在于,通过参考点来准确地反映数据的空间几何特征,然后基于参考点对数据进行分析处理.CURD算法保持了基于密度的聚类算法的上述优点,而且CURD算法具有近似线性的时间复杂性,因此CURD算法适合对大规模数据的挖掘.理论分析和实验结果也证明了CURD算法具有处理任意形状的聚类、对噪音数据不敏感的特点,并且其执行效率明显高于传统的基于R*-树的DBSCAN算法.     

基于局部关键节点的大数据聚类算法

为了能在大数据集中合理地寻找到网络结构,提出了一种适用于大数据集的通过局部核心节点进行社区发现的算法。对于初始节点不确定和适应度函数计算所带来的时间消耗,引入局部关键节点和对适应度公式进行改进来减少时间消耗。并在小规模数据网络和较大规模数据网络中与经典算法进行实验,由实验结果得出,在小规模的数据集中,本算法与经典算法效率相差不大,在测试数据集的规模不断变大的情况下,本算法执行效率明显提高。测试结果表明,本算法是可行和有效的,适用于大规模数据的网络结构发现。     

一种高效的多维多层关联规则挖掘算法

关联规则是数据挖掘中一个重要的研究方向。文章提出了一种基于遗传算法的多维多层关联规则挖掘算法。算法针对现有多维多层关联规则挖掘中存在阈值定义不合理的缺点,依据多维和多层数据的共同特点,提出了一种启发式的阈值自定义方式,来提高挖掘效率和结果的准确性。实验结果证明这种算法是有效。     

一种高效的基于采样的关联规则挖掘算法

在事务数据集中发现项目间的关联规则是数据挖掘的一个经典问题,但传统的关联规则挖掘方法对于大事务数据集而言,执行效率相对较低。已经有研究表明,采样技术能有效地改善挖掘效率。在分析现有采样方法的基础上,提出了一种新的基于采样的高效关联规则挖掘算法ESMA。该算法采用了更加有效的双向采样策略。通过实验分析表明,该算法明显地加快了大事务数据库中采样的速度,从而降低了CPU时间,而且具有很好的可扩展性。     

基于关联规则映射的生物信息网络多维数据挖掘算法

针对在生物信息网络中对复杂和大规模的数据集进行挖掘时所出现的算法挖掘精度低、运行速度慢、内存占用大等问题,提出一种基于关联规则映射的生物信息网络多维数据挖掘算法.该算法结合网络数据集之间的关联映射关系,从而确定网络数据集的关联规则,并引入挖掘因子和相对误差来提高算法的挖掘精度;根据多维子空间中数据集之间的关联程度进行子空间区分以及子空间内数据集区分,从而实现对不同数据集的有效挖掘.在实验中,对不同数据集数量下的算法内存占用情况、算法挖掘精度、算法运行时间进行仿真,从实验结果可以看出基于关联规则映射的挖掘算法可以有效地提高挖掘精度,在减少内存占用和提升计算速度上也具有一定的优势.     

面向飞行器遥测数据的关联规则挖掘方法研究

飞行器遥测数据是飞行器状态的直接体现,对飞行器遥测数据的不断深入分析和研究,可为飞行器的安全性和稳定性提供有效保障;目前复杂飞行器的遥测数据存在试验数据量大、人工判读效率低、数据间关联关系复杂且不易梳理等问题;同时,数据智能化分析程度低,缺少对海量历史试验数据的有效利用;为克服现有技术不足,通过对飞行器遥测数据的关联规则挖掘方法进行研究,提出基于状态转换提取的关联规则挖掘算法,并与FP-Growth算法进行试验挖掘对比分析,实现对飞行器遥测数据参数的关联规则挖掘分析,有效地解决飞行器遥测数据间关联规则的梳理问题,试验结果准确率高,为飞行器工况与参数的关联规则挖掘提供重要参考意义.     

基于垂直数据分布的大型稠密数据库快速关联规则挖掘算法

为进一步解决对大型事务数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁的问题,给出了一种基于垂直数据分布的改进关联规则挖掘算法,称为VARMLDb算法。该算法首先有效地把数据库分为内存可以满足要求的若干划分,然后结合有向无环图和垂直数据形式diffse、差集来存储和计算频繁项集,极大地减少了存储中间结果所需的内存大小,解决了传统垂直数据挖掘算法对稠密数据库挖掘效率低下的问题,使该算法可有效地适用于大型稠密数据库的关联规则挖掘。整个算法吸取CARMA算法的优势,只需扫描两次数据库便可完成挖掘过程。实验结果表明该算法是正确的,在大型稠密数据库中,VARMLDb算法具有较高的执行效率。     

维上带层次数据立方的自底向上计算

通过扩展 BUC算法 ,提出了 HBUC算法 ,自底向上地计算维上带层次的数据立方 .HBU C算法的关键在于对层次之间的映像关系进行了合理地编码 ,并选择了恰当的层次扫描路线 ,这些不仅能够保证 HBU C算法继承和扩展BUC算法的优化过程 :Write- Ancestors和 Collapsing,而且使粗粒度级的聚集计算因为共享细粒度级的排序结果而得到加速 ,从而大大提高了 HBUC的计算效率 .     

一种面向无线传感器网络的数据汇聚模型

针对无线传感器网络能量和计算能力严重受限等问题,通过对数据汇聚技术的研究,该文提出一种面向无限传感器网络的数据汇聚模型及实现算法。该模型将数据挖掘算法集成在每个传感器网络节点上,原始数据通过数据挖掘算法处理后,降低数据维数、消除数据冗余、减少网络通信量、延长网络寿命。仿真结果表明,该模型具有一定的理论和实用价值。     

大数据下关联规则算法的改进及应用

大数据时代对数据挖掘的技术和应用提出了更高的要求,关联规则算法作为数据挖掘的一个主要方向,能够在大量数据中发现频繁项集和关联知识。Apriori算法是关联规则的经典算法,本文对其在大数据下应用的缺点提出改进的方法,并结合用户收视行为的海量数据对改进后的算法进行应用,提高了数据挖掘的效率并得到较好的挖掘结果,同时为后续的应用提出了新的课题。     

Deep Mining of Redundant Data in Wireless Sensor Network Based on Genetic Algorithm

Mining effective data from wireless sensor network node data is one of the main subjects in studies concerning wireless sensor network data processing. Wireless sensor network data are muli-dimensional and dynamic. Generally, data mining technology cannot satisfy the requirements of wireless sensor network. A large amount of accumulated and redundant wireless sensor network monitoring data reduces the efficiency of data processing. To solve the above problems, this study proposed a data mining algorithm, which integrated rough set algorithm and genetic algorithm to mine redundant data in node network data. The results of the simulated calculation based on MATLAB platform suggested that the identification rate, false accept rate and reject rate of the proposed algorithm were 94.65, 1.753 and 2.331%; compared to network data mining algorithm based on improved genetic algorithm, it has higher efficiency and accuracy in data mining. The algorithm could effectively excavate redundant data in wireless sensor network and optimize the operation environment of wireless sensor network. The application of the rough set and genetic algorithm based data mining algorithm in wireless network has a promising prospect.     

基于时间维层次查询频率的数据仓库粒度模型

数据仓库中的事实数据一般以最小粒度存储。而大量的细粒度数据具有很大的随机性,很少直接进行分析和处理,往往被聚集到一定层次的粗粒度数据。另一方面若采用ROLAP存储数据,则大量的细粒度数据将会影响查询的效率。本文介绍了一种基于时间维层次查询频率的粒度调整模型,它能根据用户在时间维层次的查询频率实现对数据粒度的调整。     

基于改进的关联规则挖掘算法的研究

A priori算法是经典的关联规则挖掘算法,它利用逐层搜索的迭代方法完成频繁模式的挖掘工作,反复进行连接剪枝操作,思路简单易操作,但也伴随着产生庞大候选集,多次扫描数据库产生巨大I/O开销的问题,提出一种改进算法:基于矩阵的关联规则挖掘算法,同A priori算法比较,该算法只需扫描一遍数据库,就可直接查找k-频繁项集,尤其是当频繁项集较高的时候,该算法具有更高的执行效率,在大数据量的情况下更具有可行性。     

数据仓库设计中低粒度数据的分割策略研究

数据仓库中存在着巨大容量的低粒度数据，其存储策略的好坏直接影响到联机分析处理和数据挖掘的性能及效率。该文分析了数据仓库系统中数据分割的一般原则，详细论述了静态数据分割的各种策略，并对结构和内容两个方面的变化所引起的动态数据分割策略进行了详细研究，提出了基于属性相容和属性语义等价的动态数据分割技术。