共查询到15条相似文献,搜索用时 156 毫秒
1.
针对Hadoop框架下的用户行为大数据挖掘效率问题,提出了一种改进的关联规则Apriori挖掘算法。该算法首先实现了Hadoop框架下的项集分类建模。然后通过传统关联规则Apriori算法的挖掘步骤分析,对候选项目集的生成方式进行了改进,并结合标志位信息实现无用事务去除,有效压缩了事务和项目的数量,从而缩短了任务处理时间。在具体实现过程中对改进Apriori算法流程进行了Map Reduce处理。仿真实验表明:相比于传统Apriori算法,改进后的Apriori挖掘算法具有更高的执行效率。 相似文献
2.
为了有效利用云平台Hadoop框架的并行处理能力。通过对大数据挖掘技术中的传统关联规则算法 Apriori算法进行了分析和改进,提出了一种基于Map Reduce并行模式的改进数据挖掘算法,适用于医学大数据的分析和应用。首先通过布尔排列优化数据库中事务数据的存储方式,从而有效减少数据库被扫描的次数。然后采用关联规则优化减少Apriori算法中冗余的子集。为了验证改进算法的有效性,采用医学历史数据进行实验验证。最后仿真实验结果显示,相比传统的Apriori算法,提出算法的运行效率更高,具有较好的可靠性和有效性。 相似文献
3.
为了有效利用云平台Hadoop框架的并行处理能力。通过对大数据挖掘技术中的传统关联规则算法-Apriori算法进行了分析和改进,提出了一种基于Map Reduce并行模式的改进数据挖掘算法,适用于医学大数据的分析和应用。首先通过布尔排列优化数据库中事务数据的存储方式,从而有效减少数据库被扫描的次数。然后采用关联规则优化减少Apriori算法中冗余的子集。为了验证改进算法的有效性,采用医学历史数据进行实验验证。最后仿真实验结果显示,相比传统的Apriori算法,提出算法的运行效率更高,具有较好的可靠性和有效性。 相似文献
4.
5.
随着现代商业的不断发展,以网络购物为主的各种新兴电子商务平台得到了广泛普及。为了提高不同类型用户需求分析的效率,以实现电子商务平台的精准化客户服务,提出了一种基于数据挖掘和Hadoop平台技术的客户服务管理方法。该方法首先采用权重估计对部署到Hadoop平台的客户进行分类,接着对平台中的商品进行标签化分类并实现用户兴趣商品的参数估计。然后采用Map Reduce并行框架对传统数据关联规则Apriori算法进行了优化,减少数据中冗余的子集。仿真实验结果验证了提出电子商务平台客户精准服务管理方法的可行性,具有较好的准确度和运行效率。 相似文献
6.
铝电解控制中灰关联规则挖掘算法的应用 总被引:9,自引:1,他引:9
在事务拓扑空间的基础上,将灰色系统理论引入属性集的关联规则挖掘中,提出了一种新的适用于铝电解工业控制现场的灰关联度挖掘框架,并给出了基于该框架的灰关联规则挖掘算法,即Gray_CTL挖掘算法.将算法分解为两个小问题:1)计算关于时间属性的灰关联度,这是算法的核心;2)挖掘灰关联规则.以电解槽的热平衡数据挖掘为例,对某电解槽一个月的生产数据进行分析后,获得的灰关联规则说明该段时间内分子比、槽电压等因素对温度的影响程度较大. 相似文献
7.
关联规则挖掘能发现事务之间的潜在规则,在故障诊断中的应用有重要的研究价值.传统关联规则挖掘算法在数据离散化和支持度选取上都存在许多不足.文章在模糊关联规则挖掘算法的基础上重点研究了隶属度函数选取和最小支持度选取问题,提出一种改进模糊关联规则挖掘算法IFAR(an Improved Fuzzy Association Rules).算法采用基于k-means聚类的自动确定隶属度函数参数方法,克服了传统硬划分方法带来的"边界过硬"问题,避免了人为划定边界的盲目性.算法在支持度选取上采用一种多重最小支持度的思想,在避免产生无意义短规则的同时有效发现有意义的长规则,提高挖掘结果的质量.最后通过旋转机械故障实验仿真证明了IFAR算法在故障诊断中的有效性和正确性. 相似文献
8.
传统网络异构的数据挖掘算法以数据间的关联性为基础进行聚类,当数据集中出现大量冗余数据时,数据间的关联性减弱,使得数据挖掘精确度降低。为解决这个问题,提出一种新的弱关联冗余环境下挖掘算法。该算法先通过数据聚类方法,确定大数据集的原始聚类中心,不断更新聚类中心确保其逼近真实中心,实现大数据集的数据聚类。再对大数据集的弱关联规则进行挖掘,计算弱关联规则下数据间的关联性,采用弱化关联规则方法,挖掘出弱关联冗余环境下的数据。实验结果表明:所提挖掘算法具有较高的挖掘效率和精度,以及较低的复杂度。 相似文献
9.
10.
数控机床故障问题的及时响应、故障原因精准判断以及解决方案的快速识别是实现制造单元智能化的关键。基于数控机床历史运维数据,采用关联规则挖掘FP-Growth算法实现数控机床故障模式、原因的关联规则挖掘。首先对运维数据进行故障特征分析,构建基于关联规则的故障诊断模型;其次,通过对历史故障模式及其相应故障原因进行挖掘,生成故障诊断关联规则;最后结合关联规则的支持度、置信度等评估指标进行分析,并推演出关联概率的大小,验证了FP-Growth算法用于数控机床故障特征分析的可行性和合理性。 相似文献
11.
为了更为高效地挖掘海量航空维修数据中隐含的信息,提升飞机故障分析能力及深度维修能力,通过轮廓系数K-means聚类和多值属性Apriori关联规则算法挖掘飞机IDG部件各故障因素之间的关联规则.首先,采集B737飞机故障维修数据,进行预处理并筛选出与IDG部件相关的故障数据信息;其次,利用K-means聚类和多值属性A... 相似文献
12.
云计算环境下的大数据特征挖掘是大数据统计及分析的基础。为了提高聚类的准确度和速度,设计了一种基于分布式Hadoop平台和熵加权特征选择的数据挖掘方案。该方案首先采用无回路有向图对Hadoop平台下的Map Reduce 作业流调度问题进行了分析。然后采用并行 Map Reduce执行过程完成分布式计算。最后,采用熵加权聚类算法实现海量数据挖掘。仿真结果显示,提出的数据挖掘方案具有较好聚类效果和运行效率。 相似文献
13.
针对经典自适应滤波算法处理机械故障信号时收敛过慢的问题,在大数据框架下提出一种改进的自适应滤波算法.以Hadoop平台为基础架构,构建一种三层次结构的机械故障大数据处理框架,用于采集和预处理原始故障大数据集;在信号滤波方面引入步长变化因子函数和均方误差函数,提高算法的收敛性能;基于离散粒子群算法对故障信号滤波处理过程进... 相似文献
14.
15.
PATTERN MINING AND DISCOVERY ORIENTED TO ARTIFICIAL LIFE 总被引:1,自引:1,他引:0
Liu Jianqin College of Information Engineering Central South University of Technology Changsha P. R. China 《中国有色金属学会会刊》1999,9(1)
1INTRODUCTIONPaternmininganddiscoveryisoneoftheemergingbranchesofKDD(KnowledgeDiscoveryinDatabase)whichisapromisingfieldofth... 相似文献