关联规则Apriori算法的研究和改进

随着大数据时代的到来,数据挖掘技术成为了信息界的主要关注方向,但从大量数据中提取有价值的内容成为了难题。随着数据量的逐渐增加,以往的数据挖掘方法已不再适应当前大数据环境下的大数据挖掘。基于此,不断研究和改进Apriori算法的主要目的是使其能适应当前环境下的数据挖掘、存储和计算,使繁琐的数据挖掘过程变得简单明了,提高挖掘效率。     

大数据挖掘与数据处理方法探析

该文将基于大数据挖掘技术的基本,分析大数据与大数据挖掘之间的相互联系,对当今主流数据挖掘算法进行分类说明,最后以大数据时代中主流数据形态——非结构数据为例,阐述大数据挖掘的数据处理方法,以期能够为业内人士提供理论参考。     

FP—Growth算法MapReduce化研究

随着云计算概念的盛行,以及数据挖掘技术在分布式环境下的应用问题,该文献针对当前业界中流行的大规模并行计算模型MapReduce,将其引入数据挖掘领域关联规则算法的并行化改进中,提出基于FP-Growth算法并行化改进的MR—FP算法,为并行化关联规则挖掘提供节点可扩展、可容错、故障可恢复的运行保证。并通过案例分析得出系统在事务数呈数量级级别增长下仍可保持较高的性能。通过理论分析和案例实验表明,数据挖掘理论和方法在云计算环境下可以充分发挥能力,具有广阔的、有价值的研究空间。     

基于朴素贝叶斯算法的社交网络数据挖掘技术研究

近年来,随着互联网技术飞速发展与普及,大量社交网络平台迅速崛起。社交网络平台拉近了日常人际关系,提供了便捷的信息通讯交流通道。同时,针对社交网络平台数据挖掘的技术研究成为不可缺少的网络数据研究领域一部分。现有社交网络数据挖掘技术所采用的传统数据挖掘算法与数据分离模式,存在大数据多元特征条件下,数据挖掘准确度降低、挖掘分类逻辑混乱等现象。针对问题产生根源,提出基于朴素贝叶斯算法的社交网络数据挖掘技术研究。采用基于朴素贝叶斯算法设计的PCIE-FN社交网络数据挖掘平台进行全面化的深入性解决。通过实验证明,提出的基于朴素贝叶斯算法的社交网络数据挖掘技术研究,各项数据满足社交网络数据挖掘日常应用要求。     

智能检索引擎中的网络数据挖掘技术优化研究

随着计算机网络技术的不断发展,对于Web Service检索技术的要求也越来越大。并且现在网络环境当中数据信息流量十分庞大,对于信息可以做到深入搜索,实现全方位信息查询是非常有必要的。为此,利用网络数据挖掘技术在智能检索引擎中的应用,以文本描述为信息作为本文的研究对象,为用户提供运用查询要求实现概念检索功能。其中强调在智能搜索引擎当中的网络数据挖掘技术进行优化研究,从结构设计以及算法分析上总结出当前网络数据挖掘应用智能检索的可能性。最终设计出一种利用数据挖掘技术的智能检索模型,实现在众多网络数据中可以准确快速的进行详细的信息检索功能。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

水文时空数据挖掘方法及其应用评述

随着对地观测技术的发展,遥感数据在水文研究中的应用越来越普及,其所蕴含的丰富时空信息能在很大程度上弥补传统水文台站数据无法代表区域的不足。从海量、多维、类型多样的遥感数据中提取有用的涉水信息,已成为当前遥感数据在水文应用研究中的重点。遥感数据中的时空信息在分析水文现象时空分布特征,构建真正的分布式流域水文模型或者精细流域水文模型等方面起着重要作用。在梳理时空数据挖掘概念和国外时空数据挖掘现状的基础上,提出面向具体水文应用的水文时空数据挖掘模型,应用大数据技术分析水文现象的演变规律,为相关决策提供关键的支撑信息。     

一种基于PCA-SVM的医疗卫生数据挖掘分类方法

当前医疗卫生数据呈现量大、种类多、特征混杂等特点,为数据挖掘分类带来一定的挑战。针对医疗卫生数据的这些特点,提出一种基于主成分分析和支持向量机相结合的数据挖掘分类方法,重点研究该方法的算法模型,以及在医疗卫生领域的具体实现,并在MATLAB环境下利用Cardiotocography数据集和Breast Cancer数据集进行了仿真实验。实验结果表明,该方法的分类效果较好,为当前医疗数据挖掘分类提供了一种可行的思路。     

基于大数据的配变重过载预警分析

本文旨在利用大数据技术对电力数据进行系统挖掘,提供精准负荷预测,为供电安全监视、预防性控制和紧急处理提供依据。文章结合西安地区配电网运行中存在的问题,综合分析配变重过载的外部环境、配变运行信息、配变属性信息、配变供电客户类型等因素,应用大数据机器学习算法、大数据预处理技术、数据挖掘建模技术、大数据可视化技术等,分析研究各影响因素对设备重过载影响的相关性和重要程度,使用分类预测挖掘手段及随机森林算法,分析计算影响变量和目标变量,建立关系模式挖掘模型,构建配变重过载分析及预警模型,完成模型验证与纠偏,实现配变未来一周重过载情况准确预警、配变安全系数评价、重过载配变因素及特征分析与展示等,为电网运维提供有力支撑。通过基于大数据的配变重过载预警分析,提高运维工作效率,实现电网安全可靠运行。     

一种改进的关联规则算法探讨

随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业的应用,使海量数据不断产生。而数据采集手段的丰富,使获取、保存大量数据变得容易,从庞杂的数据中提取有用的知识和信息是数据挖掘的主要任务,关联规则是数据挖掘领域的一个重要分支。该文以数据挖掘为研究背景,讨论了数据挖掘中确定关联规则的一种方法,并提出改进算法。在研究算法的同时提供了一种数据项的二进制编码技术,对于提高数据信息的处理能力和可靠性有一定意义。     

基于大数据技术的石油数字化平台设计

大数据技术成为驱动石油化工服务类企业数字化转型的有效手段,基于大数据技术的石油数字化工作平台建设是石油化工服务类企业的大数据应用实践,该技术整合了企业营销、生产、经营等多个板块的多种业务,串联了企业数据采集、存储、治理、挖掘、分析及应用的整个数据生命周期;从石油化工服务类企业数字化发展现状及遇到的问题出发,结合大数据技术的发展及优势,提出了基于大数据技术的石油化工服务类企业石油数字化工作平台建设方案,通过对大数据故障信息进行提取,应用DBN大数据学习算法模型实现石油全寿命周期管理的数据计算和处理;通过实验,文章研究的方法数据处理准确度大于90%。     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求。通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求及数据类别,设计并搭建机场应急救援大数据处理平台整体架构;对大数据处理基础对的名称节点、数据节点进行功能设计,并对大数据平台数据批处理计算、流处理计算等计算需求进行研究,提供具体的处理引擎;分析表明研究成果有助于提高我国民航机场安全运行效率,为民航机场应急救援大数据处理平台提供支撑。     

大数据技术在智慧机场领域的应用研究

随着信息技术的发展,大数据技术在公共服务中的交通、医疗、教育、预测服务等领域得到广泛应用。本文从大数据存储、挖掘、分析和应用等几个角度重点介绍了机场大数据分析平台的构建方法,在机场转型升级方面提供了信息整合及数据分析模式的创新,以大数据技术在智慧机场领域的应用为研究内容,通过多个案例讨论大数据技术在智慧机场中的应用,从而加深人们对智慧机场的认识。     

面向大数据的网络安全分析方法

随着互联网技术的飞速发展与进步,大数据平台开始进入到人们的视野,云计算、云储存、分布式计算等平台已经逐渐形成了一整套完善的系统体系。本文通过对大数据网络安全的目前形势、关联分析类型及大数据场景三方面研究,为能够准确地找到网络漏洞并及时解决这些不安全因素提供了理论依据。     

大数据背景下计算机信息处理技术的探讨

针对当前大数据背景下计算机信息处理技术在不断地进行创新,利用大数据及时改进当前存在的某些限制因 素,提高以及计算机处理性能,让大数据信息能够在一个良好的环境实现存储、传输、数据处理等工作,通过不断地研发信息安 全产品来为大数据信息处理技术提供坚强的后盾     

基于大数据挖掘的发电组温升预警方法研究

传统方法所测得的残差无法作为判断发电组温升故障的依据,为解决这一问题,提出基于大数据挖掘的发电组温升故障预警方法研究。首先应用大数据挖掘技术收集数据,分析影响发电组温度的因素,依据发电组温度的因素与发电组温升故障预警基本原理,构建发电组温升故障预警逻辑判断结构;最后考虑到传统方法存在缺陷,运用大数据挖掘技术已有算法建立模型,实现预警,由此,完成基于大数据挖掘的发电组温升故障预警方法的设计。     

Web数据挖掘技术及应用

Web数据挖掘是数据挖掘技术在Web信息集合上的应用，Web数据具有本身的特点，Web数据挖掘可以分为三类，各自有其相关技术，随着Internet的发展，Web数据挖掘有着越来越广泛的应用。