基于大型数据库的数据挖掘应用研究

信息时代的数据每天都在急剧增加,人类也进入了大数据时代,对海量的数据要进行准确的分析和精确的处理就离不开对数据挖掘技术的应用,作为一项转为大数据处理而生的挖掘技术,能够有效地提高数据处理的效率和精确性.针对大数据处理过程中数据挖掘技术相关问题,对当前应用比较多的大数据挖掘技术进行了分析.     

大数据挖掘与数据处理方法探析

该文将基于大数据挖掘技术的基本,分析大数据与大数据挖掘之间的相互联系,对当今主流数据挖掘算法进行分类说明,最后以大数据时代中主流数据形态——非结构数据为例,阐述大数据挖掘的数据处理方法,以期能够为业内人士提供理论参考。     

大数据时代的数据挖掘技术与应用

在大数据时代背景下,数据的价值逐渐凸显出来,而面对种类繁多、数量庞大的数据,传统的数据处理技术已经无法满足需求。数据挖掘技术在此背景下应运而生,并已广泛运用在教育、医疗、电信及科研等领域中。基于此,在介绍数据挖掘技术方法的基础上,对数据挖掘技术的具体应用进行了研究,同时提出了其未来的发展方向。     

基于大数据技术学情监控系统框架设计

借助移动智能终端,利用大数据技术进行挖掘、分析和处理,最终形成对教学过程具有指导意义的有用信息,以增强学生的学习兴趣,提高教学效果。本文以Hadoop为核心构建了学情监控系统,并给出了数据挖掘并行算法。     

数据挖掘在水文相似年查找中的应用研究

研究探索了包括目标理解、准备数据、数据预处理、建立模型、评估解释、知识应用等水文数据挖掘的六个过程。并采用公共的数据处理和挖掘算法,实现各过程之间数据无缝连接,形成了松散耦合的水文数据挖掘系统体系框架。在实施水文数据挖掘过程中,将数据挖掘的一些数据处理方式应用到了水文领域,同时也采用了水文领域中的一些数据处理技术,实现了数据挖掘领域与专业领域的数据处理和评价方式融合。通过选取江苏省国家水文数据库中的两个不同代表性区域的水文资料,严格按照水文数据挖掘的过程控制,以水文相似年查找为突破口,实施数据挖掘。在全方位地对结果分析、对比和评价后发现,以数据挖掘的方法,采用聚类分析中分层聚类的凝聚算法,进行水文相似年查找所发现的结果与水文领域专家知识基本相符。     

计算机数据信息处理中大数据技术的应用研究

大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数据信息的安全保障、数据解释等方面的应用展开了论述。     

基于数据处理的数据挖掘隐私保护技术分析

随着数据挖掘技术的发展与应用,如何在得到准确的挖掘结果的同时保护隐私信息不被泄露,已经成为必须解决的问题.基于数据处理的数据挖掘隐私保护是一种有效的途径,通过采用不同的数据处理技术,出现了基于数据匿名、数据变换、数据加密、数据清洗、数据阻塞等技术的隐私保护算法.文中对基于数据处理的数据挖掘隐私保护技术进行了总结,对各类算法的基本原理、特点进行了探讨.在对已有技术和算法深入对比分析的基础上,给出了数据挖掘隐私保护算法的评价标准.     

基于Hadoop平台的数据挖掘系统的分析与设计

文章在深入研究了基于Hadoop平台的数据挖掘技术、框架构建和SPRINT算法,然后以此为基础探讨了数据挖掘的要求,从而构建出了以Hadoop平台为基础的数据挖掘系统,在构建大数据集的过程中使用了MYSQL系统,并分析和测试了系统的效率.经实践和测试发现,该系统在经过了算法的改进后,数据处理的时间大大减少了,因此整体的系统效率得到了提升.     

大数据技术在高校教育改革中的应用

随着科技的进步,网络技术迅猛发展,大数据技术也随之发展.大数据也影响着社会的各行各业的发展,高校教育事业离不开数据,通过大数据的数据挖掘技术,能够推动高校教育事业的发展.本文介绍了在大数据背景下的数据挖掘技术,并对高校教育改革中数据挖掘技术的应用进行了研究.     

轨迹大数据:数据处理关键技术研究综述

大数据时代下移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据.轨迹数据含有丰富的时空特征信息,通过轨迹数据处理技术可以挖掘人类活动规律与行为特征、城市车辆移动特征、大气环境变化规律等信息.海量的轨迹数据也潜在性地暴露移动对象行为特征、兴趣爱好和社会习惯等隐私信息,攻击者可以根据轨迹数据挖掘出移动对象的活动场景、位置等属性信息.另外,量子计算因其强大的存储和计算能力成为大数据挖掘重要的理论研究方向,用量子计算技术处理轨迹大数据可以使一些复杂的问题得到解决并实现更高的效率.本文对轨迹大数据中数据处理关键技术进行综述.首先,介绍轨迹数据概念和特征,并且总结了轨迹数据预处理方法包括噪声滤波、轨迹压缩等.其次,归纳轨迹索引与查询技术,以及轨迹数据挖掘已有的研究成果包括模式挖掘、轨迹分类等.总结了轨迹数据隐私保护技术基本原理和特点,介绍了轨迹大数据支撑技术如处理框架、数据可视化.本文也讨论了轨迹数据处理中应用量子计算的可能方式,并且介绍了目前轨迹数据处理中所使用的核心算法所对应的量子算法实现.最后,对轨迹数据处理面临的挑战与未来研究方向进行了总结与展望.     

高校教育信息化中数据挖掘的应用研究

数据挖掘作为一种高效的数据处理技术,被广泛的应用到各个领域。高校教育信息化的快速发展为高校积累了大量的信息,利用数据挖掘技术可以发现在数据中隐藏的普遍规律和模式,为高校教育教学工作的顺利开展提供了科学的依据。本文通过对数据挖掘概念、过程及进行数据挖掘必要性的分析,探讨数据挖掘技术在高校教育信息化中的应用问题。     

基于多源信息的高职学生学情管理系统设计

现代教育环境下,准确进行学生学情分析与管理,是"以学生为中心"教育教学理念真正贯彻实施的关键,一直受到教育界的高度重视。结合高职学生学情特点,研究基于多源信息融合技术的学生学情管理系统架构,为高职院校提供更高效的学情管理思路。利用多源信息融合技术,能够深度挖掘学生在校的各种学情数据,有助于促进学校和学生的共同发展。     

工作流执行数据分析方法的研究

研究工作流执行数据需要高性能的数据处理技术。本文提出了基于数据挖掘的工作流执行数据分析方法。它的主要思想是检索工作流数据到数据仓库,采用OLAP技术和数据挖掘的方法支持用户选择不同的方法,并且通过不同维度和不同抽象层面查看相应的数据,这对于企业决策是非常重要的。     

基于大数据的数据挖掘中容错技术研究

随着互联网的不断发展,应用程序、数据正在迅速增长,大规模数据存储成为大数据技术研究重点,借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展,通过对大数据时代数据特征的分析,结合当前技术发展趋势,运用Python技术设计数据挖掘中代码容错技术的改进,并用算法进行实现。测试结果表明,该算法运行良好,系统的健壮性和可靠性大大提高,为大数据和数据挖掘提供理论基础,为海量数据的安全可靠挖掘提供科学有效的技术支撑。     

基于XML的历史数据归档与重构策略的研究

随着企业数据的爆炸式增长,数据库中大量的数据成为过期数据,但是这些数据并不是无用的,它们是数据处理和数据挖掘的重要对象,所以必须对其进行归档操作.将XML技术应用于数据库历史数据的归档和重构,并针对现有归档策略中的不足之处,提出了改进的数据归档和数据重构策略.同时,为了提高检索效率并且降低存储设备使用率,提出了分级管理...     

大数据研究

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命。大数据挖掘和应用可创造出超万亿美元的价值,将是未来IT领域最大的市场机遇之一。大数据利用对数据处理的实时性、有效性提出了更高要求,需要根据大数据特点对传统的常规数据处理技术进行技术变革,形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。文中介绍了大数据的概念及其关键技术,描述了大数据带来的机遇和挑战,概述了美国政府的"大数据研究和发展倡议"。     

大数据背景下机器学习研究

随着大数据时代的到来,海量数据处理具有复杂性、多样性、高维性等特点,数据挖掘难度大,传统的机器学习算法已无法很好地处理大数据问题,在此背景下机器学习算法研究成为热点。基于此,笔者分析了当前机器学习的关键技术,并运用分治算法、聚类算法、并行计算等技术让数据变得更有条理性,有效降低了数据处理分析的难度,大大提高了机器学习的能力。     

海量数据挖掘过程相关技术研究进展

随着信息技术的发展,复杂、多样的海量数据给数据挖掘带来了新的挑战。为了更加深入全面地了解大数据环境下的数据挖掘技术的研究进展和应用,从海量数据挖掘过程的技术框架、算法、理论及模式方面进行了详细的阐述。概述了大数据的基本概念、处理流程及面临的问题,简述了数据挖掘的基本过程及相关算法,详细评述了海量数据挖掘过程的研究现状及面临的挑战,并从博弈论的角度、粒计算模型及大数据处理思维方面探讨了海量数据挖掘过程中的处理模式。     

数据挖掘中的数据预处理

1 引言数据挖掘(Data Mining,简称DM),也称为数据库中的知识发现KDD(Knowledge Discovery inDatabase),是近几年来随着数据库和人工智能发展起来的一门新兴的数据库技术。其处理对象是大量的日常业务数据,目的是为了从这些数据中抽取一些有价值的知识或信息。原始业务数据是知识和信息提取的源泉,对于数据挖掘就显得十分重要。目前所进行的关于数据挖掘的研究工作,大多着眼于数据挖掘算法的探讨,而忽视了对数据处理的研究。目前一些比较成     

基于空地观测的地震大数据处理系统研究

地震观测数据包括地面和空间两部分,地面地震台站能够监测形变、重力、地磁、电磁、地电、流体等多种学科参数,空间卫星能够采集电离层离子密度、温度、电磁场等多种数据,数据格式多种多样,数据采样频率长短不一,属于典型的大数据。本文分析了地震监测产生的数据特点,符合大数据的"5V"特征;给出了大数据处理的技术框架,从大数据存储、预处理、大数据分析、知识发现以及知识应用几个方面,分析了大数据处理的六个层次,阐述了不同层次需要的数据处理方法;从存储管理技术、Map Reduce技术模型、深度学习技术、信息融合与数据挖掘技术、可视化展示与虚拟现实技术等几个方面探讨了地震大数据处理的关键技术,并给出了两例地震大数据应用场景。大数据技术应用于地震监测分析将对人类战胜地震灾害具有重要意义。