中值滤波方法在数据挖掘数据预处理中的应用

文章讨论了中值滤波方法在数据挖掘预处理中应用问题。简要介绍数据挖掘中的数据预处理及数据清洗中的常见方法。利用中值滤波的特点对中值滤波和平均值法进行比较分析,实现中值滤波在数据预处理中的应用。     

数据挖掘中数据预处理方法与技术

数据挖掘是最近流行的数据库技术和人工智能技术相结合的一门新兴技术。论述了数据预处理在数据挖掘中的重要地位,介绍了数据预处理过程所包含的内容和采用的方法与技术。     

数据挖掘中的数据预处理方法

从初始数据源出发,总结了目前数据预处理的常规流程方法,提出应把源数据的获取作为数据预处理的一个步骤,并且创新性地把数据融合的方法引入到数据预处理的过程中,提出了数据的循环预处理模式,为提高数据质量提供了更好的分析方法,保证了预测结果的质量,为进一步研究挖掘提供了较好的参考模式.     

基于Apache Spark的配电网大数据预处理技术研究

随着配电网采集的数据规模日益增大,如何高效地预处理配电网数据成为目前配电网数据分析面临的重要问题之一.考虑到配电网大数据的复杂性,提出了基于Apache Spark 的大规模数据并行预处理的方法.首先,为了更有效地处理配电网大数据,以Spark为计算引擎搭建了大数据并行计算平台;接着,分析了目前配电网大数据面临的一些普...     

Web日志挖掘数据预处理方法研究

Web日志挖掘通过分析Web服务器的日志文件发现用户访问站点的浏览模式,预处理是保证高效、快速地挖掘到正确、有用的模式最为关键的环节.笔者分析了数据预处理的具体过程,并对数据预处理方法进行了深入的研究.     

物流领域中空间数据预处理技术的应用研究

针对物流中空间数据存在的问题,提出一种面向物流的数据预处理工作流程.介绍了数据预处理技术用于物流的优势,分析了数据预处理技术可以改善物流中数据的不完整性和不一致性,重点描述了数据预处理的全过程,最后指出数据预处理能更好的提高数据挖掘算法中输入数据的质量,进而提高挖掘的效率.     

粗大误差判定准则在靶场试验数据预处理中的应用

针对靶场试验测量数据处理误差分析的问题,对统计学中常用的四种粗大误差判定准则应用特点进行分析。结合靶场某次试验单台设备的测量数据,分别用四种判定准则进行数据预处理,提出了靶场数据预处理遵循的原则。研究结果表明,实时和事后数据预处理采用不同的准则进行判定,需要将四个准则综合应用。改进了以往单一使用拉依达准则预处理的办法,实例验证了合理性和有效性。对试验数据预处理方法的研究,旨在利用试验数据对被试飞行器的性能做出合理的鉴定。     

一种改进的基于Web使用挖掘的数据预处理方法的研究

本文从各种数据源采集方法出发,分析各自的局限性,首先确定面向服务器端进行Web使用挖掘,然后进一步分析服务器端数据源的特性,给出针对此数据源的一种数据预处理方案及改进方法,提出数据净化、用户识别、会话识别等关键预处理步骤,为数据挖掘过程提供尽可能准确的目标数据。     

基于典型数据集的数据预处理方法对比分析

针对多种数据预处理方式及其组合如何提升模型拟合效果这一问题,基于UCI Machine Learning Repository典型数据集,分别利用20种变量处理方式和4种变量选择方法对数据预处理,并对模型拟合效果对比分析,分别考查了多种数据预处理方式及其组合对常见分类模型和回归模型的影响.通过对实验结果的分析讨论,提出一种启发式算法,根据数据特征、模型特点以及研究问题种类等信息推荐数据预处理方法.在更广泛的数据集上的实验结果表明,该算法所推荐的数据预处理方法可以一定程度上提升模型拟合效果,节省手工选取数据预处理方法的开销.     

基于Web日志挖掘的客户访问兴趣分析

数据预处理是Web日志挖掘中的一项关键技术,如何分析客户访问兴趣是Web挖掘中的一个重要研究课题。概述了Web日志挖掘的概念、方法和步骤,重点分析了数据预处理的主要步骤及其实现技术,考虑客户访问路径和浏览时间长度等因素,给出并计算分析了网站用户的访问兴趣的方法。汽修之家网站日志的实际测试结果表明了该方法的有效性。     

Web日志数据预处理

Web日志信息的预处理是Web日志挖掘任务中的重要阶段,是整个Web日志挖掘过程的基础,在Web日志挖掘中起着重要的作用,数据预处理关系到Web日志挖掘的质量.对数据预处理的基本知识及Web日志数据预处理的四个阶段进行了综述和研究,并给出了一些算法的伪码以及经过预处理的事务在实际事务数据库中的存储形式.     

基于数据仓库的数据预处理模型的算法研究

数据仓库中的数据必须进行预处理后才能达到数据挖掘的要求.将数据预处理集成于数据仓库的构建过程中,提出一种基于数据仓库的数据预处理过程模型.讨论了数据预处理的各种算法并通过实例说明利用信息增益进行数据预处理的过程.     

关于GPS监测数据预处理的探讨

随着全球卫星定位系统技术的快速发展,GPS技术在各种测量领域中得到了广泛应用。如何进一步提高GPS定位的精度,以便能广泛地应用于各种高精度要求的重大工程中,正是目前广大测绘工作者为之不懈努力的研究目标。本文以某滑坡GPS监测成果的数据处理方法作为实例,分析不同GPS数据预处理方法对结果的影响。     

数据预处理方法对油页岩含油率近红外光谱分析的影响

为提高利用近红外光谱(NIRS)分析技术进行油页岩含油率的原位检测时的建模精度,需要采用适当的方法进行数据预处理。本研究利用实际和合成油页岩样品,结合光谱和矩阵2类数据预处理方法,研究不同方法及其组合对油页岩光谱数据一致性、样品含油率偏最小二乘法(PLS)的模型精度的影响。结果表明:在11种光谱数据预处理方法中,一阶导数、正则化、中心化以及适当的组合(如平滑、消噪和消基线后分别加中心化)等光谱预处理方法,可提高相同样品光谱数据间的一致性;在11种光谱预处理和3种矩阵处理的组合方法中,3种数据预处理组合方法(中心化、一阶导数2种光谱预处理+中心化矩阵预处理、一阶导数光谱预处理+正则化矩阵预处理)可提高合成样品含油率PLS模型的精度。     

Web使用挖掘技术在电子商务的研究与应用

随着电子商务的深入发展,电子商务企业了解用户的访问模式显得非常重要。文章首先给出Web使用挖掘的定义和完整模型框架,然后对Web使用挖掘中主要步骤的最新研究进展状况做了详细的阐述和分析,其中包括：数据采集、数据预处理、模式发现、模式分析。最后介绍了Web使用挖掘在电子商务中的应用。     

ANSYS和MATLAB在血流动力学可视化中的应用

为了阐述ANSYS和MATLAB在血流动力学数值仿真分析的数据处理及可视化中的应用问题,利用ANSYS和MATLAB对动脉血管的血流动力学进行了有限元分析及前后处理。结合ANSYS和MATLAB的特点,利用两种系统的内部功能和程序设计,分别对有限元网格划分和计算结果进行了可视化处理,显示了动脉血液流动计算模型的前后处理结果,给出的大量图形显示出流场中各个物理量的时空分布。利用可视化图形可以看出流场中感兴趣区域的速度、压力、壁面切应力的时空分布情况,为研究人员提供了形象的数据资料。     

基于数据质量控制的ETL

提出了一种基于数据质量进行控制的ETL技术,在传统的ETL操作流程中增加脏数据处理模块及抽样数据质量评估模块,并将数据质量控制思想融入到ETL的操作流程设计中,控制ETL过程的数据质量。实验表明,带有质量控制的ETL算法设计优化了ETL工作流程,提高了进入数据挖掘中数据的质量。