Web日志数据挖掘中数据预处理模型的研究与建立

数据的质量直的好坏接关系到数据挖掘的结果,因此数据预处理是Web日志数据挖掘首要的步骤,基于前期提出的几种数据预处理方法,提出了通用的Web日志挖掘的数据预处理模型,将Web日志数据的预处理分为5个步骤:数据清理、用户标识、会话标识、路径补充和格式化,并结合旅游网站进行了实例验证。证明该数据预处理模型是完全可行,并且具有良好的通用性和可扩展性。     

遥感图像数据预处理研究

介绍了遥感图像处理软件选取、数据预处理的影像裁剪、投影设置、分类前预处理,给出了遥感图像数据预处理的研究方法。     

一种自动化数据挖掘预处理方法

数据挖掘一直是大数据应用的重点。在数据挖掘中,数据清洗和数据预处理,格外重要。本文解决的是数据挖掘中自动化数据预处理问题,主要是通过构建规则库和样本库,将新数据与已有的样本数据进行字段映射,将新数据的字段变换成已有样本库中的特征字段,并使用相应的数据预处理方法进行自动化的数据预处理。同时,通过对预处理结果进行评分和反馈,调整字段映射函数,提高预处理的质量。     

基于变分率时域技术的光通信数据预处理研究

针对传统方法存在数据预处理时间长、无法消除冗余数据等问题,提出一种基于变分率时域技术的光通信数据预处理方法。首先采用变分率时域技术提取光通信中的冗余数据特征,然后运用线性频谱分析法对冗余数据特征进行分类,根据分类结果可实现冗余数据消除和处理,最后进行了光通信数据预处理仿真实验,结果表明,本文方法对源数据影响较低,运算过程简单,提高了光通信数据预处理效率,为提升光通信冗余数据的消除效率提供了有力的依据。     

数据预处理与决策树在客户行为分析中的应用

决策树算法是数据挖掘中的一种重要算法,介绍了决策树的构建过程中数据预处理方法及决策树构造方法与步骤.数据预处理是为了提高数据挖掘对象的质量,主要包括数据清洗、数据集成与数据消减.数据预处理之后,在训练样本集的基础上,通过选择适当的属性做为树根、子树根,不断重复,基于剪枝方法,最终建立了经过优化的决策树.     

桥梁健康监测海量数据预处理及存储策略研究

针对桥梁健康监测的海量数据在预处理及存储方面的问题,结合当前大数据的分布式处理思想、数据流的滑动窗口处理技术以及小波包降噪方面的优势,提出了一种桥梁健康监测海量数据预处理及存储模型,该模型不仅可以有效保存桥梁监测的原始数据,而且把数据的预处理融入其存储过程,并可根据传感器是否工作而进行报警。结果证明了该模型应用在桥梁健康监测海量数据预处理及存储上的可行性。     

基于深度优先搜索的分层网络最短路径算法

大规模网络分层后进行数据预处理是其搜索最短路径的加速方法,现有的分层网络数据预处理存在以下问题：随着网络规模越来越大,数据预处理计算量也越来越大;预处理完的数据需要大量储存空间。针对上述问题提出一种基于深度优先搜索的分层网络最短路径搜索算法,该算法将每簇网络抽象成“一个高级节点”组成高级网络,在高级网络上利用深度优先搜索去掉冗余的簇完成数据预处理后,再利用Dijkstra算法搜索最短路径。采用该算法在大规模树形分层通信网络上进行最短路径搜索实验,结果表明该算法比基于关键点数据预处理的最短路径算法平均搜索时间稍长,但在数据预处理时间和存储空间上大大降低。     

基于FPGA的图像预处理系统

本图像预处理系统基于FPGA平台,具有实时性高,处理效果良好、便携性高的优势。该系统使用摄像头进行图像采集,然后将其数据缓存至SDRAM中,并在FPGA中进行图像预处理,预处理包含中值滤波、高斯滤波、sobel边缘算子检测等,最终将预处理的图像数据实时的显示在TFT液晶屏中。     

应急通信监控系统中的数据预处理方法

数据预处理是监控系统所有工作中重要的一环，预处理的效果影响应急通信系统的维护。本文根据应急通信监控系统自身的特性，提出相应的数据预处理方法。     

TEQC软件在数据分析与处理中的应用

本文主要介绍了TEQC软件在GPS点位数据质量检查与预处理中的功能优势。文中分别从GPS数据格式转换、GPS数据分割与合并预处理与GPS数据质量检查三方面,针对点位数据质量分析与处理中,TEQC软件的具体应用相关内容展开分析。     

新型的Web使用挖掘数据预处理方法

大数据背景下,Web使用挖掘的目的是通过识别Web数据使用模式更好地为Web应用需求提供服务,高效地处理大数据并从中找到有用的信息,数据预处理是保证Web使用挖掘数据质量的必要阶段。首先,论述了Web使用挖掘数据预处理领域的相关工作;其次提出了在数据挖掘开始之前的接入流数据预处理技术,这项技术能通过识别单独用户和会话来提高数据预处理的性能;最后进行了实验验证。结果表明,文中方法有助于发现来自于用户数据流的有意义的模式和关系,因此具有可行性和有效性。     

基于云计算技术的电力大数据预处理属性约简方法

基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍,并对Map Reduce在电力大数据预处理属性约简中的应用以及基于Map Reduce技术的电力大数据预处理属性约简进行详细分析。     

图像文字识别中的预处理技术研究综述

介绍了图像文字识别中预处理技术的研究现状,依据预处理的实现过程,分析了降噪、数据校正、压缩技术的目的,并对降噪、数据校正、压缩技术的实现原理进行了深入讨论。     

推荐系统中的数据预处理方法研究

介绍了推荐系统中的数据预处理问题,分析了数据预处理的多种方法。首先介绍相似度度量的多种方法,其次讨论了抽样问题,之后阐述降维方法中常用的技术,最后对去噪方法进行分析,为解决推荐系统中数据预处理问题提供一定的参考。     

飞行试验数据自检测系统软件设计

在飞行试验过程中,因缺乏对海量试飞原始数据和预处理结果数据的快速检查和故障定位,导致试飞工程师分析数据的难度急剧增加,影响试飞型号任务的高效进行。在此针对上述问题对飞行试验数据进行自检测技术研究,设计了一个基于参数信息专家数据库的原始数据与预处理结果数据的自动化检测系统软件。该软件可对原始数据进行自动化检测,同时依据专家数据库的自定义判据,对预处理结果数据进行自动化检测和计算处理。经过软件测试和应用,该软件能够有效地解决原始数据和预处理结果数据中的数据异常和错误,提高试飞工程师对海量试飞数据的分析效率。     

数据挖掘在培训管理系统中的应用

在大数据时代,如何使用现有的数据对学员进行培训管理,从而提高培训效率是当前培训管理中所面临的问题。本文分析了数据挖掘在培训管理中的应用主要表现在初步探索、数据预处理以及数据挖掘过程。其中数据预处理和数据挖掘是培训系统的核心功能。     

高光谱微波亮温数据预处理方法分析

高光谱亮温数据的数据量通常十分庞大,其中包含大量冗余信息,直接使用计算量大且冗余信息会对计算结果产生影响,所以需要对数据进行预处理。使用主成分分析法和通道选择方法2种数据预处理方法对根据SeeborV5.0数据集生成的高光谱仿真微波亮温数据进行预处理,将处理后的数据作为神经网络的输入进行大气温度廓线反演。反演实验结果表明,使用主成分分析法的神经网络反演效果更好。     

Web日志挖掘中的数据预处理技术研究

在网络技术高速发展的今天,Web技术得到普及,通过对Web的数据挖掘,用户能够获取到所需要的数据信息、知识,同时能够对用户的访问行为、内容进行深入分析.Web日志挖掘是数据挖掘中的重点内容,借助日志挖掘的数据预处理技术,获取到用户特征,将自身的Web的服务设计进行优化,开展针对性的网络活动.基于此,在本文中对Web日志挖掘中的数据预处理技术进行研究,提出预处理算法.     

时序数据挖掘的预处理研究综述

由于时序数据的海量、高维等特点,对原始数据进行预处理是实现时序数据挖掘的重要步骤。有效的预处理不仅能去除噪声、冗余,减低数据规模、提升计算效率,还能通过提取数据特征,揭示数据关系,有助于实施时序数据挖掘。本文从数据缺失、数据噪声、离群点/异常值、特征提取和模式表示几个方面,对已有的原理和方法进行分析归纳,为后续时序数据挖掘研究提供参考。     

Web日志挖掘数据预处理研究

数据预处理在Web日志挖掘过程中起着至关重要的作用.论文分析了Web日志挖掘数据预处理的主要步骤,设计了用户识别、访问操作识别和路径完善三个步骤的关键算法.实验结果表明,设计的关键算法是有效的.