数据挖掘在培训管理系统中的应用

在大数据时代,如何使用现有的数据对学员进行培训管理,从而提高培训效率是当前培训管理中所面临的问题。本文分析了数据挖掘在培训管理中的应用主要表现在初步探索、数据预处理以及数据挖掘过程。其中数据预处理和数据挖掘是培训系统的核心功能。     

数据预处理与决策树在客户行为分析中的应用

决策树算法是数据挖掘中的一种重要算法,介绍了决策树的构建过程中数据预处理方法及决策树构造方法与步骤.数据预处理是为了提高数据挖掘对象的质量,主要包括数据清洗、数据集成与数据消减.数据预处理之后,在训练样本集的基础上,通过选择适当的属性做为树根、子树根,不断重复,基于剪枝方法,最终建立了经过优化的决策树.     

基于数据挖掘的图书馆数据预处理方法研究

通过挖掘高校图书馆大量的借阅历史数据,从中提取出切实有用的信息及有效的借阅规则,可为读者提供个性化的推荐服务,进而提高图书馆馆藏图书的流通率。但是,高校图书馆数据具有类型复杂、数据量庞大、冗余值较多等特点,很大程度上影响了挖掘效率。因此,在对图书馆数据挖掘之前,先对这些数据进行预处理,就可很好地解决挖掘效率问题。本文结合内蒙古工业大学图书馆一段时间的流通数据,借助SQL Server2012数据库管理工具,详细研究了基于数据挖掘的数据清洗、数据转换和数据规约3种图书馆数据的预处理方法。     

新型的Web使用挖掘数据预处理方法

大数据背景下,Web使用挖掘的目的是通过识别Web数据使用模式更好地为Web应用需求提供服务,高效地处理大数据并从中找到有用的信息,数据预处理是保证Web使用挖掘数据质量的必要阶段。首先,论述了Web使用挖掘数据预处理领域的相关工作;其次提出了在数据挖掘开始之前的接入流数据预处理技术,这项技术能通过识别单独用户和会话来提高数据预处理的性能;最后进行了实验验证。结果表明,文中方法有助于发现来自于用户数据流的有意义的模式和关系,因此具有可行性和有效性。     

数据挖掘技术在电力负荷管理系统中的应用

将数据挖掘技术应用到电力负荷管理系统中,设计出电力负荷数据挖掘系统,此系统包括数据预处理模块,数据挖掘模块和数据挖掘结果显示模块。根据电力系统数据的特点,提出采用多元线形回归模型进行数据挖掘的方法,并成功运用了实践中实例表明该数据挖掘系统能够对电力负荷值进行有效的预测,提高用电生产管理方面信息的准确性和及时性,从而保证供电与用电的稳定。     

云服务器中的不稳定数据挖掘系统的研究与设计

针对当前的云计算服务器缺少对不稳定数据的识别与检测,设计并实现一种云服务器中不稳定数据挖掘系统。介绍系统的总体结构,利用数据采样预处理模块实现从源数据到挖掘数据的映射,完成离散化、数据过滤等处理过程。依据2.0 mm ERmet Hard Metric连接器,采用Rapid IO协议,通过接口模块完成数据间的传输,以达到信号传输效率与稳定性的要求。通过数据挖掘模块对云服务器中不稳定数据的确认与挖掘,将挖掘结果传输至控制模块进行处理。软件设计过程中,对云服务器中不稳定数据挖掘系统进行了详细地分析,并给出不稳定数据挖掘的实现过程以及系统部分程序代码。实验结果表明,所设计的系统具有很高的实用性和可靠性。     

电商数据的挖掘分析及应用

电商平台用户在操作过程中会产生大量的网络数据信息,数据挖掘技术就是对海量数据信息进行分析,提高数据质量。文章阐述了数据挖掘的方法及其应用于电商数据分析的必要性,并提出针对电商数据进行挖掘分析的过程,总结技术应用经验。     

数据挖掘技术在气象服务中的应用研究

数据挖掘技术是通过建立数据模型,从数据抽样、数据转换、数据处理等过程中来进行趋势分析和预测。气象数据多为动态变化的数据,利用数据挖掘技术来进行气象数据的定量量测、聚类分析,有助于实现对气象预报的准确预测。在气象领域,利用数据挖掘技术主要从气象业务需求和数据处理需求分析上,结合数据预处理技术和关联规则挖掘算法,在进行数据填充空值、去噪、冗余处理后,以Apriori算法和决策树生成算法来进行气象数据的改进,最后通过试验来优化数据挖掘方法,提升气象服务水平。     

基于数据可视化技术的数据挖掘系统及其应用

针对数据挖掘系统中过程的不可见性问题，根据可视化技术与数据挖掘技术相结合的理论，采用高维数据聚集以及回归分析等方法，解决了数据挖掘各个部分的可视化。实验结果表明，可视化技术与数据挖掘技术相结合可以解决数据挖掘的不可见问题，提高了用户对数据挖掘系统的信任度。     

Web日志数据挖掘中数据预处理模型的研究与建立

数据的质量直的好坏接关系到数据挖掘的结果,因此数据预处理是Web日志数据挖掘首要的步骤,基于前期提出的几种数据预处理方法,提出了通用的Web日志挖掘的数据预处理模型,将Web日志数据的预处理分为5个步骤:数据清理、用户标识、会话标识、路径补充和格式化,并结合旅游网站进行了实例验证。证明该数据预处理模型是完全可行,并且具有良好的通用性和可扩展性。     

时序数据挖掘的预处理研究综述

由于时序数据的海量、高维等特点,对原始数据进行预处理是实现时序数据挖掘的重要步骤。有效的预处理不仅能去除噪声、冗余,减低数据规模、提升计算效率,还能通过提取数据特征,揭示数据关系,有助于实施时序数据挖掘。本文从数据缺失、数据噪声、离群点/异常值、特征提取和模式表示几个方面,对已有的原理和方法进行分析归纳,为后续时序数据挖掘研究提供参考。     

改进的数据流缺失数据处理算法

数据流预处理主要是在原始观测数据的基础上进行,包括对原始监测到的数据集中的缺失数据进行插补或剔除,是数据流预测过程中一个重要性环节,是数据流应用中必不可少的组成部分.数据流预处理技术可以改进监测数据流的质量,从而有助于提高其后的处理过程的精度和性能.     

基于大数据处理技术的电力通信网检修工作分析方法

分析了电力通信网设备检修、告警及台账数据的特点,并采用属性规约和聚类完成对数据的预处理工作。提出了设备检修工作分析所需的相关指标及影响因素,并结合MapReduce技术和Apriori算法提出了数据挖掘方法。运用该方法对实际的网络数据进行了挖掘,并根据挖掘结果,从检修工作分布情况、检修对业务的影响、检修耗时等角度分析通信网的检修工作情况。     

Digital processing techniques for encoding of graphics

This paper deals with two classes of preprocessing techniques for documents which are essentially black and white. These are bilevel quantization and preprocessing techniques for noisy input documents. The effect of such techniques on the compression ratio and the subjective quality of the output copy are studied. It is shown that for noisy documents, certain preprocessing techniques considerably improve the compression ratio. The improvement is substantially more for two-dimensional coding algorithm such as relative address coding (RAC). Simulation results of the effect of preprocessing techniques for noise reduction for both multilevel and bilevel signals are described The results of a subjective experiment to determine the effect of certain preprocessing techniques on the quality of clean and noisy documents are reported.     

Web日志挖掘数据预处理研究

数据预处理在Web日志挖掘过程中起着至关重要的作用.论文分析了Web日志挖掘数据预处理的主要步骤,设计了用户识别、访问操作识别和路径完善三个步骤的关键算法.实验结果表明,设计的关键算法是有效的.     

空管大数据治理方法研究

文章针对我国民航空中交通管理体系化、信息化、智能化发展对空管大数据深度应用的需求,在对空管关键业务数据、业务流程分析、研究的基础上,利用大数据分析和挖掘等技术,提出空管大数据治理的总体思路、治理框架、治理方法及数据质量管理体系,通过对空管大数据的深刻洞察,为我国民航事业的发展提供有力支撑。     

Benford法则在水文数据质量挖掘中的应用研究

为识别和改进数据中存在的质量问题,采用Benford法则进行数据质量挖掘分析,该方法通过分析数字分布规律来检测数据的合理性,达到控制数据质量的目的.以水文数据中降水量数据为样本验证方法的有效性.实验结果表明,该方法能有效识别数据集中存在异常信息,提高了水文数据的数据质量,具有一定的应用前景.     

基于模块化架构搭建的中国移动网优自动化服务平台

目前由中国移动集团牵头研发的网优自动化服务平台,主要集成了如下功能：LTE自动邻区关系优化模块、基于智能算法的PCI自动优化模块、 LTE功率配置自动优化模块、LTE小区参数自动化推荐模块,以及TAC边界区域自动优化模块等,并支持其他新增工具的快速扩展。本文介绍的网优自动化平台包括了全流程数据预处理模块、即插即用的优化算法模块、灵活的Web Service接口调用模块、以及各工具通用的数据挖掘/机器学习算法库等等,这种基于模块化搭建的网优自动化服务平台,使得各类核心网优应用能够快速上线,并具有极强的可扩展性和可靠性。