基于数据挖掘的图书馆数据预处理方法研究

通过挖掘高校图书馆大量的借阅历史数据,从中提取出切实有用的信息及有效的借阅规则,可为读者提供个性化的推荐服务,进而提高图书馆馆藏图书的流通率。但是,高校图书馆数据具有类型复杂、数据量庞大、冗余值较多等特点,很大程度上影响了挖掘效率。因此,在对图书馆数据挖掘之前,先对这些数据进行预处理,就可很好地解决挖掘效率问题。本文结合内蒙古工业大学图书馆一段时间的流通数据,借助SQL Server2012数据库管理工具,详细研究了基于数据挖掘的数据清洗、数据转换和数据规约3种图书馆数据的预处理方法。     

基于模糊聚类的方位标测量数据预处理方法

针对方位标测量数据手工预处理方式工作强度大、效率低和出错率高的问题,根据测量数据一般多数集中于真值附近的特性,提出了一种基于模糊聚类技术的方位标测量数据预处理方法,通过反复聚类自动挑选出符合要求的方位标数据.实验证明:此种方法挑选效率高,挑选的数据与真值吻合程度高,并具有较高的抑制野点作用.     

基于特征权值的缺失数据修复方法

随着信息技术的迅速发展,数据信息处理技术已经从原始的文件处理演变到复杂且功能强大的数据库系统,为了将这些数据信息转换成有用的知识信息,数据挖掘技术应运而生。数据集的数据质量低下会导致挖掘出的数据准确率明显降低,数据缺失是数据质量低下最常见的情况,为了提升数据质量,对缺失数据的修复问题是一项值得关注的热点问题。文章对缺失数据的修复主要是讨论连续型属性的数据类型,修复方法采用归因技术的思想,利用属性间的关系,用数据集中的现有值去估计那些相关的缺失值。并对比一种常用且高效的缺失值修复方法,在此基础上通过引入属性的特征权值,加强重要属性对数据修复计算的影响,进一步提高了数据修复的准确率。     

基于预处理迭代方法的高效大型电网工程数据分析

当前电网基建工程的预算缺乏统一评审标准,数据价值也尚未得到深度挖掘和利用.针对目前在电网基建工程数据分析领域的评审人员数量严重不足、评审质量和效率偏低等问题,文中采用大数据预处理的方法对大型电网工程数据进行分析,开展了电网规划、固定资产投资项目的技术经济评价,以及规划项目管理信息平台相关的数据处理工作.以广州供电局为例...     

移动通信数据挖掘的数据预处理研究

近些年来,移动通信网络用户数量不断增长,用户对移动通信网络稳定性与通信速度提出了更高要求。通信公司为了满足用户需求,提升竞争优势,不断进行移动通信技术改革,移动通信网络从2G网络到3G网络,再到现在的4G网络,取得了巨大成功,不仅移动通信效果越来越高,且数据传输速度越来越快,但市场竞争越也更加激烈。通信企业想要赢得市场,发挥竞争优势,应积极运用数据挖掘技术,更好的把握用户动态,提供具有针对性和实效性的服务。本文将针对移动通信数据挖掘的数据预处理展开研究。     

一种新的数据预处理方法

根据雷达理论可知,提高虚警概率可以提高检测概率,对于弱小目标及远距离目标的检测十分有效,然而受到数据处理能力的限制,通过提高虚警概率实现提前发现目标的方法没有得到充分利用。本文提出的数据预处理新方法可以有效的剔除杂波点,对提高雷达的作用距离及弱小目标的检测十分有利。     

基于ARIMA模型的数据预处理技术研究

时间序列处理的精确性是影响现代工业控制系统发展的重要因素之一。数据预处理是时间序列处理的基础,它通过异常值辨识与修正、缺省值补充等工作,改进数据质量进一步的处理提供较为精确的目标数据和必要信息。由于工业生产过程中的时间序列多是非平稳序列,经典的平稳模型和回归分析不再适用。因此,本文通过建立ARIMA模型对时间序列进行预处理,并最终得到了较为精确的数据拟合信息。     

中原地区古代陶器数据预处理研究

利用数据挖掘技术对中原地区古代陶器数据进行分析研究,会对探究古陶器的发展演变规律及中原地区各类型文化之间的传承源流、关系起到积极的推动作用。数据预处理作为数据挖掘过程的主要步骤,可提高数据质量和其后挖掘过程的准确率及效率。阐述了针对中原地区古代陶器数据具有的类型复杂、数据量大、不正确、不完整和不一致的特点,采用数据清理、数据集成和数据变换技术对其进行数据预处理,从而提高了数据挖掘模式的质量。     

多传感器数据融合中的数据预处理技术研究

数据预处理是进行多传感器数据融合的基础,也是多传感数据无误差坐标转换的必不可少的处理过程.阐述了数据空间对准技术和时间对准技术,介绍了基于该方法的技术在实际应用中取得的效果,提高了融合数据的一致性、准确性和可靠性.     

主成分分析在生产过程数据预处理中的应用

数据挖掘技术日趋成熟,聚类分析是数据挖掘的重要方法。本文以国内某产品制造企业产品生产线自动化采集数据为例,研究在聚类分析前,针对生产企业生产过程数据开展基于主成分分析方法的数据预处理的过程。     

Web日志数据挖掘中数据预处理模型的研究与建立

数据的质量直的好坏接关系到数据挖掘的结果,因此数据预处理是Web日志数据挖掘首要的步骤,基于前期提出的几种数据预处理方法,提出了通用的Web日志挖掘的数据预处理模型,将Web日志数据的预处理分为5个步骤:数据清理、用户标识、会话标识、路径补充和格式化,并结合旅游网站进行了实例验证。证明该数据预处理模型是完全可行,并且具有良好的通用性和可扩展性。     

多雷达数据融合中的数据预处理

多雷达数据融合的数据来自不同的雷达,在融合处理前要作相应的处理,如点迹过滤、点迹合并、野值剔除、空间对准、时间对准等等,本文就这些问题作一些讨论.     

示例学习的数据预处理

在各种学习方法中,示例式学习被看作是自动建立基于知识的系统的关键,数据预处理是示例学习的一个重要步骤。本文介绍了预处理的两个算法,解决了小内存处理大数据的问题,     

基于数据预处理的侧信道分析优化方法

电磁侧信道信息具有数据庞杂无序,信噪比低的特征,对侧信道分析的结果存在较大影响。针对电磁侧信道数据的特性,该文提出一种最小相关差值的对齐方法,通过参考信号的自相关函数与待对齐信号的互相关函数之间的相似度来估计延时差值。同时,提出一种K奇异值分解(KSVD)字典学习的降噪方法,交替迭代进行稀疏编码和字典更新来滤除高频噪声。为了验证数据预处理方法对侧信道分析结果的优化效果,设计并搭建了电磁侧信道测评系统,并基于实际芯片进行了近场电磁侧信道信息采集与分析。该文使用所提预处理方法对电磁数据进行对齐与降噪,通过t-test泄露评估与相关性电磁分析,对比最大相关系数对齐与小波降噪方法,能够将侧信道攻击的效率分别提高29.91%和55.23%。     

基于大数据的电网营销管理分析

随着光纤网络、移动网络和管理系统在电网业务中的应用与发展,电网营销积累了海量的数据资源。为了能够提高电网营销管理的服务水平,实现精细化、精准化高水平营销管理,在电网营销管理中引入大数据分析技术迫在眉睫,其可以提高大数据营销管理能力,实现电网营销数据主题挖掘。     

基于聚类分析的离群检测方法在电网数据质量管理中的应用研究

随着各种技术在电力企业信息系统数据质量检测中的应用,企业数据质量得到大幅度提升。然而,当前的数据质量检测方法一般只是针对数据缺失、乱码、特殊字符等浅表的显性数据质量问题提出了解决方案,对于没有明显业务规则、隐性的数据质量问题仍然缺少有效的技术检测手段。以广东电网公司生产设备台帐数据质量检测为例,提出了基于聚类分析的数据异常值样本离群检测技术,探索该技术在数据质量提升中的典型应用方法,为不断完善数据质量检测规则提供了技术支撑。     

大数据下电网数据挖掘技术研究

文章基于国内外最新的研究成果对数据挖掘技术进行研究,将这些技术应用到电网大数据平台中去,并得到了可行性验证,从而为数据挖掘技术在电网大数据平台中的广泛应用起到了示范性的作用。     

导弹遥测数据预处理方法研究

数据预处理是导弹遥测数据处理工作的重要环节,文中对数据预处理的方法和过程进行系统阐述和研究,给出工程实践方法,并根据试验任务需求制定相应的判定准则和计算公式,大量试验应用证明,这些方法简单易行、可靠性高,为导弹遥测数据处理奠定了基础。