大数据

7 数据挖掘和数据流挖掘 7.1大数据挖掘技术的简介和分类大数据技术广义上包括大数据相关的获取、存储、处理、挖掘等技术,但就美国政府2012年提出的"大数据研究与发展计划"而言,它主要指的是面向大数据的数据挖掘、机器学习技术.此期重点介绍大数据中的数据挖掘技术,重点是数据流挖掘技术.     

面向云计算环境下Web数据挖掘技术

在云计算环境下,Web数据挖掘技术得到了快速发展。由于云计算的应用,Web数据挖掘体系已体现出新的特点。分析云计算环境下Web数据挖掘技术的特点,可以明确应用要点,可以实现云计算在数据存储中的突破,实现存储的能力与安全性的提高。从海量数据中高效挖掘有价值的资源,属于信息技术要解决的关键问题。云计算技术支持下的数据挖掘实现了资源的优化配置,体现出实用性、虚拟性的特点,可以保证数据挖掘的高效、精准。因此,有必要构建基于云计算的数据挖掘模式,保证数据挖掘具有更高的精准度,并实现挖掘成本的降低。     

部分缺失数据的三次参数样条函数修补方法

首先讨论了完整数据对数据挖掘的重要性,分析了目前解决缺失数据的一些方法的局限性,提出了利用三次参数样条函数对缺失数据进行修补的方法.该方法简单易行,不需要进行大量的样本训练,并且与主成分分析方法和列平均值方法进行了比较,确定三次参数样条函数方法与主成分分析方法接近.若进一步对三次参数样条函数的构造进行完善,将取得更好的效果.     

基于电力营销聚类分析的数据挖掘算法研究

为提高数据挖掘算法的挖掘速度,同时提高其精准度,提出基于电力营销聚类分析数据挖掘算法研究。首先运用聚类算法筛选数据,再计算数据结构和相异度矩阵相异度,得出最接近的类距离。完成上述步骤后,在聚类分析框架下,设计聚类分析数据挖掘算法流程。先输入数据,再设计数据挖掘算法基本策略,最后提出SLIO算法处理离散字段,得到有价值的数据信息。由此,完成基于电力营销聚类分析的数据挖掘算法设计。实验结果表明,与基于支持度-置信度-提升度的配网自动化系统数据挖掘算法和基于神经网络和粒子群优化的数据挖掘算法相比,文中基于电力营销聚类分析的数据挖掘算法的挖掘速度稳定,挖掘效果更好。同时测试精准度较高,可有效提高数据挖掘的可信度。     

基于数据挖掘的大学生就业指导资源挖掘方法

采用目前方法对大学生就业指导资源进行数据挖掘时,由于去噪性能差导致方法存在数据冗余、挖掘效率低和精准度较差的问题,因此提出了基于数据挖掘的大学生就业指导资源挖掘方法。利用H-BIRCH算法对就业指导数据进行聚类处理,结合EMD分解方法和小波去噪方法对不同类别的就业信息数据进行去噪,对去噪后的资源数据进行白化处理,采用图模型提取就业指导资源数据特征,完成就业指导资源挖掘。实验结果表明,该方法可以有效简化数据结构,数据冗余纠错率、数据挖掘效率和数据挖掘准确度较高。     

Web数据挖掘综述

Web数据挖掘是数据挖掘在Web上的应用,它涉及数据挖掘、Web技术、信息学、计算机语言学等多个学科领域,是一项综合技术。它利用数据挖掘技术从与Web相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息。本文主要描述Web数据挖掘的基本概念和目标,分析了Web数据挖掘的分类和主要实现技术。     

面向智慧能源的供需平衡数据可视化挖掘方法

为满足能源数据监测和综合分析领域的业务需要,提出面向智慧能源的供需平衡数据可视化挖掘方法。构造数据迁移与分类视图,确定每个供需平衡数据点位置坐标,并采用正交投影可视化技术将数据挖掘算法核心结构展示在视图中(支持用户对其进行相应调整);引入数据挖掘算法,提取数据可视化挖掘结果参数,实现面向智慧能源供需平衡数据的可视化挖掘。实验结果显示:智慧能源供需数据可视化挖掘结果综合评分数值范围为64.70~82.04分,充分说明该方法具备较好的可视化挖掘性能,可应用在多维典型用能场景中。     

基于数据挖掘的测试工程数据整合分析平台

测试工程技术的不断提升使得企业在产品测试的过程中产生大量数据需要处理,以便及时反馈产品本身的性能。然而,传统方式在应对和处理上述环节时存在效率底下、管理混乱的缺陷,使其无法适应数据量大、数据结构复杂等新型问题。本文设计并实现了一种基于数据挖掘的测试工程数据整合分析平台,提出了一种优化的Apriori算法挖掘多渠道数据,同时利Web技术建立统一数据管理系统。实践证明,该平台能实现对庞大数据的科学管理、有效数据的精准挖掘和数据可视化应用。     

大型计算机网络中的非正常数据挖掘技术研究

大型计算机网络中的各种软件和设备均存在安全漏洞,导致以往提出的大型计算机网络中非正常数据挖掘方法无法进行合理挖掘。针对该问题,提出一种新型的大型计算机网络中非正常数据挖掘方法。所提方法通过数据洗涤、格式变换和模式挖掘等操作,挖掘出大型计算机网络中的非正常数据。使用所提方法设计的数据挖掘系统由数据挖掘器、分析模块和数据库组成,数据库为数据挖掘器和分析模块提供处理和挖掘方案。数据挖掘器实时监控着大型计算机网络中的非正常情况,并进行数据处理。分析模块使用"二次激活"方式对处理过的数据进行分析,挖掘出其中的非正常数据。实验结果表明,所提方法具有较好的收敛性,所设计的系统具有较强的可扩展性。     

大型物联网电子设备的海量数据高效挖掘方法研究

当前对大型物联网电子设备数据采用状态模式识别的数据挖掘方式,对具有差异性特征的电子设备数据挖掘无法分类识别,性能不好。在此提出一种基于关联度主特征量提取的大型物联网电子设备的海量数据高效挖掘方法,首先分析了大型物联网中电子设备的数据采集模型,通过对电子设备的原始数据采集,提取电子设备数据信息的关联度主特征量,采用海量数据挖掘最优控制算法实现对大型物联网中的电子设备海量数据的分类挖掘和特征提取。仿真结果表明,采用该算法进行数据挖掘,电子数据的数据差异性特征幅度平稳,数据的关联度区分明显,具有较好的分类识别和数据检测能力且系统运行效率提高。     

利用数据挖掘技术实现LIS数据共享的开发实践

构建一个以"智慧医疗"为理念的检验数据共享平台,为患者建立一个有关检验数据的数字账户。利用数据挖掘技术对现有医院实验室信息管理系统（LIS）的大数据进分析,并利用WEB或手机APP的方式呈现给客户诊断结果。系统经过半年的调试运行,大大缩减了病人的排队等待和就诊时间,减轻了医生的门诊工作压力。采用数据挖掘技术对LIS数据分析后的结果精确高效,实现了真正意义上的检验数据共享。     

数据采集与转换中的一些关键问题

数据采集与转换系统用于将模拟信号转换为数字形式进行分析或传输。模拟信号输入通常是由互感器和传感器将压力、温度、应力或张力、流量等真实信号转换为相应的电信号。系统保存信号准确性和完整性的能力是衡量系统的主要指标。如何设计一个高性能的数据采集与转换系统需要考虑多方面的因素，本文就其中的一些关键问题给出自己的讨论。     

数据轮播在数据广播系统中的应用

文中首先简要介绍在DVB数据广播标准中数据的几种封装和传输方式，然后详细阐述了数据轮播的封装和传输是如何实现的，最后对数据轮播的应用进行了叙述和展望。     

大数据平台的敏感数据保护研究

本文首先界定了敏感数据的内容以及脱敏原理,概述了敏感数据的学术研究现状;进而对大数据平台中敏感数据的来源及其面临的安全性问题进行分析总结.提出了从大数据采集、存储、服务和应用4个层面进行敏感数描保护的基本思路,以及大数据平台敏感数据的安全管理策略.     

基于数据流盘的数据采集平台设计

在外场内弹道的试验中,由于实验的需求往往需要高速、大量、高精度的实时数据采集存储设备,而通用示波器由于存储能力有限,数据采集效率不够高而无法满足实验的需求,结果往往是采集的数据不准确而导致以后的研究放缓甚至会让科研人员产生错误的判断.针对这一问题,设计了以高速数据采集板卡PXI5122为硬件平台的双通道高速数据采集系统.实验结果表明,通过流盘存储技术实现了对数据的高速大量采集,并且还针对内弹道弹丸实验需求设计了专用的数据采集系统.     

数据比较算法在高效率数据同步中的应用研究

在通信网络管理系统中,通常采用容灾技术来保证系统的高可靠性,数据同步技术就是其中一种实现方式.为了实现高效率的数据同步,就必须针对所要同步数据的特点进行优化.文章以烽火OTNM2000传输网络管理系统的主备同步功能为例,介绍了几种数据比较算法的原理及其在主备同步过程中的应用,对类似的数据同步或远程数据备份技术的优化具有参考价值.     

信息挖掘技术在数据业务分析中的应用

介绍了信息挖掘的定义、系统的结构模型及其作用,阐述了信息挖掘技术在彩信业务以及其他数据业务中的应用情况,认为应将信息挖掘技术应用于数据业务的话单及日志分析中,为维护人员分析解决问题提供有效的数据及信息支持,更好地促进数据业务的发展.     

汽车行驶记录仪的数据传输设计

记录仪上记录的数据是管理和事故分析的关键资料,如果数据采集方式不科学,传输不方便,那么对汽车行驶记录仪产品,甚至整个汽车行驶记录仪行业而言无疑是沉重的打击.     

基于价值评估的数据迁移策略研究

数据在属性上存在各种差异,对用户的重要程度也各不相同,因此,有必要建立一个数据价值的评价模型,评估数据对用户的重要性。通过分析和研究存储数据的特点,提出一种基于多价值指标的数据迁移方法,实现对数据价值的精确判定,并且通过反馈控制,更好地确定迁移阀值,解决反复迁移等系统震荡现象的问题。通过模拟环境下的试验,结果表明采用此方法能够达到提高和优化存储系统性能。     

数据交换平台中异构数据转换技术的研究

为了有效地解决数据交换时数据表示的通用性问题,使得数据在不同的业务系统间都能够被识别,本课题采用调查研究和文献研究相结合的方法,首先对淮北矿业集团各业务系统数据库中数据表进行统计和分析,重点分析了需要转换数据的类型和逻辑关系,总结出其所有数据转换的逻辑关系,然后参考现有文献资料中提出的数据转换模型,最后制定出有独创性的数据源标准和数据映射标准。并采用通用的数据描述语言——XML(eXtensive MakeupLanguage)将其主要部分表示出来。该数据标准有着数据表示范围超越数据表、数据转换的静态模型和动态模型相结合、数据表示和实体数据库相分离等特点。通过项目实践,证明了该标准能够解决数据表示的通用性问题,能够实现了数据在不同业务系统之间识别与转换。