基于云计算平台的风电场SCADA系统的设计与应用

针对目前风电场积累的海量多源异构的大数据,借助云计算平台架构灵活多变、数据并行处理的优势,设计了基于云计算平台的风电场数据采集与监控(SCADA)系统。在该系统的云计算平台上采用智能化数据挖掘算法,完成了风机数据的远程采集、智能分析、故障预判。最后选取反映风电场性能的功率和转子转速数据,以自适应权重(AFW)的K-means算法和最小二乘支持向量机两种典型的数据挖掘算法为例,对数据进行了聚类分析和回归分析,验证了系统的可行性。     

基于HDFS存储服务系统的研究和应用

本文研究对象是云计算的分布式存储技术,通过构建基于HDFS的云存储服务系统来解决海量数据的存储难题,降低实施分布式存储系统的成本。     

基于风电场SCADA系统的云平台设计

为充分利用风电场集控中心采集爆炸式增长的海量数据,解决风电场SCADA系统数据存储和处理能力不足的问题,设计基于SCADA系统的云计算平台,实现数据的高效分布式存储以及处理。传统LS-SVM适用于小样本数据,对风电场海量数据的处理比较乏力,针对此问题,采用MapReduce云计算平台实现算法并行化,并用遗传算法对其进行参数寻优。最后利用某实际风电场SCADA系统的历史数据,实现短期风功率预测功能。在数据不断增加的情况下,采用MapReduce云计算平台实现LS-SVM算法并行化训练比单机LS-SVM训练缩短的时间十分显著,可增强SCADA系统的实时性;当数据增加到1.2 GB时,时间缩短一半,而准确度相差0.1%。     

基于改进BP神经网络算法的数据挖掘技术的研究

本文主要介绍数据挖掘技术的概念、过程和BP神经网络算法的原理,研究如何将BP神经网络与数据挖掘技术相结合,从海量数据中挖掘出潜在有用价值的信息,阐述了数据挖掘技术与神经网络结合的关键技术和实现方法,并提出一种改进的BP神经网络算法以实现有用模式的挖掘,能大大缩短训练时问和提高挖掘精度。     

乘员约束系统耐撞性数据挖掘

本文是数据挖掘方法在乘员约束系统FE(Finite Element)数据及其碰撞仿真结果数据上的应用。针对CAE数据的特点,基于面向对象思想对乘员约束系统数据进行数据挖掘前的数据准备。应用属性选择、决策树分类算法对98例碰撞仿真实验数据进行挖掘,得到乘员约束系统关键参数与乘员伤害WIC值的关系,并应用交叉验证方法对所得决策树进行了评估。通过实例验证,所得知识符合实际、对乘员约束系统的设计具有一定参考价值,是对海量CAE仿真数据进行知识发现的成功尝试。     

Spark云计算平台下的结构物理参数辨识

结构物理参数辨识是结构损伤识别的一个关键问题。针对结构物理参数辨识精度不高、海量数据处理计算效率低下和在单机环境下运算资源不足的问题,提出一种云平台下改进并行化多粒子群协同优化算法(IPMPSCO)的结构物理参数辨识方法。在云计算平台下,引入Apache Spark云计算平台的弹性分布式数据集RDD,对传统多粒子群协同优化算法(MPSCO)的结构物理参数辨识进行分布式并行化改进。为了验证所提方法的准确性和处理海量数据的能力,在8节点的云计算集群上对一个30层框架数值试验和一个7层钢框架试验进行结构物理参数辨识。结果表明,所提方法具有良好的精度和稳定性,在执行效率上优于单机,且具有较好的并行能力。     

免疫进化机制及其在时序模式挖掘中的应用研究

针对目前动态数据挖掘中存在的问题,提出基于数据增量的动态挖掘进程概念;在动态挖掘进程和生物免疫进化过程的相似性基础上,提出了知识发现中的免疫进化机制的基本内涵;给出了基于免疫进化机制的时序模式挖掘算法及其实验分析,以验证理论的正确性和有效性。     

基于子空间的高维审计数据异常挖掘研究

面对海量的审计数据,审计人员如何审计这些数据是一个很大的挑战。在实际的审计过程中,这些待审计数据往往是高维的,将子空间聚类算法引入到审计的数据挖掘,针对相应的数据特性,进行智能挖掘,从而发现审计数据价值信息。     

基于云计算的框架结构参数并行辨识算法

大型复杂结构健康监测（Structural Health Monitoring,SHM）系统的安装产生了海量监测数据,传统结构分析与数据处理技术使得监测数据得不到实时分析处理,导致不能及时评估结构工作状态并进行危险预警。为了解决这一问题,该文对传统多粒子群协同优化（Multi-Particle Swarm Coevolution Optimization,MPSCO）算法进行分布式并行化改进,开发了基于云计算的PMPSCO算法。在此基础上,提出了基于PMPSCO算法的框架结构物理参数辨识方法,并在MATLAB分布式云计算平台上对一个15层框架数值试验和一个7层钢框架实验室试验进行结构物理参数辨识,探讨了接入不同分布式并行节点数时该算法的加速关系。辨识结果表明:PMPSCO算法具有良好的精度、稳定性和拓展性,可通过增加接入的分布式并行节点数灵活提高算法运算速度,以满足结构监测数据实时处理的要求。     

Hadoop云计算平台的研究及实现

随着电子商务的兴起,传统的服务器集群技术在处理大数据时越来越显得力不从心。Hadoop是一种开源的云计算技术,包含HDFS文件系统及MapReduce编程模型两大核心,在处理海量数据、数据挖掘、电商推荐系统等领域有其独到的优势。文章介绍了Hadoop的基本原理,实现了搭建了Hadoop集群,从而实现了一个基于Hadoop的云计算平台。     

基于Tree-3决策树模型的大数据挖掘算法

Tree-3决策树模型是数据挖掘领域的经典模型,但是其在数据挖掘过程中得到的挖掘结果往往只具有局部最优的性质。因此,该文在Tree-3决策树模型的基础上进行改进,提出了一种新的数据挖掘算法。新算法重新设置了信息熵计算方案,并给出了改进数据挖掘方法的具体流程。针对6个UCI数据子集进行挖掘试验,该文提出的改进方法可以得到更精简的决策树,还可以得到更高的挖掘精度,从而更好地满足数据挖掘任务的需要。     

数据挖掘技术探讨及其基于web的应用研究

web上有海量的数据信息,怎样对这些数据进行复杂的应用成了现令数据库技术的研究热点.数据挖掘就是从大量的数据中发现隐含的规律性的内容,解决数据的应用质量问题.充分利用有用的数据,废弃虚伪无用的数据,是数据挖掘技术的最重要的应用.论述web数据挖掘的基本概述.基本原理,然后讨论web数据挖掘的实现,最后对web数据挖掘的应用进行阐述.     

基于FP-树的关联规则挖掘算法浅谈

随着数据库技术的发展,高效的数据挖掘算法有助于人们重新认识数据、理解数据。基于FP-树的关联规则挖掘算法FP-growth是当前应用最广的一种挖掘频繁项目集的算法。本文简要描述了该算法的几种主要发展方向。     

视频数据挖掘的系统设计

视频技术的广泛应用产生海量的视频数据,挖掘视频数据中隐藏的规律和模式已成为一项重要且必要的工作,对所设计的视频数据挖掘系统中各主要模块的功能进行描述,对视频数据挖掘方法进行有益的探索。     

制造信息系统中基于遗传算法的关联知识挖掘

通过分析制造信息系统中数据集的特点,运用遗传算法的理论,对传统的关联知识挖掘算法进行了优化,对遗传算法中的系统编码进行了深入研究,并应用于制造信息系统中,进行了数据挖掘和知识发现的尝试,并给出了比较详细的算法描述与实现,之后对相应算法的效率以及优缺点进行了分析,并得到了详细量化的实验数据。通过对遗传算法优化过的关联规则的运用,使得对制造信息系统中大量数据进行挖掘的效率明显提高。     

零售业领域中数据挖掘技术的运用探讨

大数据时代催生了各行各业对于数据挖掘技术与自身行业如何结合的思考与研究,对于零售业的管理与决策而言,如何在短时间内较快地从海量数据信息中有效挖掘可用信息,同样是一项亟待解决的问题。本文以此议题背景为研究环境,对我国零售业数据挖掘技术应用的必要性予以阐述,并对现阶段数据挖掘技术在零售业的应用现状予队介绍,从而对零售业中数据挖掘技术的发展方向予以预测。     

数据挖掘在高校管理中的应用

随着信息技术在高校管理中的普及，在教学管理中积累了海量的各种数据。在当今信息化条件下，对这些数据进行处理、分析和挖掘，目的是想发现对学校教学管理、学生管理等各个方面有作用的指导信息。数据挖掘技术是一种新的信息处理技术，它在教学管理中已有很多应用。本文讨论了数据挖掘的基本概念和方法以及其对教育、教学带来的变化。     

机器学习在数据挖掘中的应用

在互联网高速发展的今天,产生的数据量也与日俱增,伴随大数据而来的是数据处理问题。数据挖掘旨在通过对数据的研究,通过一系列算法来充分挖掘隐藏信息,使数据的价值最大化。目前,数据挖掘在商业领域已经得到广泛应用。机器学习,是数据挖掘最为核心,也是应用最为广泛的数据处理方法。本文通过研究机器学习算法在数据挖掘中的应用,总结目前在数据挖掘领域较为活跃的几种机器学习算法,并对未来的发展趋势以及可能出现的问题进行了展望。     

基于Agent的时序数据挖掘系统的研究

本文针对现有的数据挖掘算法的智能化低,结构化不清晰,通用性低等问题,将Agent技术引入数据挖掘系统中,通过分析指出了Agent技术在数据挖掘中的优势;其次,采用合同网和消息的多Agent方法设计了一个基于Agent的时序数据趋势分析的挖掘系统,增强了数据挖掘的智能性和有效性.     

经典数据挖掘算法比较分析

随着数据挖掘的应用日益逐渐广泛，对数据挖掘算法的研究逐渐得到了重视。本论文分析了三种经典的数据挖掘算法，Apriori算法，FP—growth算法和STBA算法，分析了它们各自的优缺点，并进行了对比，对于推动进一步改进现有的数据挖掘算法及实现数据的有效挖掘都具有一定的借鉴意义。