基于云计算平台的风电场SCADA系统的设计与应用

针对目前风电场积累的海量多源异构的大数据,借助云计算平台架构灵活多变、数据并行处理的优势,设计了基于云计算平台的风电场数据采集与监控(SCADA)系统。在该系统的云计算平台上采用智能化数据挖掘算法,完成了风机数据的远程采集、智能分析、故障预判。最后选取反映风电场性能的功率和转子转速数据,以自适应权重(AFW)的K-means算法和最小二乘支持向量机两种典型的数据挖掘算法为例,对数据进行了聚类分析和回归分析,验证了系统的可行性。     

非结构化视频并行处理框架设计与实现

针对单机处理海量视频效率低等问题,本文自主设计了基于Hadoop集群的视频并行化处理系统并建立了试验床。重新设计了专门针对非结构化视频数据的MapReduce并行计算框架及相关的键值对和输入输出格式。实验结果表明,Hadoop集群比较适合大数据的视频处理,Hadoop集群并行化处理技术提高了行人检测与跟踪算法效率。     

Spark云计算平台下的结构物理参数辨识

结构物理参数辨识是结构损伤识别的一个关键问题。针对结构物理参数辨识精度不高、海量数据处理计算效率低下和在单机环境下运算资源不足的问题,提出一种云平台下改进并行化多粒子群协同优化算法(IPMPSCO)的结构物理参数辨识方法。在云计算平台下,引入Apache Spark云计算平台的弹性分布式数据集RDD,对传统多粒子群协同优化算法(MPSCO)的结构物理参数辨识进行分布式并行化改进。为了验证所提方法的准确性和处理海量数据的能力,在8节点的云计算集群上对一个30层框架数值试验和一个7层钢框架试验进行结构物理参数辨识。结果表明,所提方法具有良好的精度和稳定性,在执行效率上优于单机,且具有较好的并行能力。     

Hadoop云计算平台的研究及实现

随着电子商务的兴起,传统的服务器集群技术在处理大数据时越来越显得力不从心。Hadoop是一种开源的云计算技术,包含HDFS文件系统及MapReduce编程模型两大核心,在处理海量数据、数据挖掘、电商推荐系统等领域有其独到的优势。文章介绍了Hadoop的基本原理,实现了搭建了Hadoop集群,从而实现了一个基于Hadoop的云计算平台。     

基于云计算的并行化自动测试系统设计

为适应航天器批产化测试的要求,提高测试效率,本文以云计算支撑平台为核心设计了适用于航天器测试需要的并行化自动测试系统.系统基于vSphere云计算软件构建系统资源的集群环境,利用模块化思想构建了测试设计子平台、核心数据处理子平台、通用测试设备子平台、自动化测试执行子平台、测试信息存储子平台、信息评估分析子平台等六大子平台.通过对多台导航接收机进行并行测试,系统实现了测试设计、信息处理、测试执行、接口管理、数据存储、数据评估等全流程测试功能,结果表明:系统提高了产品测试效率,并节约了系统资源.     

基于云计算的框架结构参数并行辨识算法

大型复杂结构健康监测（Structural Health Monitoring,SHM）系统的安装产生了海量监测数据,传统结构分析与数据处理技术使得监测数据得不到实时分析处理,导致不能及时评估结构工作状态并进行危险预警。为了解决这一问题,该文对传统多粒子群协同优化（Multi-Particle Swarm Coevolution Optimization,MPSCO）算法进行分布式并行化改进,开发了基于云计算的PMPSCO算法。在此基础上,提出了基于PMPSCO算法的框架结构物理参数辨识方法,并在MATLAB分布式云计算平台上对一个15层框架数值试验和一个7层钢框架实验室试验进行结构物理参数辨识,探讨了接入不同分布式并行节点数时该算法的加速关系。辨识结果表明:PMPSCO算法具有良好的精度、稳定性和拓展性,可通过增加接入的分布式并行节点数灵活提高算法运算速度,以满足结构监测数据实时处理的要求。     

分布式变量选择—MCP正则化

随着数字化时代的发展,各个学科和领域都会遇到海量高维数据。面对收集到的大量数据,如何将其转化为可存储、便分析、能为解决实际问题提供参考的材料成为当前所面临的一个巨大挑战。针对数据存储的现状,分布式存储方式应运而生。分布式存储是将数据集按照某种方式不重复的存储在不同的机器中,以此解决数据存储问题。那么,如何设计和研究出适合于分布式数据存储方式的机器学习算法便成为另一个亟待解决的问题。伴随着信息技术理论的发展,正则化方法的提出和发展为我们处理和分析海量高维数据提供了有效工具,但其仅适合于单机数据处理。鉴于非凸正则化对变量选择和特征提取的优越性,我们将分布式存储与非凸正则化方法相结合,关注基于分布式计算的非凸正则化方法,以此解决海量高维数据的存储和分析问题。本文采用分布式数据存储的形式研究变量选择问题。我们将数据分开存储于可互相通信的多个计算机,并提出分布式MCP方法,基于ADMM算法实现相邻计算机之间交互信息的分布式MCP算法,完成全数据的变量选择,并给出分布式MCP算法的收敛性分析。分布式方法的变量选择结果与非分布式方法变量选择结果相同。最后,通过实验证明本文所提出的方法适合于处理分布式存储数据。     

基于云计算的分布式数据挖掘算法研究

数据挖掘是对海量数据进行分析和总结,得到有用信息的知识发现的过程。作为数据挖掘的一个分支,成熟的分布式数据挖掘已经应用到社会生活许多领域。对海量数据的存储和挖掘,云计算提供廉价和有效的解决方案,能解决分布式数据挖掘的瓶颈。因此,基于云计算平台的分布式数据挖掘是目前的热门研究。给出数据挖掘算法的分类,重点针对不同的数据类型,给出适用的基于云计算的分布式挖掘算法。     

基于大数据的智慧公交出行云平台

当前,传统的城市公交系统存在候车时间长,服务水平低,管理水平落后等各种问题,乘客整体满意度低。为了解决这些问题,本公司基于大数据及云计算技术,设计了一套智慧公交出行云平台框架。该平台通过对公交车辆海量即时信息和大量用户应用信息进行收集、存储,构建算法模型,为城市公共交通智能化提供大数据建模分析平台,并集信息采集、智能调度、信息发布等多种功能于一体。该平台的实际运营,将大大提高公交系统运营效率,给乘客更好的公交出行体验。本文将对该平台的设计思路和各项功能进行介绍。     

超大尺寸激光测距大型测控网络研制

为了解决超大尺寸激光测距过程中所面临的测量任务大、测量点数多、数据庞大和巨型数据处理困难等问题,设计了超大尺寸激光测距大型测控网络的研制方案。提出将云计算平台与大型测控网络相结合,使得若干台具有串口通信功能的仪器协同工作,获得更强大的测量能力,实现了多种无线网络融合,并解决海量数据的存储及数据处理问题。实验结果表明:系统内存设定为2G,虚拟机硬盘设定为500G,当数据存储量超过500G时不会出现不能继续存储的问题,测量数据可以准确地被存储到云平台;一次性处理数据量超过2G时不会出现内存不足的问题,能够实现巨型数据的处理问题;Matlab和虚拟机结合能够很好的完成复杂运算任务,快速准确地确定被测关键点坐标。