基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

基于联盟链的科研云联邦计量系统研究设计

[目的]为了解决科研云联邦构筑过程中因科研机构归属不一带来的资源难以计量和数据异步问题,本文提出了科研云联邦计量系统.[背景]考虑到集中式资源计量可能导致运营成本高、效率低、恶意攻击、数据存储不安全等问题.[方法]本文根据科研云联邦的特点,结合联盟链的技术特点,设计了基于联盟链框架Hyperledger Fabric的...     

基于查询语言转换的多源数据统一访问框架

大数据时代,需要集成多样化数据管理分析工具完成业务需求,然而不同工具的数据访问接口标准不一,需要借助适配器进行接口转换以实现数据管理分析工具协作.因此,如何快速集成不同工具成为学术界与工业界亟待解决的问题.本文提出了一种基于查询语言转换的多源数据统一访问框架BAF4DUA(Bi-Adapter Framework for Data Unified Access),该框架采用双端接口适配方式,在数据提供者工具端和数据消费者工具端分别引入适配器对系统数据与查询语义进行适配,将查询语言与数据存储模型相分离,从而实现了数据提供者与数据消费者之间多对多、即插即用的数据访问,提高了应用的灵活性与扩展性.     

基于决策树和由均匀分布改进Q学习的虚拟机整合算法

随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显。为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD)。该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策。此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度。仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了14%,12%,21%,40%和10%。同时,得益于决策树在表格型数据上更强的特征提取能力,DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略,并且在本实验中随着云数据中心规模的增大,可将传统强化学习模型的训练耗时逐步减少60%～92%。