分布式数据库在气象大数据云平台中的应用与扩容研究

针对气象数据存储难扩展、单点故障等问题，文章采用分布式关系型数据库、分布式分析型数据库和分布式表格型数据库，建立了分布式气象数据存储系统。通过对比分析分布式数据库与传统数据库访问性能的差异，发现分布式数据库的访问时效显著高于传统数据库；分布式虚谷数据库在扩容期间可完成数据实时入库并通过数据服务接口进行数据访问，实时业务不受影响，能有效满足气象数据实时服务的要求。     

环渤海海域气象数据获取与GIS显示

文章采用Python开发语言快速处理功能、ORACLE数据库气象信息存储和GIS API等技术手段,获取来自中国气象局CIMISS系统和CMACAST卫星下发接收系统的实时数据,实现了站点数据快速入库并基于GIS显示到业务平台。本次环渤海自动站实况数据的本地化应用为大连地区气象业务预报制作和防灾减灾气象服务提供了依据和保障。     

海量气象水文数据存储结构的研究与实现

本文针对气象水文保障业务中数据的安全存储、快速读取等不同要求,对海量气象水文数据存储结构进行分析研究,提出了采用基于RAID-0／RAID-1／RAID-5组合的三级盘阵冗余技术的海量气象水文数据存储结构解决方案,为提高气象水文业务中数据的安全存储和快速读取模式提供了较为完整可行的设计思路。     

云计算环境下网格文件存储应用研究

针对互联网应用中不断增长的海量文件数据管理难题,提出网格存储层次结构并设计了网络文件存储系统原型。比较了云存储和网络存储异同,设计了基于安全认证的网格文件数据存储流程,应用名字服务解决网格文件的统一视图问题,采用了冗余存储策略解决数据存储可靠性问题。相对于传统数据中心模式存储结构,新系统的可用性较高。该存储应用可用于能源电力系统中的数据管理及互联网数据服务的后台存储。     

嵌入式数据库SQLite在准在线故障诊断系统中的应用

介绍了一种嵌入式开源数据库SQLite在对旋转机械进行故障诊断的准在线系统中的应用。利用该数据库技术,解决了准在线故障诊断系统中存在的数据管理问题,使采集数据的存储更加规范,同时提高数据存储和读取的效率,提高了系统的实时性、稳定性和可扩展性。     

自动气象站数据处理系统设计

针对在气象业务中对地面观测资料的统计和应用问题,利用Visual Basic和SQL Server 2000开发了自动气象站数据处理系统。系统可从自动气象站的观测资料中按照固定时间自动地提取数据,并把数据录入数据库。用户可利用数据库查询实时或者历史的相关气象数据,并实现气温、露点温度、相对湿度、气压、风向、风速、降水量等气象要素的统计功能。     

气象计量实验室信息管理系统的设计与实现

气象计量实验室业务范围广,工作流程多,数据信息量大,它对保障我国气象观测数据质量具有重要意义。因此,迫切需要改革传统实验室的管理方法,使气象计量实验室实现现代化和信息化。文章首先针对目前存在的问题,确定了本系统需要实现的目标和具体功能;然后,根据需求进行6个功能模块的设计,具体包括系统设置模块、仪器收发模块、数据输入模块、数据审核模块、查询统计模块和设备管理模块;最后,基于C/S模式,使用VISUAL STUDIO工具进行设计开发,应用数据库技术和SOCKET技术实现数据存储及信息共享,实现数据的自动处理与检验。本系统已投入业务运行,且运行状况良好、稳定,在实验室日常工作中发挥着重要作用,使实验室运行朝着信息化与自动化方向稳步发展,显著提高了客户与工作人员的办事效率。     

异地分布式存储环境下的产品数据一致性控制技术

为了解决分布存储机制所带来的产品数据一致性问题，依据产品数据的产生位置和使用属性，设计了基于主副本的产品数据分布存储策略，同时，在异地企业间设计并使用了主一辅服务器协同的并行处理机制。通过基于数据全相关的产品数据一致性更新技术，解决了异地产品数据之间的主副本一致性实时更新问题；通过基于自顶向下的产品数据一致性检查技术，实现了盟主企业的产品中心数据库和联盟企业的产品次级数据库的主动核对和自动检查。两种一致性控制策略的协同工作，较好地解决了产品数据异地分布式存储环境下的一致性控制问题，并以航空某企业联盟为应用背景，进行了应用验证。     

配用电云平台分布式实时数据处理技术研究

为解决配电网云平台大规模实时数据的处理问题，设计了一种分布式实时数据处理方法。集群分布式实时数据库可实现海量数据的分布式存储，而且具有统一访问和管理功能。提出了一种新型分布式SCADA系统，进一步提高实时数据的分布式处理能力。给出了新型分布式SCADA系统架构，包括基础设施、分布式资源与任务处理、分布式实时数据处理、分布式数据处理。在云计算环境下，讨论了弹性事件队列和弹性应用框架等关键技术，系统地建立同云计算相适应框架，全面提升系统的数据采集、存储、分析、计算、扩展等能力。     

气象信息综合处理系统的Web应用

利用MICAPS气象信息综合分析处理系统,通过检索各种气象数据、显示气象数据的图形和图像,对各种气象图形进行编辑加工,为气象预报人员提供一个中期、短期、短时天气预报的工作平台。本文针对MICAPS气象信息综合分析处理系统专业性强,并且局限于局域网中使用的问题,提供一种建设网络化的气象服务应用系统的方法。利用MICAPS命令行带参数启动方式,在不启动MICAPS系统的方式下,自动定期把气象资料转换成一般的JPG格式图形文件,并且将相应信息存储到数据库中,实现气象资料网络化,便于用户使用。     

气象专业计量站数据存储方案设计

针对当前气象专业计量站实验数据存储分散、管理不便、安全性无法得到保障的问题,利用日趋成熟的网络存储技术,设计了简便易行,经济可靠的数据存储方案,并介绍了依据此方案所搭建的试验系统。经测试,该试验系统数据写入速率不低于200 Mbps,可以满足气象专业计量站的日常应用。     

基于STN组建宁夏气象信息传输网络

文章简述了STN的技术原理和特点,结合宁夏气象局区、市、县3级网络现状和气象业务发展的需求,提出利用STN组建宁夏气象传输网络方案,以期确保气象业务传输的安全、可靠及高效。     

基于VB/SQLServer2000选煤厂设备点检数据分类存储的实现

针对选煤厂设备的众多点检数据,研究了一种数据存储方法,该方法通过基于STM32单片机开发的手持式点检仪进行采集并存储到SD卡。再通过USB接口传到上位机基于VB开发的点检数据管理系统,经过系统的处理,最后实现数据的分类存储到基于SQL Server2000开发的数据库。结果表明:点检数据按帧截割的存储方式在处理大数据量时用时较少;振动数据及图片数据在数据库中采用路径存储方式,解决了数据库访问变慢问题;数字量数据与图片数据相结合的数据存储方式,克服了传统点检系统缺乏图片信息的局限性。     

基于实时PI数据库的电网海量遥测数据查询应用

传统EMS系统电网遥测历史数据查询只支持15 min一个点的应用,很难满足电网营销、生产、规划及财务等专业多维度、广角度分析需求。现通过在数据存储方面进行改进,应用关系数据库及时序数据库的分类存储,在受数据库容量限制的前提下,实现电网海量遥测数据的秒级查询应用,该应用为电网日常业务要求精细数据的场景下的应用提供了数据支撑,为电网运行分析奠定了基础。     

NXD在敏捷制造信息系统中的应用

网络化环境下数据的共享和交换是敏捷化信息系统的一个关键问题，XML成为解决这一问题的有效方法。如何对大量的XML数据进行有效地管理成为一个亟待解决的问题。分析了敏捷制造中的数据存储和交换特点，提出利用XML本源数据库（NXD）存储数据的方法。构建了使用NXD的敏捷制造系统数据库体系结构，分析了利用NXD存储数据的有利之处。     

利用VB实现SQL SERVER数据库的备份与恢复

数据安全对数据库应用系统至关重要。对于一般使用者而言，SQL Server本身的备份操作太专业，数据的存储也不方便。笔者提出了一个从Microsoft Visual Basic前台实现的数据库备份与恢复的解决办法，很好地解决了上述问题。     

ZQZ—CY移动式自动气象站无线传输配置与实现

本文通过对ZQZ—CY移动式自动站GPRS模块进行参数配置及对中心服务站的设置,解决了移动式自动站的无线数据传输问题,实现了各移动自动气象站气象观测数据的远程统计、查询,以及相关的气象业务处理和数据应用分析。     

VB实现灾害性天气数据库自动追加

灾害性天气气象资料数据库需要不断追加新的灾情资料,以方便业务人员总结天气规律,提高预报能力,但定期对实时气象资料进行分类、判别和存储的灾害性天气个例数据库追加工作成为一项繁重低效的劳动。文章介绍了青海省气象台使用VB编写应用程序实现了对灾害天气自动判别和相应气象数据自动追加,有效提高工作效率的方法。     

EAST实验数据统一访问方法的设计与实现

EAST的实验数据主要分散的存储在不同的数据库和文件中,造成存储格式不统一,导致了数据获取的复杂性。统一的数据访问屏蔽了底层数据存储格式,实现了数据访问的透明性,降低了访问难度。统一的访问方法通过提取实验数据的元数据,提供了统一的数据检索服务;利用线程池、EPOLL等实现了高并发、低延迟的网络通信服务;基于动态链接库等技术实现了多语言的接口库;并基于Vue、Flask等Web技术提供了可视化工具。该方法为统一访问多源异构的数据,提供了标准化的解决方案。     

复杂装备状态监测实时流数据处理框架EI北大核心CSCD

为了解决数据处理层的高通量实时流处理、数据传输协议定制、海量监测数据存储、动态弹性计算等问题,提出一种基于物联网的复杂装备状态监测实时流数据处理框架。采用模型驱动与构件化设计方式,框架可分为数据层、运行层、模型层、工具层、应用层以及其他辅助模块。运行层采用流水线并行计算的方式进行状态监测流数据处理;模型层通过定义处理单元、拓扑模型和协议模型等,对系统数据处理业务及数据传输协议进行定制。数据层采用非结构化数据库自由表方式,进行海量监测数据存储。通过在工程机械领域状态监测中的应用,验证了该框架的有效性。