基于双核嵌入式系统及ALN算法的智能气象站系统

现代工业控制领域和能源行业往往需要气象数据的支持,这些数据不仅包括实时采集的气象数据,而且包含了未来一段时间内的气象预测数据.提出一种基于OMAP-L138的ARM+DSP芯片并使用自适应线性逻辑网络(ALN)算法来实现具有预测功能的气象站系统.该系统可以通过三个月以上的历史数据训练出预测模型,并使用当前采集的气象数据作为预测模型的输入即可预测得到未来一段时间内的预测数据.     

基于RabbitMQ技术的气象标准格式数据传输研究

本文阐述了我省气象通讯系统基于消息中间件RabbitMQ的气象资料收集和分发技术,讲述了基于RabbitMQ消息中间件的通信传输模式和气象通讯系统2.0版本的技术框架.结果证明,基于RabbitMQ消息中间件的黑龙江省气象标准格式传输方式运行稳定,大大提高了气象数据的传输速率和服务能力.     

基于百度地图Web API技术的WEBGIS气象服务研究及系统设计

针对传统专业用户气象服务网站开发周期长,产品展示形式单一等问题,采用基于百度地图Web API技术,研究各类气象数据在WEBGIS地图上的叠加显示,设计陕西省气象服务中心专业用户气象信息服务网站系统.利用模块化开发方式,划分基础数据、天气预报、天气实况、气象服务、后台文件处理系统、后台管理平台等六个模块,通过后台功能模...     

RabbitMQ在气象通信系统中的应用研究

随着现代气象自动观测技术的迅速发展,气象资料的数量及类型都大大增加。重要的气象观测资料产生的频次已经提升到了分钟级,传输的时效也要求提高到秒级。目前的气象通信系统1.0版本是基于传统的TCP/IP协议的FTP文件传输方式,已无法满足大数量、高频次、多种类的观测数据高时效传输。为满足现有业务的需求,设计了基于RabbitMQ消息通信传输模式的气象通信系统2.0版。着重研究RabbitMQ消息队列技术在气象通信系统中的应用,包含消息中间件技术、消息传输架构设计、观测数据消息封装、高时效高可靠设计、交换控制策略设计等。应用结果表明,基于RabbitMQ技术开发的气象通信系统运行稳定,96%的气象观测数据能够在2秒内完成从台站到国家级的传输,并且在10秒内完成全部数据的传输,通过交换控制策略将数据及时转发给业务单位使用,大幅提升了气象数据的传输时效性和服务能力。     

基于Hadoop技术的气象数据实时传输监控系统设计

气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统。联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿度四个基础监控模块,完成气象数据实时传输监控系统的硬件设计。根据Hadoop架构体系连接形式,搭建Hadoop架构体系,预处理气象数据。在此基础上,匹配数据库机制与业务信息表单,实现应用系统的实时传输监控功能,再联合相关系统硬件,完成基于Hadoop技术的气象数据实时传输监控系统的设计。实验结果表明,在本文设计系统作用下,能够有效实现对风、雨、雪、雷四种气象问题的实时监测,可以准确分析气象问题表现情况。     

基于ETL的政务云气象数据仓库构建

针对气象网站等应用系统向地方政务云迁移过程中缺乏基础数据的现状,从功能性,开发成本,灵活性方面考虑选用ETL工具,基于Kettle软件对气象数据ETL流程进行建模,使用Quartz开发作业调度系统实现ETL流程的自动化运行,在政务云搭建SQL Server数据库集群,构建了政务云气象数据仓库.该数据仓库实现了异构环境气象数据在政务云的实时同步和存储,为气象应用系统在政务云的全面部署提供了数据支持,也为气象部门参与电子政务数据交换和共享打下基础.     

基于GIS的气象信息标准化服务平台的设计与实现

随着气象资料服务不断格点化、精细化,对气象数据基于GIS(geographic information system,地理信息系统)的显示发布要求进一步提高。当前各气象业务系统在建设时往往存在重复处理气象数据及开发整合地理信息系统的现象,重复开发基于地理信息的可视化功能会造成资源浪费,延长开发周期。该文根据实际业务需求,集成了多源异构的气象数据,设计实现了基于GIS的气象信息标准化服务平台。该平台主要依托CIMISS(全国综合气象信息共享平台)数据接口、各类气象资料观测数据文件,依照地理信息数据图层金字塔分级方式,将气象数据进行重新组织,以Web方式提供标准化PaaS(platform as a service,平台即服务)服务,包括地图服务、地理覆盖服务和地理要素服务,以更便捷、更安全、更全面的方式向本级和下级单位各业务部门提供气象数据GIS服务(包含GIS和数据服务)。该平台在江苏省气象局多个气象业务系统中投入应用,有效减少了业务系统建设环节中的气象资料可视化重复开发所造成的资源浪费,收到了良好的应用效果。     

基于Java的气象管理系统设计

在信息量剧增的时代,我们需要从数据中获取信息来分析和预测天气情况,因此设计基于Java的气象管理系统,采用B/S模式,并运用Java语言完成编写,系统主要包含三个模块,分别为天气预报模块、自然灾害预警模块、全局观测模块等.该系统为城市提供气象信息支持,在预防城市发生自然灾害中发挥重要作用.     

基于CIMISS的省级气象业务系统的应用设计

全国综合气象信息共享平台(CIMISS)为全国气象部门提供了统一的数据环境。讨论了基于CIMISS数据环境建立的省级气象业务系统应用设计方案,在不改变省级现有气象业务系统业务流程和系统架构的基础上对系统进行改造,实现本地化系统与CIMISS系统的无缝对接。设计方案中,利用数据接口获取气象数据,并根据数据结构的不同分别讨论了离散数据、网格化数据、栅格数据的解析方式,最后实现气象数据的高效快速可视化。结果显示,建立的CIMISS在省级气象业务系统中的应用流程和方案是有效和可行的,为气象业务系统接入CIMISS数据环境提供一定的借鉴和参考。     

基于气象大数据计算与资源共享教学平台设计

气象大数据具有4V“种类多”(variety)特性,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。在气象模式教学过程中,气象模式配置复杂,其需要的气象基础数据具有体量大的特点。针对传统气象模式教学过程复杂,气象模式配置过程繁琐,气象基础数据集需要重复下载的问题,提出气象大数据数字资源平台的建设问题。气象基础数据集与气象模式相结合,对气象基础数据集进行布局,使系统具有比较高的利用率。针对多数据中心,多个气象模式可运行,多个学生对气象基础数据共享的情况,提出一种基于Apriori的挖掘算法来分析数据集与气象模式的直接关系,并完成气象大数据数字资源系统设计,既为学生、教师提供方便的操作,又能提高系统性能。气象大数据数字资源平台不但提供气象计算,也提供各种气象基础数据集的共享访问,简化了气象模式教学过程。     

Storm流处理平台中负载均衡机制的实现

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架。然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题。针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率。通过与原生Storm系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势。     

基于稳定匹配的实时ETL弹性调度机制

在数据生产速度波动较大的场景,为了实时ETL资源利用更合理,提出基于稳定匹配的ETL弹性调度机制.预测数据源的数据生产速度,并计算满足预测值的消费数据速度;使用贪婪负载均衡算法,调整ETL服务个数使节点负载均衡;确定ETL操作匹配关系,使消费数据速度最大且代价最小.该调度机制将匹配问题转化为最小费用最大流问题,并提出基...     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

民航气象资料接收模型研究

在民航业务流程的基础上,对原有民航气象信息处理与传输系统进行研究。分析发现,随着业务量的增加,原有系统在接收气象资料实时性等方面已无法满足需求,进而提出了新一代民航气象资料接收模型。该模型使用多节点并行处理、负载均衡、内存数据库等技术提高了气象资料解码、质量检测、存储等方面的效率。该模型现已成功地应用在民航气象信息处理与传输验证系统上。     

并行入侵检测系统的预测负载均衡方法

数据流的高速化使得网络入侵检测系统(network intrusion detection system,NIDS)往往会出现严重的漏报率,并且面对某连接上突发流量的情况,基于连接的负载均衡很难做出较好的应对措施,针对该问题,提出了一种基于包预测的并行入侵检测的负载均衡方案。该方案通过观察每个探测器上数据包的进出情况,由包预测负载均衡算法预测下一个时刻各探测器上的负载情况,避免了将新连接加入到流量突发探测器的可能,提高了负载均衡的效率。仿真实验结果表明了该方案的可行性及有效性,它能有效的均衡负载,减少系统的丢包率。     

负载均衡算法在智慧矿山软件平台中的应用

针对现有负载均衡算法在处理智慧矿山系统数据时存在处理速度慢、无法合理利用现有资源完成任务调度等问题,提出一种基于布谷鸟搜索的加权最小连接数(CS-WLC)算法,并将其应用于智慧矿山软件平台解决负载均衡问题。该算法综合考虑后端服务器处理速率、内存容量、磁盘IO速率、网络吞吐量、进程数指标,通过对指标赋予权值计算各后端服务器利用率;根据计算结果,采用布谷鸟搜索算法对后端服务器进行全局寻优,得到一组较优解;考虑连接数及使用频率对后端服务器赋予权值,采用加权最小连接数(WLC)算法在较优解中选取负载较轻的后端服务器处理实时数据存取和用户访问请求。采用分布式融合性监控系统软件平台进行负载均衡测试,结果表明在数据量不断增多的情况下,与WLC算法相比,CS-WLC算法应答时延小、响应连接数多,从而验证了CS-WLC算法具有更好的负载均衡效果。     

Load balancing algorithms based on gradient methods and their analysis through algebraic graph theory

The main results of this paper are based on the idea that most load balancing algorithms can be described in the framework of optimization theory. It enables to involve classical results linked with convergence, its speed and other elements. We emphasize that these classical results have been found independently and till now this connection has not been shown clearly. In this paper, we analyze the load balancing algorithm based on the steepest descent algorithm. The analysis shows that the speed of convergence is determined by eigenvalues of the Laplacian for the graph of a given load balancing system. This consideration also leads to the problems of choosing an optimal structure for a load balancing system. We prove that these optimal graphs have special Laplacians: the multiplicities of their minimal and maximal positive eigenvalues must be greater than one. Such a property is essential for strongly regular graphs, investigated in algebraic graph theory.     

使用负载均衡提高Maximo系统性能

天津分公司经过多年的信息化建设,目前已经形成了以Maximo系统为核心的设备管理信息化系统.随着系统不断深化应用,客户化程序日益增加,业务数据量日趋增大,系统负荷不断加大,导致系统性能降低.系统用户对Maximo的访问会出现诸如:系统访问速度慢、非正常退出、请求不响应等问题,影响用户正常使用系统;为提高Maximo系统性能,满足用户日益增长的系统使用需求,我们根据Maximo系统的实际应用情况进行定制化配置,首次将负载均衡和硬件集群组合使用,大大提升了Maximo系统业务管理能力.     

Etherchannel技术在民航气象数据库系统中的应用

在我国民用航空飞行气象保障服务中,民航气象数据库系统作为核心的业务系统,起到了不可替代的作用。文章介绍的EtherChannel技术是一种网络端口聚合技术,通过在民航气象数据库单机、双机环境以及网络设备中的实际应用显示,该技术的运用可以有效提高整个系统运行的稳定性与可靠性,同时可以改善网络传输性能和负载均衡状况。     

基于强挂起弱预测机制的负载均衡模型研究

大数据时代的快速发展和大数据战略的明确提出,使得Web服务器集群将面临更加复杂和严峻的负载挑战。传统的负载均衡算法存在着明显的局限性。提出了一种基于强挂起弱预测机制的负载均衡模型,该模型利用强挂起机制和基于层次分析的三次指数平滑预测算法进行负载均衡动态调度。实验结果表明该模型在系统瞬时性能异常、高并发和重负载交互情况下的负载均衡效果优于传统负载均衡算法。