路网感知的在线轨迹压缩方法

随着定位技术的高速发展,定位传感器被广泛地应用于智能手机、车载导航等各种移动设备中,用于采集移动对象位置数据并将数据上传至服务器.该技术的应用方便了位置跟踪、预测和分析,同时也带来了轨迹数据量大、数据冗余、传输和存储代价高等问题.轨迹压缩技术即是针对该问题而提出的,它通过保留关键轨迹点和去除冗余轨迹点信息,降低了轨迹数据的传输和存储开销.本文分析了近年来轨迹压缩领域的国内外研究进展,针对现有研究工作的不足,提出了一种路网感知的在线轨迹压缩方法,包括针对轨迹压缩的距离有界的隐马尔科夫地图匹配算法和误差有界的高效轨迹压缩算法等,并实现了该方法的原型系统（ROADER）.基于真实数据集的实验证明,该系统在压缩率、误差和执行时间等方面均显著优于同类算法.     

基于MapReduce的轨迹压缩并行化方法

带有全球定位系统（GPS）功能设备的增多,产生大量的时空轨迹数据,给数据的存储、传输和处理带来了沉重的负担。为了减轻这种负担,各种轨迹压缩方法也随之产生。提出了一种基于MapReduce的并行化轨迹压缩方法,针对并行化导致的分段点前后轨迹的相关性被破坏的问题,首先,采用两种分段点相互交错的划分方法划分轨迹;然后,将分段轨迹分配到多个节点上进行并行化压缩;最后,对压缩结果进行匹配合并。性能测试分析结果表明,所提出的并行化轨迹压缩方法能够大幅提高压缩效率,而且能完全消除因分段导致分段点前后相关性被破坏带来的误差。     

改进频率分布和风速纠正的青藏高原格点降水数据集（1980~2009年）

青藏高原格点降水数据是该地区气象、水文、生态等多方面研究的重要支撑。然而,因青藏高原地形和观测条件的影响,常规的格点降水资料处理方法通常难以表征格网内降水的真实统计参数,也并未将风速影响的器测误差考虑在内。针对此问题,对降水数据进行降水观测损失订正和降水频率分布优化形成新的数据集。由于考虑了风引起的观测损失且使用了不易受到台站密度影响的插值方案,该数据的均值比国际同类数据平均偏大20%,方差偏大2倍。更大的方差,意味着该数据可以更大程度地减少低密度观测网给格点数据带来的平滑效应,对于研究气候的变化特征更有优势。该数据覆盖时间范围从1980年1月1日至2009年12月31日,时间分辨率为1 d,水平空间分辨率10 km。数据适合作为数值模式降水和卫星遥感降水频率纠正的参考数据源,也可作为各类陆面水文模型的输入参数。     

气象格点数据在线可视化平台的设计与开发

气象格点数据是气象数值预报、数据融合、再分析等产品的主流格式,而该类数据的处理及可视化工具使用中存在专业性强、运行环境配置繁琐等问题,导致该类数据通常仅在气象行业内部使用,应用范围受到极大的限制,已不能满足科研、商业以及社会用户对气象格点数据使用需求。针对以上问题,该平台采用B/S、Node.js开发框架、集成WebGIS、D3.js等技术,实现了免安装、在线数据交互、融合可视化展示等功能。除了传统色斑图,还叠加了动态流场,实现了气象格点数据的综合动态展示。文中利用T639数值预报数据对该平台进行了检验,结果表明该系统能够准确客观地展示数据信息,同时其动态风场展示功能更有利于用户理解和应用数据。该平台的开发提升了气象格点数据的展示能力和效率,为格点数据的空间区域及多要素等关联可视化分析,提供了实用、便捷、有效的工具;同时结构化的开发,可为数值预报、再分析等系统的可视化集成提供开放的对接渠道。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

自适应参数的轨迹压缩算法

随着轨迹数据量的急剧增长,数据规模变得越来越庞大、复杂,给数据的存储、传输和分析带来了一系列的难题,迫切需要对移动对象的轨迹数据进行有效地压缩。现有的轨迹数据压缩算法大都是基于固定压缩阈值,来判定轨迹点是否被保留,在算法执行过程中,用户难以确定压缩阈值。针对现有轨迹数据压缩算法压缩阈值难以确定的缺点,本文提出了自适应参数的轨迹压缩算法。该算法根据用户期望达到的压缩效果,按照优先保证压缩比的策略,在保证压缩效率和压缩效果的情况下,帮助用户自动确定压缩阈值,从而避免了用户需要根据自己的经验,进行反复实验来得到理想压缩阈值的过程。实验结果表明,本文提出的算法都具有较高的压缩效率和较好的压缩效果。     

民航气象资料接收模型研究

在民航业务流程的基础上,对原有民航气象信息处理与传输系统进行研究。分析发现,随着业务量的增加,原有系统在接收气象资料实时性等方面已无法满足需求,进而提出了新一代民航气象资料接收模型。该模型使用多节点并行处理、负载均衡、内存数据库等技术提高了气象资料解码、质量检测、存储等方面的效率。该模型现已成功地应用在民航气象信息处理与传输验证系统上。     

基于曲率值追踪的气象槽线自动分析算法

针对传统槽线自动分析算法中存在的处理效率较低，且分析准确度不高的问题，提出一种基于曲率值追踪的槽线自动分析算法。算法利用位势高度场格点数据，直接计算格点处曲率值，并根据曲率值及相对位置对格点进行分类判别，以提取候选槽点；在候选槽点中筛选合理槽点进行追踪连接；最终通过后处理步骤，得到槽线自动分析结果。实验结果表明，该算法可有效实现气象槽线的自动分析，在分析准确度和运行速度方面较之前算法均有所改进。     

基于压缩传感的多尺度传感器融合

针对传统采样理论需要采集大量观测数据所带来的存储、传输以及经济方面的压力,提出了一种基于压缩传感理论的多尺度传感器融合方法.分析了基于压缩传感理论的重构算法的设计问题,采用曲线拟合方法对多尺度的传感器的时间配准.仿真结果表明,基于正交匹配追踪算法几乎可以完全重构原始信号.与传统采样算法相比,虽然精度没有传统的方法高,但是在误差允许范围内,采集的数据少,所需时间少,减少了数据的传输和存储成本.     

权重均方误差在基于小波的不规则网格压缩中的应用

为了提高图像数据在网络上的传输效率,往往将其压缩后再传输.基于小波的压缩能取得比较好的效果,但有时对压缩后的图像重构质量有更高的要求,就必须对小波编码器在编码过程中的均方误差进行改进.传统的方法是直接用小波系数的每个子带均方误差来表示和量化信号有关的均方误差,但这种方法只适用于标准网格.提出了适用不规则网格的权重均方误差,该方法适用于所有的模型、所有的位率和所有的升力模式.     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

基于高层气象大数据的风电场中长期风功率预测研究

针对风电场风电功率波动性强,中长期风功率预测精度不高的问题,本文提出了一种基于高层气象数据的风电场中长期风功率预测方法。首先通过规则化和规范化高层气象数据,找出并完善与风功率强相关的气象因素;其次,结合大气运动方程与和下降梯度方程,建立高层气象数据的演变物理模型;随后,采用大数据聚类和挖掘等算法,对多维度海量高层大气数据进行分类,并基于数据对推导的高层大气数据模型进行训练和修正;最后,基于模型和大数据机器学习方法,构建高层大气运动数据和风电场历史数据之间规律,采用统计分析与物理模型相结合方法,对风电场中长期风功率进行预测。通过结合中国西南某地的风资源数据对某风电场中长期风功率进行预测,证明本文提出的方法能有效提高风电场中长期风功率预测精度。     

基于VC++的测风数据处理系统设计与实现

测风数据处理系统是为配合风廓线设备在民航气象部门的应用而研制的系统.该系统采用VC 设计了接口模块、入库和输出处理模块、数据信息处理模块、显示输出模块和用户设置模块,利用系统设计的3个层次配合测风数据处理数据库的应用,以文件的存储和消息的传递方式与数据处理系统交互,完成风向,风速、温度测量和结果的二次处理,满足探测需要.     

长江流域气象水文雨量资料一张图分析系统建设与应用

本文基于目前对气象和水文共享站点的筛选，根据云分布式存储技术和气象数据处理技术，详细阐述在"一张图"目标实现过程中，系统总体设计的主要思路、功能结构及产品应用，同时梳理了降水资料的实时汇集流程，设计数据处理业务系统以及数据产品制作和共享系统，实现气象与水文部门长江流域雨量观测数据一张图的目标，实现了与水文部门数据的高效交换与共享应用.     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

网络环境下气象数据自动查询系统设计

针对传统的气象数据查询方法存在查询过程复杂、准确率低等问题,提出一种网络环境下气象数据自动查询系统设计方法;首先设置在网络环境下,设计气象数据查询系统的硬件部分和软件部分,其中,系统的硬件由上位机和下位机组成;软件设计包括气象数据查询系统气压查询软件设计、湿度数据查询系统气压查询软件设计、气象数据查询系统气压查询软件设计和气象数据查询系统风向风速查询软件设计,在此基础之上,最终实现气象数据的自动查询;仿真实验结果证明,所提方法可以方便、快捷、准确地查询气象数据信息。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

XCluster:基于聚类支持查询的XML多文档压缩方法

XML已成为各种网络应用中数据存储和数据交换的标准.XML数据管理面临的最大困难在于结构与数据混合存储导致大量数据冗余,这极大地增加了XML数据存储、交换和处理的代价.对XML文档进行压缩可以在一定程度上解决这个问题.但现有XML压缩方法大都仅压缩单文档中的冗余信息.利用XML文档间的相似性,提出一种支持查询的多XML文档压缩存储方法XCluster.XCluster先利用XML有根有序标签树上改进的pq-gram近似距离对XML文档集进行层次聚类;然后合并每个聚类结果子集中文档的结构得到结构代表并进行字典编码压缩;同时合并不同文档内同一标签下的值内容,并根据其数据类型进行相应编码压缩.实验结果表明,在真实和生成的XML多文档数据集上,XCluster比XGrind和XQilla具有更好的压缩效果和查询效率.     

基于多维时间序列挖掘的降雨天气模型研究

为研究降雨天气中降雨量和相关气象要素的关系,找出降雨前后相关气象要素的变化规律,提出了多维时间序列数据挖掘模型.该模型首先对气象要素时间序列进行维度选择预处理,剔除不相关及冗余维度,然后运用提出的极值斜率分段线性拟合法对时间序列进行分段、数据压缩及特征值提取,最后使用k-means聚类算法对处理后的多维序列进行符号化,利用规则提取得到降雨天气模型.实验结果表明了该模型具有较好的实用价值.     

基于MongoDB的气象数据存储检索系统#br#

近年来气象数据呈现多源化和爆炸式增长的态势,传统的关系型数据库已不能满足气象数据发展的需求。结合气象数据的地理空间特点,提出一种基于MongoDB的气象数据存储检索系统。本系统对气象数据建立空间索引,加快了气象数据的查询效率,为精细化、格点化预报提供了有力的支撑。实验结果表明,对于海量的气象数据,MongoDB具有强大的存储和检索能力,各个方面的性能明显优于关系型数据库。