同步辐射光源运行过程的监测和控制

介绍了一种全新的光源-同步辐射光源及其装置.它是由电子直线加速器、输运线、高能电子储存环及几十条光束线和实验站组成的复杂系统.通过对系统运行 过程的监测、控制以及控制参数的选择、讨论和分析了影响系统稳定工作的因素,在总结、分析、建模的基础上,提供了解决系统安全可靠性等问题的新思路和方法.     

基于OAI的科学数据共享平台研究与设计

针对科学数据共享工程中元数据地理位置分散、标准不统一、元数据收割自动化程度不高等问题,结合OAI协议简单、低门槛、跨平台、互操作强等特点,把OAI协议应用到大同地区科学数据共享平台的建设中。各数据分中心作为数据提供者,基于XML技术向共享平台发布元数据。共享平台作为服务提供者,定期收割各数据分中心的元数据,加工处理后存储在当地数据库中,为用户提供一站式数据服务。实践证明,该方法操作简单,易于实现,为快速、高效地整合集成科学数据提供了一种有效的方法。     

面向同步辐射光源图像的可并行智能压缩方法

在建的高能同步辐射光源预计会产生海量原始数据,其中硬X射线实验线站产生的图像数据占比最高且具有高分辨率和高帧率的特点,亟需有效的无损压缩方法缓解存储和传输压力,然而现有通用无损压缩方法对该类图像压缩效果不佳,基于深度学习的无损压缩方法又耗时较长。结合同步辐射光源图像的特点,提出一种在保证图像压缩比前提下的可并行智能无损图像压缩方法。通过参数自适应的可逆分区量化方法,大幅缩小图像经过时间差分后的像素值分布范围,能够节省20%以上的存储空间。将以CNN为基础架构的时空学习网络C-Zip作为概率预测器,同时以数据集为单位过拟合训练模型进一步优化图像压缩比。针对压缩过程中耗时较长的算术编码过程,利用概率距离量化代替算术编码,结合深度学习进行无损编码,增加编码过程的并行度。实验结果表明,该方法的图像压缩比相比于PNG、FLIF等传统图像无损压缩方法提升了0.23~0.58,对于同步辐射光源图像具有更好的压缩效果。     

分布式地球系统科学数据共享平台研究

科学数据共享平台是科学数据共享活动的重要支撑,既是标准规范和数据资源物化的平台,又是用户服务的窗口,其关键是要实现数据资源由数据生产者向数据使用者的流动。在分析分布式地球系统科学数据共享平台内涵的基础上,提出了以“总中心、认证中心和若干分中心”为构架的“物理上分布、逻辑上统一”的分布式软件体系。对用户单点登录与权限认证、数据中心信息同步、元数据汇交与同步收割、多源异地数据资源透明访问等关键技术进行了详细的论述。基于Java EE环境,研制开发了分布式地球系统科学数据共享平台,软件平台能够实现跨部门、跨操作系统的部署。目前,软件平台已经部署在总中心和13家分中心,为用户提供了稳定的“一站式”数据共享服务。     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

区块链技术下的数据处理平台设计与实现

为了解决现有数据分析系统中数据服务业务中心化、数据链条断裂、数据篡改等问题,提出了一种基于区块链技术解决数据处理方案,即基于区块链技术的数据集成与分析平台。该数据处理平台充分利用区块链技术的去中心化、不可篡改等固有特性,借助区块链技术架构设计出数据处理平台的总体架构以及相关管理模块,同时借助智能合约、共识机制等手段对数据快速处理,在保证数据安全可靠的情况下对数据高效的集成与分析,从而解决数据分析链条断裂、数据被篡改等数据安全问题。该数据处理平台可为政府业务制定数据安全政策、推动数据化产业发展提供理论依据和决策参考。     

一种基于实时数据采集系统的数据处理方法

给出了实时数据采集系统的一种数据存储格式 ,并讨论了基于此格式的一般数据处理方法     

美国卫星科学数据处理存档系统S4PA综述

简单的、可扩展的、基于脚本的科学数据处理存档系统S4PA,是NASA Goddard地球科学数据和信息服务中心分布式数据存档中心GES DISC DAAC近年发展和使用的、进行气象卫星遥感数据处理和存储管理的系统。本文全面介绍了S4PA的发展历程、建设原则、系统设计和技术特点。其核心思想是采用成熟技术对气象卫星数据处理和存储进行流程化设计,使资源有效利用率达到最优。S4PA的成功应用,证明了这是一种先进的、低成本的、稳定的、可扩展的数据处理和存档系统。本文有助于将国际先进的数据存档技术应用于我国海量数据的数据处理和存档、数据管理的实际工作中。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

气象教育培训数据平台的设计

某学院各个系统之间相互独立,数据接口、数据标准各不相同.在此基础上,以大数据为中心,以应用为导向,设计构建融合创新、开放共享的气象教育培训综合数据共享平台,推进资源整合、教育服务业务高效协同,构建"云+端"气象培训业务组织架构,统筹集约,进一步提升气象培训事业高质量发展的效益和水平.     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

共享数据库平台在校务管理系统中的规划与实施

随着校园信息化建设的不断发展,对实现各校务管理系统间的信息共享和信息交换,并提供全校各类信息的查询和决策分析功能的需求也越来越迫切。文章分析了数据共享模式的几种方案,重点讨论了共享数据平台的规划与部署。     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

大数据处理模式——系统结构,方法以及发展趋势

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解.     

车载测污激光雷达数据处理软件的设计

数据处理软件是激光雷达系统的重要组成部分.根据车载测污激光雷达采集系统的特性与科研工作的需要设计了车载测污激光雷达数据处理软件.该软件集成了测量物的数据处理与显示功能;能够实时检测到激光雷达的回波信号,并自动进行处理;解决了多种测量物时间、空间分布实时显示的问题.在软件设计过程中,采用了双缓冲技术消除了闪烁现象;利用API函数实现了实时处理功能;在等值线的绘制中使用了不规则三角网对数据进行建模.经过测试,该软件能较好地完成车载测污激光雷达的数据处理工作.     

面向FAST科学数据管理系统平台的设计与实现

为了对大规模脉冲星及暂现源数据处理技术运用研究的突破,为国家大科学工程FAST实现提供有效的技术支持,加速在脉冲星和暂现源科学研究方面科研成果的产出.尽可能详细记录脉冲星科研数据处理结果,解决数据分析处理过程、科研结果不便于管理、共享等问题.FAST早期科学数据中心设计开发了面向FAST的脉冲星科学数据管理平台.讨论了...     

基于组件的报表公式数据处理的设计与实现

用手工进行报表数据处理，已经越来越不适应现代社会的要求，本文提出了一种结合Delphi组件FlBook，在电子报表中自定义公式进行数据处理的实现方法，给出了采用面向对象编程的表达式解释实现技术。     

基于微内核的雷达数据处理平台设计

采用微内核的插件系统,设计一种雷达数据处理平台。该平台以数据处理为中心,通过统一的功能接口将业务模块插件化,在微内核管理下组合成复杂数据处理流程,实现积木式系统结构和界面与算法分离的面向对象开发模式。该平台具有良好的可扩展性和可维护性,通过主件对象模型技术进一步封装,拓展插件使用范围,实现多语言混合编程。     

基于大数据融合的智慧矿山平台搭建与应用

智慧矿山的概念符合煤炭工业的发展现状及前进方向,针对智慧矿山的行业定位及重要意义,在分析当前智慧矿山建设瓶颈及问题的基础上,按照数据采集层、数据传输层、平台支撑层、数据管理层、系统应用层5大结构层的模式进行智慧矿山框架设计及平台搭建,并对智慧矿山平台应用于安全生产工作的部分场景进行介绍,为今后智慧矿山标准体系的建设和成...