高能物理网格数据管理关键技术研究

首先概要介绍高能物理网格的需求和发展,然后对其中数据管理的关键技术进行深入分析和探讨,包括名字服务、数据复制管理、数据传输、海量存储系统、用户访问接口等.最后,介绍一个用于高能物理网格数据管理的文件系统原型设计.     

高能物理实验数据传输系统的研究和实现

高能物理主要通过各种实验来研究基本粒子及其相互作用，每个高能物理实验每天都会产生大量的实验数据。由于高能物理实验异地建设的特点，如何把实验数据实时、可靠的从实验现场传输到远程的数据中心进行处理和分析，是各个实验需要研究的重要课题。介绍了一种通用的高能物理数据传输系统，通过接口定义与配置文件相结合的方法，满足各个高能物理实验的需求。该系统的模块包括：多路径源数据扫描模块、数据传输模块、数据共享模块、系统配置模块、日志和监视模块等。目前，该系统已经应用于江门中微子实验光电倍增管测试的数据传输。实际运行结果表明，该系统性能良好，能够满足实验的需求。     

高能物理大数据挑战与海量事例特征索引技术研究

新一代高能物理实验装置的建成与运行,产生了PB乃至EB量级的数据,这对数据采集、存储、传输与共享、分析与处理等数据管理技术提出了巨大挑战.事例是高能物理实验的基本数据单元,一次大型实验即可产生万亿级的事例.传统高能物理数据处理以ROOT文件为基本存储和处理单位,每个ROOT文件可以包含数千至数亿个事例.这种基于文件的处理方式虽然降低了高能物理数据管理系统的开发难度,但物理分析仅对极少量的稀有事例感兴趣,这导致了数据传输量大、I/O瓶颈以及数据处理效率低等问题.提出一种面向事例的高能物理数据管理方法,重点研究海量事例特征高效索引技术.在这种方法中,将物理学家感兴趣的事例的特征量抽取出来建立专门的索引,存储在NoSQL数据库中.为便于物理分析处理,事例的原始数据仍然存放在ROOT文件中.最后,通过系统验证和分析表明,基于事例特征索引进行事例筛选是可行的,优化后的HBase系统可以满足事例索引的需求.     

高能物理实验中数据传输系统的研究与实现

高能物理实验每天会产生大量的实验数据,由于高能物理实验本身的跨地域的建设特性,这些实验数据需要 传输到远程的数据和计算中心进行离线分析。如何将这些数据实时、可靠、高效地传输到远程的数据和计算中心则是 目前高能物理实验中需要解决的一个重要问题。介绍了一种高能物理环境下支持大批量数据传输的实时系统。系统 提供了与数据产生系统和数据管理系统的接口,并实现实验数据从实验现场到数据中心和计算中心的可靠传输。目 前该系统具有的功能包括:多路径源数据扫描、数据传输、数据缓冲区自动释放、传输过程管理、数据传输过程和性能 监视、传输过程日志记录等。为了解决广域网上高延迟的特性,提高网络传输效率,系统应支持多流并发传输,同时支 持数据中继服务,从而解决传输过程中由于网络或者某一传输节点失效造成的单点故障问题,提高系统自身的健壮性 和可靠性。实验表明,该系统在高能物理实验数据的传输过程中具有良好的效果。     

基于流控制传输协议多宿特性研究与仿真

针对SCTP协议的单路径传输模式,提出了负荷分担多路径传输方式,并对其重传机制做了改进.     

SCTP传输性能研究

流控制传输协议SCTP是一种新型的传输层协议,主要用于在IP网上传输PSTN信令。将SCTP与TCP、UDP在一般的网络环境下进行了比较,发现SCTP的传输性能与TCP、UDP的相差甚远;同时将SCTP不同流数下的传输性能进行了比较,发现SCTP的传输性能与传输数据的流数、传输的数据量之间存在关系。基于实验数据,分析了SCTP与TCP、UDP在传输性能方面的差距的可能原因,并提出了相应的解决方法。     

物联网数据管理平台设计与研究

为了规范物联网数据的管理,实现物联网数据的聚、通、用,通过重点讨论物联网数据管理的数据流向、核心架构设计,提出了一种基于数据仓库、感知数据库、时序数据库且具备流批一体数据处理框架的物联网数据管理方法,并通过平台化来实现物联网数据的管理。该平台先后在雄安、上海示范应用,不仅统一了数据采集、传输、存储的标准,而且明显减少了数据遗漏的情况,提高了物联网数据管理的效率。     

关于流传输协议SCTP的研究

流控制传输协议(Stream Control Transmission Protocol,SCTP)是一种可靠的传输协议,它在两个端点之间提供稳定、有序的数据传递服务,并且可以保护数据消息边界。与TCP和UDP不同,SCTP通过多地址主机(Multi-homing)和多流(Multi-streaming)功能提供这些收益,这两种功能均可提高可用性。     

关于流传输协议SCTP的研究

流控制传输协议（Stream Control Transmission Protocol,SCTP）是一种可靠的传输协议,它在两个端点之间提供稳定、有序的数据传递服务,并且可以保护数据消息边界。与TCP和UDP不同,SCTP通过多地址主机（Mulci-homing）和多流（Multi-streaming）能提供这些收益,这两种功能均可提高可用性。     

基于SDN的高能物理数据交换虚拟专用网研究

提出一种基于软件定义网络架构的大批量高能物理科学数据交换虚拟专用网思想,构建跨地域的高能物理实验合作单位之间SDN架构网络,设计数据传输智能路径选择算法,利用充足的IPv6链路资源服务于高能物理科学数据传输,解决大批量高能物理科学数据传输需求对现有网络带宽不足的压力,保障高能物理科学数据在合作单位之间高速、稳定、安全地传输。     

基于数据转发服务器的车辆监控管理系统升级方法

针对车辆管理系统在新旧系统衔接过程中出现的问题,以数据中转服务器为基础,构建了用于新旧系统衔接的框架。在该框架中,采用高性能Netty架构实现了大规模并发车辆数据的实时接收与转发;采用协议转换的技术解决了新旧系统通讯协议不一致的问题;采用数据缓存配合延迟入库的方法对大规模车载传感信息的实时接收、动态表达和批量入库进行了实现。实例表明,该方法能够很好的实现新旧系统的衔接,并有效的解决了衔接过程中数据并发、协议转换、批量入库等问题。     

节能降耗系统平台及关键技术研究 *

针对目前工矿企业节能降耗所遇到的问题 ,提出企业节能应该首先实现能源管理信息化 ,由注重单体设备节能向系统优化节能转变。基于此理念 ,构建了基于分布式体系架构的节能降耗系统平台 ,对企业生产环节和关键设备的能源消耗实行全面监测、管理和控制 ,实现节能的制度化和长效化。     

高性能数据仓库平台构建的研究

随着数据仓库逐渐成为企业决策支持的重要技术手段,提高数据仓库的综合性能问题日益成为人们重视与关注的焦点之一。在描述形成高性能数据仓库平台及高性能数据仓库环境的基本观点和技术的基础上,给出了建立高性能数据仓库平台的几个关键要素,提出了一种基于可扩展的数据集市的数据仓库系统结构。     

可再生能源分布式发电能量管理的复杂性研究

本文主要研究可再生能源分布式发电系统能量的优化与协调问题.基于系统能量管理中优化与协调控制问题的复杂性,提出采用基于Agent的建模与仿真方法进行研究.针对系统要求,以分散式发电系统的实体节点的映射封装Agent,提出了智能混合控制Agent的概念,建立了3层混合Agent的内部结构模型;并建立了以个体层、组织层和社会层构成的3层动态层级MAS体系结构,进一步辅以主导Agent和移动Agent辅助系统优化与决策,最终建立了一种新的面向再生能源的分散式发电系统能量管理的MAS宏观模型.最后应用有色Petri网对系统的优化与协调过程进行了动态模拟,验证了所提出的结构的正确性、合理性和有效性.     

基于压缩感知与能量聚合视觉传感器数据传输系统

为了保证视频数据的快速传输,并进行有效压缩,从而提升视频数据的传输质量,提出一种基于压缩感知与能量聚合的视觉传感器数据传输技术。该技术在提升视频数据传输率和压缩率的基础上,针对视觉传感器的高能耗问题,采用能量融合技术和能量约束方法来减少能量消耗,并采用了视觉传感器失真和功耗模型、视频数据传输模型,以及能量聚合模型进行分析。实验仿真数据结果表明：在提升视频数据的传输速率、压缩率,以及减少网络总体能量消耗上,提出的视觉传感器数据传输技术取得了较好的效果。     

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。     

物联网数据管理研究

物联网可实现物与物、人与物的智能交互,而物联网的广泛应用则要依赖有效的数据管理。文中针对物联网中数据的特点、组成和数据的流转过程,分析了物联网数据管理所面临的问题,并在对现有数据管理技术进行研究的基础上,提出了物联网环境下基于云计算平台的数据管理框架,同时指出了在此框架下应完成的功能和实现思路。