矿用5G智能终端数据交互和共享规范研究

5G技术是实现矿山智能化建设的基础,针对不同厂商之间的矿用5G智能终端与管控平台很难实现互通的问题,需要统一和规范5G系统中的数据交互和共享流程。给出了“5G+智能矿山”的部署架构,即矿用5G智能终端通过井上下5G基站、交换机和5G核心网,与包含管控平台的服务器实现数据交互和共享。介绍了矿用5G系统中传输的消息类型、消息传输格式、消息组成和消息连接方式等。针对矿山领域的具体应用场景,将矿用5G系统中的数据分成语音数据、视频数据、传感数据和控制类数据等,并给出了矿用5G智能终端在不同应用场景下传输的数据类型。分析了矿用5G智能终端及管控平台应具备的能够满足数据交互的基本传输能力,指出矿用5G智能终端与管控平台数据交互时的流程包括设备信息查询与上报、设备升级、日志采集、告警下发及处理和平台配置下发及处理等。给出了矿用5G智能终端数据共享的参与实体、安全等级和流程（包括数据的汇聚、申请、授权、提供和反馈）。通过实施标准化流程,在保证通信可靠性的同时,简化了“5G+智能矿山”系统架构下的数据交互和共享流程,以加速矿山智能化建设。     

油库多源设备数据采集和处理系统设计研究

为解决大规模成品油库异构设备的数据采集和实时处理问题,创新性地设计了一种针对成品油库的通用化、高可用性的工业实时数据采集和处理系统,以定义异构数据采集的四层架构,并规范油库设备设计的四层级编码和数据格式化处理规则。按照开放平台通信统一架构(OPC UA)标准协议,对油库多源异构设备进行数据采集和协议转换。利用消息队列遥测传输(MQTT)协议与云平台进行数据转发和传输,同步提出采集的高可用性策略,实现多源异构设备设施与平台端大规模数据的实时采集和交互。云平台端利用Kafka、Storm、MySQL和Redis实现大规模实时数据的高速处理。该系统在多座大型成品油库试点应用,实现对油库安全生产的实时数据采集、处理和预警推送,采集监控点超过5 000个,测试数据采集和处理最大时延低于1.5 s。应用结果证实了该系统的有效性。     

高能物理实验中数据传输系统的研究与实现

高能物理实验每天会产生大量的实验数据,由于高能物理实验本身的跨地域的建设特性,这些实验数据需要 传输到远程的数据和计算中心进行离线分析。如何将这些数据实时、可靠、高效地传输到远程的数据和计算中心则是 目前高能物理实验中需要解决的一个重要问题。介绍了一种高能物理环境下支持大批量数据传输的实时系统。系统 提供了与数据产生系统和数据管理系统的接口,并实现实验数据从实验现场到数据中心和计算中心的可靠传输。目 前该系统具有的功能包括:多路径源数据扫描、数据传输、数据缓冲区自动释放、传输过程管理、数据传输过程和性能 监视、传输过程日志记录等。为了解决广域网上高延迟的特性,提高网络传输效率,系统应支持多流并发传输,同时支 持数据中继服务,从而解决传输过程中由于网络或者某一传输节点失效造成的单点故障问题,提高系统自身的健壮性 和可靠性。实验表明,该系统在高能物理实验数据的传输过程中具有良好的效果。     

大数据时代之实时数据传输

在互联网企业中，日志数据是非常宝贵的，当然数据量也是巨大的，各家公司都会搭建日志处理平台。本文着眼于传输，因此对“日志处理”暂不做详述。随着百度云等移动业务的增长以及生态的逐渐完善，各种消息在不同App之间的实时分发需求也越来越大。总体来看，互联网公司的实时传输系统需具备以下几个特点：     

基于物联网的环境监控系统研究

计算机技术的发展,给物联网带来了新的挑战和机遇。由于社会发展带来了很多环境问题,因此环境监测系统的研究与实现很有必要。传感器通过终端模块与系统平台进行数据交互,终端模块通过TCP/IP协议传输温度、湿度等实时环境数据。使得系统平台可以根据获取的数据进行实时处理和反馈,在系统平台实时显示传感器、区域的环境数据,以及环境数据报表。同时可以通过系统平台连接LCD屏,将环境数据显示在LCD屏,展示给园区用户。     

基于消息系统的海量实时数据集成

在需要实时数据同步集成的需求下,传统的数据仓库定时刷新的方式无法满足需求。消息系统应用于企业系统间的事件交互,本身具有＂近实时＂、发布/订阅模式、可靠的消息传递、大容量、可随意扩容等特性,为海量数据实时同步提供保障。     

基于分布式集群架构的遥感数据传输机制

对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,采用Kafka消息队列快速存储数据包,利用代码模块使Spark Streaming精准提交消息偏移量,并通过数据传输速率与进度统计实时记录DPM运行状态信息。测试结果表明,DPM机制可精准记录与提交消息偏移量并实现数据续传功能,从而确保遥感卫星数据的准确稳定传输。     

大数据平台实时计算监控方案分析

在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件。在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动。如果出现了异常,需要定位异常出现的位置。通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行。该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确。一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地定位到产生异常数据的问题所在,从而对现有的业务逻辑进行优化,提高业务效率。     

一种面向异构系统的集成中间件平台

为解决在不同信息化阶段、由不同厂商、运用不同技术建设的异构系统间在数据互通和整合处理方面存在的问题,运用数据适配器和消息驱动技术构建面向异构系统的集成中间件平台,通过对异构数据库、报文和消息的及时采集、传输和处理,实现系统间有效的信息传递和数据共享,促进企业、政府数据管理工作的规范化和信息化。     

从CAN总线到VXI总线数据传输的实现

在VXI总线系统中,为了能够获得大量实时数据,需要利用CAN总线快速可靠地传输数据的性能．设计一种混合VXI总线和CAN总线的系统。在这种混合系统中要实现CAN总线上各个节点采集并传输实时数据．采用VXI—CAN这样一个消息基模块完成数据到VXI总线上的传输。通过这种VXI总线和CAN总线互相通讯获得实时数据的基本原理和方法．实现了实时数据的采集。这种数据传输的实现为VXI总线系统的设计拓宽了新的思路。     

CDMA 1X/GPRS无线数据传输在移动监测系统中的应用

为了提高移动监测系统中实时数据的可靠传输,以CDMA 1X为主通信网络、GPRS为备份通信网络的方式构建了双网络数据传输系统。系统在Delphi6平台下,利用CDMA和GPRS无线终端传输实时数据至接入Internet的数据中心。该双网络数据传输系统为秦山核电基地外围环境的移动监测实现了可靠稳定的实时数据传输。     

基于车辆信息的大数据分析系统设计与实现

为了充分利用日益庞大的交通卡口数据，满足公安机关信息化建设需求，设计并实现基于结构化过车数据的车辆大数据分析系统。系统以视频结构化平台提供的车辆卡口数据为基础，使用Kafka作为消息总线，Elasticsearch作为存储平台和搜索引擎，并结合Redis内存数据库及分布式的模型算法服务，实现车辆卡口数据的实时传输、入库、检索及分析。在分析中融入多种业务数据，该方法会提供更多有价值的线索。经部署和测试，系统在功能方面满足业务要求；性能方面，总体数据量达到亿级、每分钟新增数据达十万级时，UI响应和算法模块运算时间均达到秒级响应，满足性能要求，能够为公安机关提供种类丰富、结果精准、分析全面、预警及时的实战应用服务。     

分布环境下实时数据的分配算法

分布实时数据库系统中事务间进行相互通信所产生大量的消息与日志，必然要延长事务的运行时间而影响系统的性能。该文通过对分布实时数据与事务特征进行分析，提出了一种数据分配算法，把数据合理地分配到相应的节点上。能有效地减少事务间相互通信的消息数量，从而提高了系统的性能。     

IPv6组播环境中实时信息分发系统的研究

针对实时信息分发以及传输的要求,以IPv6作为消息底层主要通信平台,构建了IPv6组播环境中的实时信息分发系统,系统主要包括信源接入、分发控制以及信息分发三个部分.通过累计确认以及扩展确认相结合的方式,给出了分发客户端和分发服务器端的信息处理流程,提出了一种基于可靠数据组播传输的分发方法,并对该方法进行了性能分析,通过一个应用实例实现了可靠的、高效的、可扩展的实时信息分发服务.     

基于MQTT和ILZ4压缩法的智慧能源云平台

为了适应数据规模大、响应要求快的智慧能源场景,提出了一种基于消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)消息传输和(Improved Lempel-Ziv4,ILZ4)压缩法的智慧能源云平台。在物联网与云平台之间的数据通信中引入了MQTT协议,设计了基于MQTT协议的消息队列架构和消息流的上传/下载过程,利用引入的ILZ4压缩法可集成到信息存储和消息传输任务中,实现大规模监测信息流的实时压缩和传输。300万个监测数据点作为云服务器的测试数据流进行实验,实验结果表明,所提方法在吞吐量和压缩比性能上更优,从而可快速降低大规模数据的存储成本和传输开销,同时,所提平台为智慧能源应用提供一种良好、通用和可扩展的解决方案。     

一个基于P2P高性能计算的高效数据传输协议

针对基于对等网络的高性能计算平台P2HP，设计了一个高效的数据传输协议FDTP.FDTP是一个基于连接的数据管道传输协议，其网络传输通道包括传输控制消息的消息信道和传输任务数据的数据信道．它将数据传输过程分为构建通道、数据传输、关闭通道3步，定义了数据请求方式和数据传输格式，并对传输过程中的数据通道进行管理和容错控制．FDTP通过简化传输控制和减少通信次数来降低通信延迟，进而提高数据传输效率，并最终提高P2HP的运行效率．     

移动终端的设施农业物联网环境监控系统设计

通过使用物联网(IOT)传输协议—消息队列遥测传输(MQTT)协议,将前端硬件、服务器端及移动端连接在一起,完成对设施农业环境的远程实时监控.在系统中,前端硬件以STM32微处理器为核心,由传感器模块、设备控制模块、GPRS模块和电源模块组成,实现数据的采集和传输;服务器端有数据接收、存储、分析的能力,并担任MQTT消息协议中消息生产者和消息管理者的角色;移动终端软件则以Android操作系统为基础开发了应用软件,用户在装有Android系统的移动终端上安装该应用软件,即可查看实时环境情况,发送控制设备指令等.经过测试,整个系统运行稳定、使用简单、实时性高,用户能有效地对设施农业环境进行远程实时监控.     

基于流计算的电力调度网络流量监测平台

由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景.     

一种可视化数据录取系统设计

针对某装备的数据记录分析设备的现状及用户需求,基于嵌入式Linux操作系统和MiniGUI图形用户支撑平台,采用$3C2440为主处理器,XC2V250为协处理器,设计了一个可视化的数据录取系统,实现了数据的自动存储、实时分析与显示、以及远程传输与控制.该方案设计新颖,接口功能可灵活配置,具有一定的通用性,对于此类系统的设计具有一定的借鉴意义.     

工程结构网格远程实验遥现系统设计

工程结构网格远程实验遥现系统负责将数采设备中得到的实时数据高效、无缝地传输至客户端。在工程结构网格体系结构的基础上,提出了ILBS(indexed linklist buffer storage)数据流缓冲器,作为实验遥现系统实时数据的缓冲存储结构,并采用Hessian协议作为异构平台间进行高效通讯的解决方案。对遥现系统的特点及其实现的关键技术作了深入探讨,提高了实验数据遥现的实时性和可靠性。