大规模运行试验监控系统研制

新型设备的研制需要开展整机的运行测试试验,用于设备的指标考核;监控系统作为运行试验系统中的重要组成部分,对于获取宝贵数据,保障设备的长期稳定运行起到至关重要的作用;对于上万点规模的监控系统而言,除了系统检测控制功能的实现外,系统的准确度、响应速度、稳定性是研制的关键点;文章针对某设备的大规模运行试验监控系统的研制情况,围绕总体架构、软硬件设计、数据接口设计、数据分析及存储设计、人机交互等核心问题进行了阐述;该监控系统基于Rockwell自动化产品研制,上层管理层采用CS架构设计,现场站控制层由工控一体机和PLC组成,底层设备层由各检测装置、仪表、执行部件组成;监控系统数据刷新周期1 s,存储周期3 s,报警响应时间低于2 s;研制的监控系统长期运行准确、稳定、可靠。     

大规模容器云平台海量软件数据资源实时监控方法

为提高容器云资源监控效果,设计一种大规模容器云平台海量数据资源实时监控方法。首先采集容器云资源数据,对海量软件数据资源进行格式变换,将数据转换成有监督问题的时间序列,再采用统计模型的方式对每个数据资源进行建模和匹配,并对各部分软件数据资源进行分割,最后采用序列化蒙特卡洛方法对云平台海量软件数据资源实时监控。实验结果表明,设计方法能够准确监测出容器云中软件数据资源集群变化情况,在各个项目的监测上,监控准确率均在95%以上,监测速度较快,最多花费9 s就能够实现软件数据资源变化情况的监控,证明所提出方法能够有效提高容器云海量软件数据资源的监控效果。     

ADO.NET数据并发处理技术研究

数据集作为ADO.NET对象模型的标志,作为一个不连接的数据源的副本提供服务.虽然使用数据集通过减少对数据库服务器的高花费的访问而提高了性能,但是它也带来了多个用户试图同时访问相同数据的可能性.现在,ADO.NET通过"开放式并发"的方法灵活地解决了该问题.本文说明了该方法的工作原理以及如何使应用程序在具有高度可伸缩性的环境中变得更加健壮.     

大规模时序图数据的查询处理与挖掘技术综述

时序图作为一种带有时间维度的图结构,在图数据的查询处理与挖掘工作中扮演着越来越重要的角色.与传统的静态图不同,时序图的结构会随时间序列发生改变,即时序图的边由时间激活.而且由于时序图上每条边都有记录时间的标签,所以时序图包含的信息量相较于静态图也更为庞大,这使得现有的数据查询处理方法不能很好地应用于时序图中.因此如何解决时序图上的数据查询处理与挖掘问题得到研究者们的关注.对现有的时序图上的查询处理与挖掘方法进行了综述,详细介绍了时序图的应用背景和基本定义,梳理了现有的时序图模型,并从图查询处理方法、图挖掘方法和时序图管理系统3个方面对时序图上现有的工作进行了详细的介绍和分析.最后对时序图上可能的研究方向进行了展望,为相关研究提供参考.     

大规模存储系统可靠性参数最优化分析

在大规模存储系统中,数据的可靠性越来越受到人们的关注。已有的研究分析了在系统规模已知的条件下,某些系统参数,如副本分布策略、存储对象数目等,对可靠性的粗略影响,但较少提及它们的最优值或者最优组合。提出了一种基于对象粒度恢复的可靠性新模型;基于该模型,在分析三种主流的副本分布策略的基础上,分别计算出了各个系统参数的独立最优值及其组合最优值。与已有模型相比,该模型更易于求解,且获得了更加综合实用的最优值,这些最优参数值能直接有效地指导系统设计者构建更可靠的大规模存储系统。     

移动数据库中数据更新与广播的并发控制

移动数据库系统中数据更新与数据广播并发处理,导致移动客户读取的数据可能不一致,本文分析了在移动数据库中数据更新与数据广播并发处理中可能出现的三类数据冲突,并提出了基于UFBL0原则的并发控制策略来解决上述的问题。该策略具有较好的独立性,对服务器和移动客户机的影响都较小,并且可以较大限度地提高广播给用户的数据项当前性。     

高校一卡通数据监控平台建设与研究

高校一卡通是智慧校园建设工程的重要组成部分。一卡通集成了高校学生的信息服务、身份识别、金融服务、消费信息等重要数据。如何对一卡通数据监控是高校后勤部门进行科学化管理关注的重点。本文对高校一卡通数据监控平台进行研究,利用移动互联网技术实现对一卡通金融消费数据、身份识别数据、图书借阅数据进行实时监控和管理,为后勤部门日常管理提供数据支撑。一卡通数据监控平台利用Storm实时流处理计算框架对数据进行实时监控等。利用该平台能够有效提高后勤管理部门日常管理工作,同时作为数据共享中心为其他部门提供数据源。     

单片机在大规模数据处理中的应用

单片微机不仅广泛应用在工业自动控制中,在大规模数据处理上也有其不可估量的优点.本文介绍的这种医疗药剂咨询分析系统,即是一种用单片机进行大批量数据处理的例子.     

充电设施监控系统中的数据并发控制研究

针对充电设施监控系统在大并发数据处理上的难点,提出基于M/M/c排队论模型的数据并发控制算法。对数据帧在监控系统中的传输过程进行分析,确定解决通信服务器中数据传输的实时性和并发性问题是提高监控系统性能的关键。根据随机过程理论得到充电机数据帧进入通信服务器的过程服从泊松分布的结论,利用排队论建立并发控制算法的数学模型,采用多线程和多队列技术实现数据并发处理算法。根据性能指标,对损失代价和最优网关数量的关系进行定量分析,得到求解最优网关数量的优化方法。将并发处理算法应用到大型充电站中进行分析实验,结果表明,该算法不仅能够满足数据帧传输的实时性和并发性需求,且证明了网关优化方法可准确推导出最优网关的数量。     

基于并发工作流的财务监管数据汇聚模型

企业集团的财务数据通过Internet跨越多个大行政区,集团内的财务软件和数据系统具有异构特性。为有效汇集集团的财务监管数据,以并发工作流为基础,提出财务监管数据汇集模型。利用基本财务数据,构造树形工作流,使用财务数据汇总服务器树,构建多级数据汇集机制,通过树形工作流和多级数据汇集机制实现该模型。分析和实验结果表明,该模型具有良好汇集效率和近线性的可扩展性,满足了企业集团的信息化建设需要。     

基于数据处理相关技术的军事信息中心构建

战略信息的获取、处理和存储在现代战争中越发重要,文章借鉴国外的发展状况,针对构建我军自己的信息中心提出了思想和基本架构。其中涉及了诸如存储局域网、数据挖掘和数据融合等多项最前沿技术的发展,为我军的信息化建设提出了新的思路。     

数据处理中心云服务综合架构的研究与应用

分析云计算研究和应用的现状,阐述了综合型项目中基于云服务架构建设数据处理中心的典型模式,采用了理论分析和实践设计的方法,重点研究并提出了数据处理中心的云服务综合架构,包括云计算平台、资源管理、架构管理、计算资源部署和云存储数据仓库,在建设成本、移植风险和业务性能方面分析了云架构的基础优势,并展望了云架构发展前景。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

IPv6校园数据中心环境监测系统研究

随着高校信息化技术的发展,传统数据中心的运维模式已不能满足现代需求,智能化数据中心环境监控平台的建设已成为迫切需求;而且现阶段的数据采集终端多基于51单片机、STM32单片机等平台,在一定程度上终端不具有智能化,故该系统平台采用树莓派对数据中心环境进行监测采集。同时随着接入互联网终端越来越多,IPv4地址资源池已经匮乏,采用IPv6组网技术对数据中心环境进行监测,不仅能有效地解决IPv4地址资源不足的问题,而且结合树莓派丰富的接口功能,扩展了环境监测的平台功能多样性。     

基于数据流的桥梁健康监测海量数据处理

采用数据流的滑动窗口技术,建立了一种基于数据流滑动窗口的桥梁健康监测系统数据处理及存储模型,进行了基于数据流的桥梁健康监测数据处理的研究.桥梁健康监测是对桥梁结构进行实时监控和结构状态的智能化评估.这对确保桥梁的运营安全及早发现桥梁病害,对延长桥梁的使用寿命起着积极的作用.基于数据流的滑动窗口技术,对传感器采集的数据进...     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的keyvalue中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.     

基于传输时延预测的多路径并发传输数据分配算法

针对多路径并发传输模型的整体性能在路径性能存在差异时会急剧下降的原因进行分析,给出了获取通信路径传输时延的有效评估方案,并在此基础上提出了一种基于传输时延预测的多路径并发传输数据分配算法.该算法通过获取和预测数据块在各条路径上引入的传输时延,以按序到达为目标对多路径并发传输模型发送回合内和发送回合间的数据分配过程进行优化,能够有效地减少路径传输性能差异对多路径并发传输模型整体性能带来的影响.分析和实验结果表明,该算法相对于默认的轮询数据分配算法能够取得较好的运行性能.     

GPRS DTU数据中心的通信设计

介绍了基于GPRS网络的电力监控系统结构.并根据GPRS DTU的特点,结合网络编程的知识,在VC 6.0平台上实现了GPRS DTU的数据中心的通信功能.