基于分布式内存数据的数据同步设计与实现

在变电站综合自动化系统中,需要对遥测、脉冲、遥信等实时数据进行处理,由于电力系统对这些数据的存取具有较高的实时性,因此监控系统通常会采用实时数据库进行数据的存储管理。随着监控系统需要处理数据单元的增加和机器节点数的增长,监控系统普遍采用分布式内存数据库进行实时数据的存储。分布式内存数据库的一个重要问题就是如何实现多个机器节点之间的数据更新同步,提出了利用多播和TCP实现快速有效的数据同步方式,支持灵活的组网方式,并设计了一套稳定可靠的数据传输机制,使得分布式内存数据库的各个节点的数据保持良好的一致性。     

基于Solr的分布式实时搜索模型研究与实现

实时搜索已成为信息检索领域的热点问题之一。传统搜索引擎在分布式环境下无法保证大数据量、高并发情况下的实时响应和数据容灾。本文提出了一种基于Solr的分布式实时搜索模型,分析了其实现原理。模型通过内存索引与磁盘索引相结合保证索引信息的实时展示,同时引入CommitLog日志保证内存索引数据容灾,并通过Master/Slave模型保证搜索服务的可用性。最终应用于实际生产系统中,实践结果充分证明了该模型的可行性。     

电网GIS平台内存集群数据分区策略

电网GIS平台通过构建内存集群来保障数据访问和计算的实时性。其内存集群根据空间数据、台账数据和配置数据的不同特点进行数据分区。主体采用网格化的方式划分数据,适当采用冗余存储来提高数据的读取效率,支持增加集群节点数来扩容。     

智能电表大数据管理、分析和可视化方法研究

随着电网建设规模的不断扩大,以及电网智能化的不断推进,智能电表正大量应用于各级电网,其产生的能耗大数据为电网数据管理带来了较大压力。为此,从智能电表数据的时间、用电设备类型、用电户名三个数据维度出发,构建了一套分布式数据文件存储系统,针对数据特征提出了一种数据查询模型,基于开源数据库中的电力大数据,对一百万个智能电表的大数据进行了的可视化,最后对比了内存和磁盘两种数据存取方式的数据查询时延、数据传输速度。研究结果表明所提出的方法可有效实现智能电表大数据的查询、可视化,对比结果表明相比磁盘,内存具有更好的数据存取性能。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

基于大数据Hadoop技术对电网客户违约情况的分析和预测

随着智能电网的发展,电网公司的各类业务应用产生了海量的数据,基于Hadoop的大数据处理技术是以分布式文件系统为基础的大规模并行数据处理平台,它能充分利用硬件集群的资源,进行并行计算和内存流计算,大大提高了数据运算分析的效率,全面支撑电网公司如客户欠费风险预测等对海量准实时数据处理分析的需求。     

基于WiFi数据的实时高效定位分析系统设计

近年来很多室内定位技术被提出,但是大多数技术都是重点研究怎样提高定位精准度,却忽略了系统处理海量数据的稳定性、实时性和高效性。特别是在机场高峰时段和大面积航班延误情况下,大量旅客聚集在航站楼产生了海量WiFi数据,导致传统的数据处理架构出现处理数据不及时、统计实时性差、稳定性差的问题。针对该问题设计一种高吞吐、低延迟的分布式实时数据处理架构。该架构使用消息中间件、实时流数据处理、内存并行计算和分布式数据库读写技术,实现了大客流环境下处理海量实时WiFi数据的分布式定位分析系统。通过使用模拟数据和实时数据进行多组实验测试,验证了系统在保持定位算法准确性的情况下,仍然具有稳定、实时、高效的定位分析能力。     

基于大数据框架的智能电网分析和可视化应用

大数据技术的进步和智能电表的推广,使得智能电网的大量数据能够进行聚合和分析,然而传统的智能电网数据管理系统无法扩展并提供足够的存储和处理能力。为了解决该问题,本文提出了一种基于Lambda架构的智能电网大数据分析系统? 并采用云计算平台进行实现,该系统能够存储各种类型的智能电网数据,可对分布式数据进行并行批处理和实时操作, 为了测试所提出的大数据分析系统的性能,对含360个居民用户的电网数据进行了数据分析和可视化,系统程序在智能电网上的应用结果表明,该大数据系统利用Lambda架构成功克服了智能电网大数据框架的延迟问题,实现了负荷分组和实时可视化。     

时敏目标预警系统分布式数据库架构的实现

针对分布式时敏目标预警系统需要提高预警信息处理速度和信息挖掘能力的要求,分析研究了内存数据库TimesTen与磁盘数据库Oracle之间的无缝连接技术、TimesTen与TimesTen之间的复制技术及Oracle流复制技术,并建立了预警信息系统的分布式数据库服务架构,分析试验了其技术可行性。结果表明,基于内存数据库构建的分布式数据库架构可以实现应用程序访问数据库的高速率和时敏数据的实时同步,同时还可以使用Oracle的流复制技术完成非时敏数据的准实时同步,符合预警系统高实时性、高可靠性的应用需求。     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

基于Windows平台的分布式实时仿真系统

通过介绍基于Windows的实时扩展子系统RTX,提出了解决Windows下分布式仿真的两种方案:基于RTX的反射内存网分布式仿真和基于以太网的令牌环分布式仿真架构。并比较了两种架构与传统Windows方案在实时性能上的差别。两种方案在满足分布式仿真系统实时性要求的基础上,能为不同要求的仿真提供灵活可靠的选择。     

内存数据库及其在实时计费系统中的应用

内存数据从传统的磁盘数据库发展而来,把整个数据表存放到内存中,极大地提高了数据库系统的处理能力,非常适合于移动通信的实时计费系统。本文通过综述内存数据库技术特点,针对移动通信实时计费的要求,将内存数据库技术应用于实时计费系统,阐述了实时计费系统的应用模型、内存数据库的系统结构及功能要求。     

基于模糊推理的CIM模型拓扑实时规约与修正系统

针对现有电网拓扑CIM结构与实时数据间对应关系存在偏差,数据与实时电网拓扑合并后存在错误,以致得到的电网数据信息与真实电网不符,无法对电网作出正确的判断与决策等问题,对实时数据之间的关系进行了深入分析并开发了应用系统。基于电网拓扑实时数据自身特点及关联关系,提出了使用模糊推理方法进行分析,以得到更为接近真实电网状态的数据来源,便于对电网作出正确的判断与决策。通过使用大量电网实时数据进行测试,证明了系统有效性。     

分布式实时数据库在输变电系统中的应用

本论文主要对分布式实时数据在输变电系统中各项事务管理和数据汇总处理等应用进行阐述.首先介绍了分布式实时数据库及其特点,接着,详细介绍了分布式实时数据库在输变电系统中的应用.分布式实时数据库的建立可以实现对国网山西省电力公司检修公司所有事务的处理和对所运营的各地区的变电站实时数据进行汇总和处理,同时为智能变电站网络管理系统的建立提供知识库数据和专家经验.为变电站的联网运行奠定基础.     

内存数据库的数据组织结构分析

近年来,电信和金融领域的主要应用已经变成数据密集型应用,数据库系统在其中扮演了关键角色。但传统的基于磁盘的关系数据库系统无法满足上述应用高性能、实时/近实时数据访问的要求,内存数据库系统能很好满足各种应用系统的实时数据管理需求。文章介绍适合内存数据库的几种记录数据组织方法以及内存数据库的几种索引结构。     

基于大数据平台的教学资源共享系统访问量实时统计

在大数据时代数据呈现几何级的数量增长,传统单机服务器架构的教学资源共享系统已经不能存储处理大量的数据,需要建设大数据平台进行存储处理.基于大数据平台的教学资源共享系统是在教育信息化方面构建教学资源共享系统,其存储容量大,处理数据计算量大.用户在访问教学资源时,对其访问的教学资源数据进行实时访问量统计,应构建大数据平台,利用Hadoop的分布式文件存储并通过Spark的内存计算实现教学资源实时访问统计.然后用数据可视化技术将用户访问统计结果显示出来,以便查看用户对教学资源的使用情况,对后续教学资源建设提供依据.     

一种多存储引擎Key-Value分布式内存数据库的研究与实现

可持久化的分布式内存数据库不仅可以解决内存容量的水平扩展,还可以将历史数据可持久化,这样既可达到内存高速读写性能,也满足了数据海量存储的要求。本文根据中国移动电子渠道的业务特性,在业界目前流行的分布式数据库中上做了不少调查和研究,提出了一种可挂接多存储引擎的分布式内存数据库。     

垃圾收集器实时化的研究

用垃圾收集器进行动态内存管理对大规模软件系统的开发具有重要意义,为把垃圾收集器应用到嵌入式实时系统中,对垃圾收集器实时化进行了研究,提出了动态执行垃圾收集器任务以及用最短时限优先(EDF)算法调度垃圾收集器的算法,仿真实验和内存分析表明,与以往的实时垃圾收集器相比,所提出的算法可以进一步降低系统内存需求,提高系统的灵活性,并对分布式垃圾收集器进行了研究,性能分析表明基于关键引用验证的分布式垃圾收集器更适用于大规模分布式系统.     

基于RTX的实时数据库系统关键技术研究

针对半实物仿真实时数据管理需求和传统实时数据库的不足,基于windows+RTX构架设计了一种新型实时数据库系统。实时数据库系统由RTX下的内存数据库和Windows下的外存数据库组成,结合了RTX实时系统的高精度实时性能与关系型数据库SQL Server数据存储安全性能。采用RTX内存锁定技术,避免了因内存块被windows置换所引起的数据丢帧。采用高精度定时采集技术,克服了因windows定时不准所导致的数据误码。采用IPC数据传递技术,实现了将高速度大容量实时数据刷新到windows下的外存数据库的存储任务。测试结果表明,普通数据采集频率可达2 000 Hz,图像数据采集速率可达60 MB/s,并且没有丢帧现象发生。     

内存映射技术在大数据存储应用中的研究

针对无线网络技术研究中对大数据实时存储和国产化需求,在Qt平台下利用内存映射技术,设计实现了一种针对大数据的实时存储方案,可实现对无线网络中频采样数据和解调解码数据的实时存储。并通过设计有效的索引机制,极大的提高了后续离线数据分析时的数据搜索效率。最后通过测试代码对该内存映射文件存储技术进行了实验验证。