微服务架构磁带库存储系统设计与实现

建立具有磁带存储层的HDFS分级存储系统是完善高能物理领域Hadoop生态系统的重要部分，但高能物理领域传统的磁带存储管理系统（如Castor、CTA）上层不支持HDFS磁盘存储，并且随着高能物理数据量的急剧增长、互联网技术的不断发展和用户需求的迅猛变化，传统的磁带存储管理系统逐渐呈现出系统扩展、负载均衡、开发和运维成本上升等方面的问题。设计开发了基于微服务架构的磁带存储管理系统。该系统向上支持HDFS磁盘存储，将磁带库资源管理、文件传输、磁带读写等功能以微服务的形式分布到各个服务实例中，达到分散服务压力的目的，并且系统针对传统负载算法效率不佳的问题，实现了基于服务器响应指数的负载均衡算法，通过根据自定义参数计算得到的服务器响应指数对其进行排序，保证将用户请求调度到响应指数最高的服务器进行处理。实验结果表明，磁带库存储系统满足HDFS文件分级存储磁带层管理的需求，提出的基于服务器响应指数的负载均衡算法相较于轮询算法，系统归档性能高出6%以上，提取性能高出64%以上；相较于随机算法，系统归档性能高出9%以上，提取性能高出64%以上，最终实现的磁带库存储系统表明，与传统的系统相比，微服务体...     

基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

基于云计算的水电站数据安全存储系统

水电站的众多项目会生成海量信息，为保证数据存储安全，减少存储空间，提出基于云计算的水电站数据安全存储系统。设置云计算星形节点拓扑结构，结合处理器性能、任务规模等因素建立云计算负载模型，保证云端负载均衡；将系统整体架构分为视图层、控制层、接口层与云端层；设计系统的数据加密、安全访问与云灾备三大功能模块，利用初始密钥对数据加密，获取属性集合，完成密文异或计算，建立基于阈值的安全访问结构，实现水电站数据安全存储。实验结果表明系统存取延时小，可去除重复数据，大量节省存储空间。     

虚拟现实环境下的分布式服务器架构策略研究

虚拟现实环境下,数据实时性和系统稳定性的高要求对服务器架构的设计和优化提出了新的挑战。针对虚拟现实环境下海量数据存储效率的提升和系统性能的优化,提出了一种新的分布式服务器架构,该架构基于分布式协调框架ZooKeeper、分布式缓存架构Redis以及MongoDB分片机制,并改进一致性Hash算法来优化Redis缓存架构,同时优化MongoDB分片的负载均衡机制。经过相应的仿真验证,该架构在虚拟现实环境下具有有效性。     

基于连续式录像机存储的应用层组播系统设计

针对应用层组播系统采用网络硬盘录像机存储模式存在流媒体转发服务器负载较重、传输效率低的问题,提出了基于连续式录像机存储的应用层组播系统设计方案。对于不需要预览的视频通道,利用存储服务器直接从前端编码源获取视频数据,在保证编码源和接收端是单份视频数据的前提下,有效地缓解了流媒体转发服务器的负载,从而保证了矿区视频监控系统的正常运行。现场实际应用验证了该系统的有效性。     

基于B/S架构的电力工程建设项目管理系统

针对常规的电力工程建设项目管理系统内部数据的增加与数据的处理呈现了负相关的变化趋势,导致管理系统的运行内存消耗较大,抗压能力较弱,适应性较低的问题,设计基于B/S架构的电力工程建设项目管理系统。使用高速串口IP作为通信模块的核心,定义用户端接口信号,实现数据的高速传输。基于B/S架构,设计管理系统多层结构,将各项业务分层封装。设计管理数据分布式处理模式,将其搭载到系统架构上实现项目管理。测试结果表明所提项目管理系统的运行内存消耗在20%以下,能够有效增强抗压能力,确保运行稳定,提高抗压能力。     

LBA：轻量级区块链架构

针对现有区块链架构在面临垂直结构型的轻量级应用时存在着结构冗余、性能不足的缺点,提出一种轻量级区块链架构(lightweight blockchain architecture,LBA).在数据层,提出按行存储机制提高数据读写效率,并增加基于MongoDB的存储方式,支持海量数据的线下隔离存储.在共识层,设计分层共识机制,将节点按事务粒度划分为决策层和执行层,减少参与共识的节点数量,提升共识效率.在网络层,提出分布式结构化网络模型,提高网络中数据的广播效率.在应用层,设计自定义事务接口,支持不同场景下的区块链系统功能定制,采用自定义的有限状态机取代图灵机,提高智能合约的可控性和降低复杂度.实验仿真结果表明,LBA架构能有效提高区块链系统中的数据存储效率、网络通信和共识效率,适用于区块链的轻量级中小型应用.     

存储过程在教务管理系统中的应用研究

以四川民族学院教务管理系统为例,针对此系统存在运行效率不高的问题,提出了利用存储过程提高在查询、修改、插入、用户登录等操作中系统运行效率的解决的方案,实践表明存储过程在此教务管理系统的应用中能有效的提高系统的运行效率。     

Oracle RAC双通道在气象数据库中的应用研究

气象数据在民用航空、农业生产、城市气象等领域中的应用日益重要,随着气象事业的迅猛发展,新的观测手段不断涌现,产生了海量的气象数据。现在采用的双机热备架构的双主机模式面临系统效率低、无法实现负载均衡等问题。针对目前传统气象数据库系统在数据吞吐量、高可用性等方面存在的问题,文中介绍了一种基于Oracle RAC双通道技术的系统框架,并在典型应用场景下对系统性能进行测试分析。测试结果表明,该方案利用负载均衡技术提高了海量数据的查询及存储速度,有效提高了系统效率,并实现了故障情况下的无缝对接。     

基于SpringBoot框架的钻前管理系统的设计与实现

为了提升钻前工作的质量与效率,需要优化管理方式与管理系统,基于此设计并实现了一个基于SpringBoot框架的钻前管理系统。该系统采用3层构架开发,分别为数据存储层、业务逻辑层和表示层。在钻前管理效率优化方面,采用关键路径算法,优化钻前管理的业务流程,缩短工作周期,提高业务管理效率。经过实际的运行和测试,该系统满足了钻前智能化管理工作的要求,并有效解决了用户的痛点。     

Oracle RAC双通道在气象数据库中的应用研究

气象数据在民用航空、农业生产、城市气象等领域中的应用日益重要,随着气象事业的迅猛发展,新的观测手段不断涌现,产生了海量的气象数据.现在采用的双机热备架构的双主机模式面临系统效率低、无法实现负载均衡等问题.针对目前传统气象数据库系统在数据吞吐量、高可用性等方面存在的问题,文中介绍了一种基于Oracle RAC双通道技术的系统框架,并在典型应用场景下对系统性能进行测试分析.测试结果表明,该方案利用负载均衡技术提高了海量数据的查询及存储速度,有效提高了系统效率,并实现了故障情况下的无缝对接.     

整合存储服务器功能——HP ProLiant融合NAS和SAN

当前,企业对于数据存储的需求和复杂性在迅速增加,但预算却在不断紧缩,使用当前的存储架构很难提供环境所需的服务级别。同时,由于管理设备和直连存储设备分遍于基础设施架构上,因而存储变得比以往更加复杂。例如,某外企的存储分析系统,有多种不同应用系统,其中包含了基于Unix、Linux和Windows平台的双机系统和数据分析系统。用户需要确保该存储系统中数据的实时性、高可用性和高可靠性;实现系统中Unix、Linux和Windows之间数据的共享;可实现对该系统中多台服务器和工作站的数据的集中存储管理。实现Windows系统分析工作站能够共享使用U…     

基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。     

VXMLR系统存储模式的自适应调整

XML管理系统的查询处理效率很大程度上取决于系统中XML数据的存储模式．在用户查询已知或可预测的情况下，根据用户查询设计存储模式可以改善系统的查询处理效率．该文介绍VXMLR系统存储模式的自适应调整机制，根据历史查询信息，VXMLR系统对其存储模式进行自适应调整，从而提高查询处理效率，其基本思路是：首先根据历史查询，推导出适当的映射规则，得到XML文档在关系数据库中的存储模式；然后，在给定的空间约束下，根据历史查询使用背包问题求解算法选择关系表进行垂直分割或冗余存储相关数据，使查询所访问的无关数据尽可能少,VXMLR系统提供四种存储模式调整策略，其中两种策略可以实现自适应的存储模式调整，实验结果表明文中提出的方法是有效的。     

基于消息的三层架构在监管系统中的应用

针对在车辆地面效应模拟装置运行过程中的实时监控问题,在分析了传统监控管理系统设计所存在的问题后,提出了采用基于消息的三层架构的软件设计模式的车辆地面效应模拟装置监控管理系统;该系统采用三层架构设计,以消息的模式完成了层间的访问,实现了对车辆地面效应模拟装置实时监控与数据记录;应用结果表明,基于消息的三层架构能很好地指导车辆地面效应模拟装置监控管理系统的开发,解决了软件开发中耦合的问题,提高了软件的灵活性与可维护性.     

一个SNP进程中多个存储过程的设计与实现

阐述了Oracle8作业队列的工作原理，并介绍了Oracle8数据库调度作业的方法。针对由于移动通信网络管理系统中数据量大且数据来源复杂而造成的数据库作业调度难于管理和Oracle中SNP进程资源有限的问题，分析了网管系统中采集数据的特点，提出了在一个SNP进程中运行多个存储过程的设计方案，使数据库中的作业调度更加系统、有序，有效地提高了系统的运行效率。     

基于代码下移的分布式软件框架

在通用3层结构框架的基础上，利用公共语言运行时，设计并实现一种分布式软件框架。该框架将业务逻辑层中的部分代码下移，并在数据层中增加存储过程调用子层，从而降低网络数据传输量，提高分布式环境下软件的运行效率。以某大型制造企业工时定额系统中的分工表展开模块为例，详述该框架的构建过程，验证了该框架在提高软件整体运行效率方面具有普遍适应性。     

基于ASP.NET技术的学生工作管理系统设计

为了方便高校学生工作者的日常工作,实现高校管理工作的无纸办公,提高学生信息处理的效率和准确度,在深入进行需求分析基础上,基于ASP.NET技术,设计开发了学生工作管理系统。该系统的设计开发基于B/S模式,采用三层架构,运用AJAX技术、.NET平台,完全使用T-SQL存储过程操作数据。     

基于大数据的医院电子档案归档管理系统研究

在大数据背景下,医院纸质档案逐渐变成电子档案,但当前电子档案管理具有安全性不足,存储结构选择不合理的问题,基于以上背景本文设计了一种新的医院电子档案归档管理系统.系统架构选择B/S架构,其中服务器端通过SpringMVC框架开发,客户端选用JSP脚本语言.经预处理后对档案中的文字信息与字符信息进行提取.通过在医院电子档...     

大规模文件上传接收服务的负载均衡引擎研究

针对大规模网络环境下的文件上传接收服务系统的需求,设计了一个集群架构的文件接收服务系统,采用多台接收服务器来实现文件接收服务,提高了系统的稳定性和可用性。根据文件传输的特点,综合考虑文件流量负载情况和服务器当前负载情况,提出了一个综合负载统计的负载均衡算法,测试结果表明基于该算法的文件接收集群系统具有较好的负载均衡效果。设计并实现了文件上传接收服务系统的负载均衡引擎,解决了系统的负载失衡问题,提高了系统的运行效率。