共查询到20条相似文献,搜索用时 437 毫秒
1.
2.
为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略(MCSB).在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能. 相似文献
3.
为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略(MCSB).在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能. 相似文献
4.
胚胎仿生硬件技术为高可靠性大规模集成电路系统设计提供了一种新思路.在确定规模的总线胚胎电子细胞阵列中,为兼顾阵列的硬件资源消耗和可靠性,本文提出了一种阵列内空闲细胞数目的优选方法.基于多态系统可靠性理论,利用通用生成函数建立阵列的可靠性模型.以阵列MOS(Metal Oxide Semiconductor)管消耗数目为硬件资源消耗衡量指标,建立阵列的硬件资源消耗模型.基于阵列的可靠性和硬件资源消耗模型,在一定设计约束条件下,对阵列内空闲细胞数目进行优选.仿真实验和分析表明,该方法能够根据阵列设计要求选择最合适的阵列内空闲细胞数目,同时,解决了胚胎电子细胞阵列中空闲细胞数目选择依靠经验的问题. 相似文献
5.
基于闪存的高速大容量存储系统设计 总被引:1,自引:0,他引:1
介绍一种基于Flash和FPGA的高速大容量数据存储系统的组成机制和实现方法,并且给出了系统的硬件结构及软件设计流程.在分析了Flash结构和特点的基础上引用并行总线和多级流水技术实现了高速存储,采用ECC数据校验和自动屏蔽闪存坏块的方法提高了数据存储及回放的可靠性.实验结果表明,该存储系统工作稳定,存储速度高、容量大、可靠性好. 相似文献
6.
针对云计算的服务模式屏蔽了云租户的物理硬件视图,不可信的云服务提供商(cloud service provider,CSP)可能利用廉价的硬盘资源通过虚拟化技术,违背服务等级协议约定(service level agreement,SLA)按物理内存定价标准为云租户提供服务这一问题,为了审计CSP提供内存服务的SLA合约性,提出了由Xen层到物理硬件层的内存轻量级测量的SLA合约性审计方案.同时引入可信启动机制和HyperSentry用于保证审计系统的可信启动和完整性运行,提出了带云租户签名机制的Diffie-Hellman密钥交换协议支持策略安全和可信告警.实验结果表明,在虚拟机运行环境下该方法能高效地进行内存SLA合约性审计,同时具有较高的云租户自定义策略扩展性和较低的性能开销. 相似文献
7.
一种基于OSEK规范的轻量级任务管理机制 总被引:1,自引:0,他引:1
根据OSEK/VDX车载操作系统规范,设计了一种车载任务管理机制,以适应现有车载电控单元硬件资源有限的问题。该机制优化了车载任务管理机制的信息存储结构,重新设计了基于中断的分组任务调度机制和事件处理机制。并通过性能分析及与其他车载任务管理机制的比较分析,证明了该机制能在车载应用领域以较低的内存开销,提高了车载任务调度管理效率。此外,该机制还能在不增加硬件成本的前提下,应用于现有的车载电控单元,故具有一定的实用价值。 相似文献
8.
容忍入侵的Web服务器系统设计 总被引:3,自引:0,他引:3
文中提出一种可为 Web 服务器提供容忍入侵能力的开放式结构,通过自适应重配置、冗余和多样性技术,该系统可以容忍已知的漏洞,也可以容忍未知的漏洞。在检测出攻击之后,系统使用服务器自适应技术和请求过滤机制为用户提供持续的 Web 服务。 相似文献
9.
李伟亭 《信息技术与信息化》2015,(3):205-206
近年来,随着基础设施要通过网络对外进行提供服务,更好的为用户构建属于他们的系统和应用,于是便要求平台的可靠性是至关重要的,面对这个问题,便需要将监控系统这一项技术引入到云计算平台上,从而实现对云端的物理资源及服务资源,硬件资源和软件资源进行监控,保证正常运行。经过分析研究,在现有的云平台上通过集成开源软件技术设计了云环境监控系统。该系统主要通过性能监控和故障监控方面对云平台进行监控。性能及故障监控的技术运用共同构成云环境监控体系,从而使管理者能够实时了解掌握云平台的运行情况,并且及时处理突发状况,进而给用户提供更好的服务体验。 相似文献
10.
11.
随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性. 相似文献
12.
13.
对当前物联网技术及工业设备数据信息采集方式进行调查和分析.本系统采用滤波理论和算法,将所需采集的模拟信号转换为数字信号.使用STM8L系列单片机结合LoRa无线技术,实现数据低功耗、远距离的传输,同时在终端将数据实时存储到SD卡中,实现数据远程、连续、有序地采集.在数据传输方面设计了一套高效安全的数据传输协议,检测数据传输中的错误,保证通信系统的安全性.该系统有效实现低功耗远程A/D数据采集,通过高效安全的数据传输协议提高系统的可靠性,同时对采集数据进行实时存储,全面提高系统的性能. 相似文献
14.
入侵容忍技术是继防火墙、存取控制、入侵检测技术之后的网络信息安全技术。当一个网络系统遭受非法入侵后,入侵容忍系统仍能厦时自我诊断、恢复和重构,并能为合法用户提供所需的全部或者降级的服务。本文依据非确定性有穷自动机理论,模拟计算机受到攻击时入侵容忍系统的工作过程,为入侵容忍技术的发展提供了一种方法。 相似文献
15.
16.
《无线电通信技术》2019,(5):463-475
互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。 相似文献
17.
针对Web服务可靠性保障的需求,探讨了在动态多变的网络环境下的web服务适应性失效检测机制.基于一个层次型服务失效检测框架,融合了消息发送频率、丢包率等因素,设计了一种可感知网络负载的、基于检测点的服务失效检测算法,以增强对网络情境的适应性,改善失效检测的服务质量.模拟实验表明该算法能够有效保障在动态环境下的Web服务失效检测的准确性,同时可取得较好的快速性权衡. 相似文献
18.
19.
20.
随着物联网向各行业的深入发展,各行业的信息化进程也进入了快车道.信息服务作为物联网在各行业应用中重要的公共服务之一,一直受到广泛关注.然而,当前物联网信息服务系统面对物联网海量异构数据存在性能低下、共享困难等问题.因此,本文提出了一种基于NoSQL、REST以及国家物联网标识管理公共服务平台(NIOT)的存储与共享策略,并着重对该系统的构成、逻辑设计进行了详尽阐述.针对性能改进的策略设计了适当的量化评测,实验结果表明提出策略具有较好的效果,基于实验结果对进一步的优化进行了讨论. 相似文献