共查询到20条相似文献,搜索用时 109 毫秒
1.
文章主要研究一种基于混合架构的国产化大数据平台,可以更好地适配国产化ARM主机和麒麟操作系统,解决现有开源Hadoop平台的技术缺陷。通过对现有开源Hadoop平台进行改造并自主研发分布式调度系统和分布式存储系统,使本文大数据平台一方面摆脱底层架构受限问题,可以很好地适配ARM主机和传统X86主机,且全部功能均适配麒麟操作系统,性能稳定可靠;另一方面解决开源Hadoop平台调度系统不完善、交互效率低和单点故障问题。另外通过自主研发统一元数据及安全管理体系,将元数据进行统一规划,使本平台能够节省存储费用,提高安全管控能力。 相似文献
2.
3.
在远程容灾系统中,多源备份信息通过访问对应的元数据信息进行逻辑空间的分配,逻辑存储空间分配的快慢直接关系到容灾存储系统的整体性能.本文提出的存储空间分配方法采用块组分配和块组内数据块分配相结合的方式,可以快速定位数据存储的位置,实现了备份数据存取的快速定位,从而达到提高容灾存储系统整体性能的目的. 相似文献
4.
目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。 相似文献
5.
针对密集型数据设计的云存储系统多是利用Sqlite技术,因云数据复杂性,导致存储性能和查询性能较差.MongoDB是NoSQL数据库的一种,具有容错性高、性能灵活的特点,基于MongoDB设计了一种新的数据密集型云存储系统,系统硬件由3个层次构成,分别是数据层、业务层和表现层,选择MongoDB—Hadoop作为适配器... 相似文献
6.
7.
8.
9.
《信息通信技术》2016,(2)
随着数据量的爆炸性增长和数据的重要性不断增加,对数据快速准确存储的要求越来越高,存储逐渐成为数据中心云平台发展的瓶颈。文章针对现有存储系统通用缺陷,如软硬件紧耦合,无法满足移动互联网和大数据对存储系统快速、多变的需求等,介绍软件定义存储的优势和定义,分析软件定义存储技术和系统需求,并认识到面向两级数据中心的软件定义存储技术架构,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,也越来越无法满足移动互联网和大数据时代下,对存储系统快速、多变的需求。文章提出软件定义存储可以非常巧妙地发挥X86服务器的廉价优势,对数据中心的数据进行存储、组织和管理,向上层应用提供安全可靠的、可扩展的、可动态管控的、高效的数据存储服务,并与虚拟化资源池很好地融合,可以极大地提高云平台存储的安全可靠性能。文章认为软件定义存储(SDS)作为一种新的存储系统架构,更适合下一代数据中心的发展。 相似文献
10.
《现代电子技术》2016,(10)
为了使传统家居设备可以进行远程遥控,开发了在家具传统设备上引入无线组网技术,使其达到访问和远程控制的效果。针对在数据存储中,传统云存储系统缺少灵活性,不透明,鲁棒性不强,无法有效存储、管理和维护大数据的问题,设计并实现了面向大数据的云存储系统,通过逻辑控制模块对家居系统各业务请求进行智能处理,利用用户访问模块为用户提供底层实现的各项功能,采用存储模块为家居系统提供透明的数据存取功能,利用文件读/写模块将上层逻辑处理和底层存储进行隔离,使所设计系统更加健壮。软件设计过程中,给出数据云存储程序代码,实现大数据云存储。实验结果表明,新一代智能家居云存储系统具有很高的可行性和实用性。 相似文献
11.
我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题,存在着诸多挑战。在大数据时代背景下,采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术,提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。 相似文献
12.
《电子技术与软件工程》2015,(8)
提出一种面向视频监控大容量存储的分布式云存储系统,系统包括元数据节点集群、存储节点集群、客户端;元数据负责管理所有的存储服务器,存储所有的文件基本信息,负责客户端连接请求等,是存储系统的核心;存储节点集群是实际数据存储的节点,负责存储数据;客户端负责连接云存储系统,与客户端上的应用交付,进行数据的存储和读取。整套系统可以实现存储容量的动态增加、多客户端并发读写、存储节点的动态扩容等,非常符合视频监控大规模存储的需求。 相似文献
13.
14.
为了获得尽可能高的并行计算单元的计算能力,对SIMD图像处理机的存储系统进行了深入研究.该存储系统根据图像处理应用的特点,使用基于编译获得的数据流存取全局信息进行数据流调度,有效地提高了数据存取的速度,满足了并行计算单元对数据存取速度的要求,为SIMD图像处理机系统性能的提高提供了支持. 相似文献
15.
广电视频点播(Video on Demand,VOD)系统包含图片、视频等海量应用数据,需要强大的存储系统和灵活的调度策略来支撑超级数据量的存储、调度和使用。对此,提出一种基于智能网格推流系统的云分布式存储策略,具备负载均衡与平滑扩容机制,可扩大本地缓存容量,提高存储抗干扰性能,保障系统资源调度速率,维护VOD系统缓存稳定;采用分层缓存管理机制,对存储数据包进行时序特征分割,减少服务器缓存时延;针对异常故障数据,利用哈希校验方式对缓存文件进行替换,保证存储数据集群的完整性,并利用读写旁路与懒惰存储解决缓存数据缺失问题。该方法可有效提高VOD系统存储效率,具有一定的参考价值。 相似文献
16.
17.
《现代电子技术》2017,(23):73-76
为了降低公共云存储系统的空间开销,对公共云存储中私密数据的重复数据进行归并和删除处理,提高云存储容量,提出一种基于语义本体特征匹配检测的公共云存储中私密数据的去重删除技术。采用交叉分布方法进行公共云存储中私密数据的特征分解,根据数据的属性类别进行存储空间区域划分,提取私密数据的语义本体结构信息特征量,根据提取的特征量进行匹配检测,根据语义属性实现对重复数据的自适应筛选,对筛选出来的重复数据采用矩阵分解方法进行特征压缩和删减,实现去重删除。仿真结果表明,采用该算法进行公共云存储中私密数据的去重删除处理,提高了存储空间的容量,降低了数据存储的维数,实现了私密数据的优化存储。 相似文献
18.
对于传统云环境大数据聚类中的量子进化方法的聚类精准度比较低的问题,为了降低存储开销,提高数据管理能力与调度能力,提出将优化粒子群算法作为基础的云环境大数据聚类算法,对云环境大数据聚类原理进行分析,将传统模糊C均值聚类作为基础,通过粒子群聚类算法对大数据聚类算法进行改进,从而实现空间分割,得出云存储系统的海量数据模糊聚类。利用粒子群聚类方法分配聚类数据离散成本,得到数据聚类信息浓度;与粒子群优化聚类约束条件结合,得到云环境大数据聚类中心最优解。仿真结果表明,此算法的数据聚类精准度比较高,具有良好的收敛性能。 相似文献
19.
20.
《现代电子技术》2017,(15)
针对传统检索方法在云存储加密数据中的检索效率过低的问题,提出属性基加密技术的安全数据检索方案。通过使用属性基加密技术的索引词表达能力,提高数据的安全系数,再通过较为完善综合的云服务提供商所提供的运行开销以及参与云存储信息索引的其他用户的信息检索服务,让穷尽的搜索转变为加密运算,让整个云存储系统的搜索过程与存储管理系统机制更加完善。通过对云存储数据检索方案中属性基加密技术的研究,将属性基加密技术与其他几种新方案进行比较,属性基加密方案在访问控制和快速搜索中具有十分优异的性能,而且在数据检索过程中可以有效保护数据的安全,保障用户的隐私安全,十分符合拥有大量数据的云存储系统。 相似文献