基于混合架构的国产化大数据平台研究与应用

文章主要研究一种基于混合架构的国产化大数据平台,可以更好地适配国产化ARM主机和麒麟操作系统,解决现有开源Hadoop平台的技术缺陷。通过对现有开源Hadoop平台进行改造并自主研发分布式调度系统和分布式存储系统,使本文大数据平台一方面摆脱底层架构受限问题,可以很好地适配ARM主机和传统X86主机,且全部功能均适配麒麟操作系统,性能稳定可靠;另一方面解决开源Hadoop平台调度系统不完善、交互效率低和单点故障问题。另外通过自主研发统一元数据及安全管理体系,将元数据进行统一规划,使本平台能够节省存储费用,提高安全管控能力。     

基于Hadoop云存储架构的教育资源管理优化技术研究

为了解决现有教育资源管理技术存在吞吐量差、存储效率低等缺陷,设计Hadoop云存储架构对教育资源管理技术进行优化。采用Hadoop云存储架构对教育资源进行管理,得到教育资源云结构;在此基础上,采用云计算技术构建教育资源数据中心,以教育数据中心为基础,以Hadoop云存储架构为平台对教育资源进行上传与下载,实现了教育资源的管理与优化。仿真实验结果表明,与现有的教育资源管理技术相比较,提出的教育资源管理优化技术极大地提升了教育资源的吞吐量与存储效率,充分说明提出的教育资源管理优化技术具备更好的性能。     

一种容灾系统存储空间分配方法

在远程容灾系统中,多源备份信息通过访问对应的元数据信息进行逻辑空间的分配,逻辑存储空间分配的快慢直接关系到容灾存储系统的整体性能.本文提出的存储空间分配方法采用块组分配和块组内数据块分配相结合的方式,可以快速定位数据存储的位置,实现了备份数据存取的快速定位,从而达到提高容灾存储系统整体性能的目的.     

基于Hadoop技术的物联网大数据同步存储系统设计

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。     

基于MongoDB的数据密集型云存储系统设计

针对密集型数据设计的云存储系统多是利用Sqlite技术,因云数据复杂性,导致存储性能和查询性能较差.MongoDB是NoSQL数据库的一种,具有容错性高、性能灵活的特点,基于MongoDB设计了一种新的数据密集型云存储系统,系统硬件由3个层次构成,分别是数据层、业务层和表现层,选择MongoDB—Hadoop作为适配器...     

一种适合大数据存储系统的高效负载均衡算法设计

负载均衡技术作为大数据存储技术的核心,其直接关系到构建的大数据存储系统的效率和稳定性,文章以Hadoop大数据存储系统平台为例,提出了一种高效的大数据存储系统负载均衡算法,该算法在传统的Hadoop存储系统负载均衡的算法基础上,通过增加了考虑优先级处理超负载的策略,对系统中的超负载的机架进行有限平衡处理,以解决传统的Hadoop存储系统负载均衡算法对处理超负载机实时性低,导致系统节点崩溃详细的问题,可以有效地提高整个基于Hadoop架构的大数据存储系统的稳定性和数据存储效率。     

一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。     

云平台下海量数据冲击中的可视化调度平台设计

针对当前云平台调度中存在的问题,设计云平台下海量数据冲击中的可视化调度平台,其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频,并传递给数字信号处理器进行处理,其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术,对海量数据采集模块的处理结果进行分析和计算,给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化,以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明,所设计的平台拥有较好的计算性能和调度性能。     

面向两级数据中心的软件定义存储研究

随着数据量的爆炸性增长和数据的重要性不断增加,对数据快速准确存储的要求越来越高,存储逐渐成为数据中心云平台发展的瓶颈。文章针对现有存储系统通用缺陷,如软硬件紧耦合,无法满足移动互联网和大数据对存储系统快速、多变的需求等,介绍软件定义存储的优势和定义,分析软件定义存储技术和系统需求,并认识到面向两级数据中心的软件定义存储技术架构,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,也越来越无法满足移动互联网和大数据时代下,对存储系统快速、多变的需求。文章提出软件定义存储可以非常巧妙地发挥X86服务器的廉价优势,对数据中心的数据进行存储、组织和管理,向上层应用提供安全可靠的、可扩展的、可动态管控的、高效的数据存储服务,并与虚拟化资源池很好地融合,可以极大地提高云平台存储的安全可靠性能。文章认为软件定义存储(SDS)作为一种新的存储系统架构,更适合下一代数据中心的发展。     

面向智能家居大数据云存储系统设计与实现

为了使传统家居设备可以进行远程遥控,开发了在家具传统设备上引入无线组网技术,使其达到访问和远程控制的效果。针对在数据存储中,传统云存储系统缺少灵活性,不透明,鲁棒性不强,无法有效存储、管理和维护大数据的问题,设计并实现了面向大数据的云存储系统,通过逻辑控制模块对家居系统各业务请求进行智能处理,利用用户访问模块为用户提供底层实现的各项功能,采用存储模块为家居系统提供透明的数据存取功能,利用文件读/写模块将上层逻辑处理和底层存储进行隔离,使所设计系统更加健壮。软件设计过程中,给出数据云存储程序代码,实现大数据云存储。实验结果表明,新一代智能家居云存储系统具有很高的可行性和实用性。     

民间艺术资源的云存储技术研究

我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题,存在着诸多挑战。在大数据时代背景下,采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术,提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。     

一种面向视频监控的云存储系统设计与实现

提出一种面向视频监控大容量存储的分布式云存储系统,系统包括元数据节点集群、存储节点集群、客户端;元数据负责管理所有的存储服务器,存储所有的文件基本信息,负责客户端连接请求等,是存储系统的核心;存储节点集群是实际数据存储的节点,负责存储数据;客户端负责连接云存储系统,与客户端上的应用交付,进行数据的存储和读取。整套系统可以实现存储容量的动态增加、多客户端并发读写、存储节点的动态扩容等,非常符合视频监控大规模存储的需求。     

基于云存储系统的能耗优化节点管理方法分析

随着科技不断发展,云存储系统能耗节省成为科技关注的焦点。云存储系统能够根据情况,在利用率较低时关闭部分的存储节点,但是云存储节点关闭时数据需要具有一定的可用性。而云存储中能耗优化问题是云存储管理中疲于解决的问题。基于此,文章就云存储的能耗优化节点的相关技术进行详细研究,并对云存储系统能耗优化节点的管理问题进行深入探讨。     

SIMD图像处理机存储系统研究

为了获得尽可能高的并行计算单元的计算能力,对SIMD图像处理机的存储系统进行了深入研究.该存储系统根据图像处理应用的特点,使用基于编译获得的数据流存取全局信息进行数据流调度,有效地提高了数据存取的速度,满足了并行计算单元对数据存取速度的要求,为SIMD图像处理机系统性能的提高提供了支持.     

广电视频点播系统存储策略探讨

广电视频点播（Video on Demand,VOD）系统包含图片、视频等海量应用数据，需要强大的存储系统和灵活的调度策略来支撑超级数据量的存储、调度和使用。对此，提出一种基于智能网格推流系统的云分布式存储策略，具备负载均衡与平滑扩容机制，可扩大本地缓存容量，提高存储抗干扰性能，保障系统资源调度速率，维护VOD系统缓存稳定；采用分层缓存管理机制，对存储数据包进行时序特征分割，减少服务器缓存时延；针对异常故障数据，利用哈希校验方式对缓存文件进行替换，保证存储数据集群的完整性，并利用读写旁路与懒惰存储解决缓存数据缺失问题。该方法可有效提高VOD系统存储效率，具有一定的参考价值。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

公共云存储中私密数据的去重删除研究

为了降低公共云存储系统的空间开销,对公共云存储中私密数据的重复数据进行归并和删除处理,提高云存储容量,提出一种基于语义本体特征匹配检测的公共云存储中私密数据的去重删除技术。采用交叉分布方法进行公共云存储中私密数据的特征分解,根据数据的属性类别进行存储空间区域划分,提取私密数据的语义本体结构信息特征量,根据提取的特征量进行匹配检测,根据语义属性实现对重复数据的自适应筛选,对筛选出来的重复数据采用矩阵分解方法进行特征压缩和删减,实现去重删除。仿真结果表明,采用该算法进行公共云存储中私密数据的去重删除处理,提高了存储空间的容量,降低了数据存储的维数,实现了私密数据的优化存储。     

基于优化粒子群算法的云环境大数据聚类算法

对于传统云环境大数据聚类中的量子进化方法的聚类精准度比较低的问题,为了降低存储开销,提高数据管理能力与调度能力,提出将优化粒子群算法作为基础的云环境大数据聚类算法,对云环境大数据聚类原理进行分析,将传统模糊C均值聚类作为基础,通过粒子群聚类算法对大数据聚类算法进行改进,从而实现空间分割,得出云存储系统的海量数据模糊聚类。利用粒子群聚类方法分配聚类数据离散成本,得到数据聚类信息浓度;与粒子群优化聚类约束条件结合,得到云环境大数据聚类中心最优解。仿真结果表明,此算法的数据聚类精准度比较高,具有良好的收敛性能。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

基于优化加密的云存储安全数据检索方法研究

针对传统检索方法在云存储加密数据中的检索效率过低的问题,提出属性基加密技术的安全数据检索方案。通过使用属性基加密技术的索引词表达能力,提高数据的安全系数,再通过较为完善综合的云服务提供商所提供的运行开销以及参与云存储信息索引的其他用户的信息检索服务,让穷尽的搜索转变为加密运算,让整个云存储系统的搜索过程与存储管理系统机制更加完善。通过对云存储数据检索方案中属性基加密技术的研究,将属性基加密技术与其他几种新方案进行比较,属性基加密方案在访问控制和快速搜索中具有十分优异的性能,而且在数据检索过程中可以有效保护数据的安全,保障用户的隐私安全,十分符合拥有大量数据的云存储系统。