基于Hadoop的云存储系统文件处理与安全研究

由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择。针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元数据放置索引表,通过索引表中的偏移量寻找块中小文件数据的方式,提高HDFS写入大量小文件的系统性能,经过测试验证了优化方案的有效性。     

基于改进SVD++算法和K-means++算法的小文件合并方案

文章提出了一种基于改进SVD++算法和K-means++算法的小文件合并方案。通过引入自适应学习率函数和基于并行分组的SVD++算法,优化了小文件的合并过程,以提高Hadoop存储小文件的效率。同时,利用K-means++算法对合并后的文件进行聚类,优化了数据存储方式,降低了存储空间的浪费。在Hadoop平台上进行的实验表明,该方案在保持数据处理准确性和稳定性的同时,显著提升了Hadoop存储与处理小文件的性能。     

一种面向海量高并发小文件数据的处理方法

首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命。该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据。     

Hadoop在电信大数据平台的研究与设计

针对传统Hadoop平台架构中单名字节点瓶颈和对小文件存储支持不理想的问题进行优化。首先针对第一个问题,增加节点层次并在第二层增加NameNode数量等措施,解决了单名字节点瓶颈;又通过在原 HDFS 的数据存储过程中增加合并处理模块,实现小文件合并为大文件处理的方法,提升了小文件的访问效率。实验数据对比表明这些方法是有效、可行的。     

云存储环境下基于HDFS的海量小文件装箱算法

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。     

基于区块链的供应商信息库去中心化的解决方案

针对传统供应商信息库集中式的部署模式难以保证数据真伪性和系统安全性问题,构建区块链的异构供应商电子文件存储系统.首先,根据区块链和星际文件系统(IPFS)进行异构数据的分布式存储,由区块链保存小文件,IPFS网络进行异构大文件拆分和分布式存储,提升文件的存储速度;然后,采用区块链智能合约的文件访问控制策略,保证供应商文...     

小小区网络中基于本地存储协作传输策略的增益

网络的密集化是满足未来移动通信系统高吞吐量需求的有效手段,但当业务负载高时其吞吐量受到小区间干扰的严重制约。在基站端存储流行文件可以降低回传链路的成本和文件的下载时间,也为无需高容量回传链路进行基站协作提供了可能。本文分析了在小基站部署存储器后基站协作所能带来的吞吐量增益,推导了基于存储的基站协作策略的平均吞吐量,并与无干扰管理的基准小小区网络的吞吐量进行比较。分析和仿真结果表明,本地存储带来的性能增益在网络负载较高时和文件请求分布集中时非常明显。      

改善Hadoop文件处理效率的技术研究

提出一种改善Hadoop文件处理效率的方法,在Hadoop中添加一个小文件处理模块SFPM,根据文件名为海量小文件建立二级索引,同时采用预加载技术将索引提前存入缓存,可提高文件查找访问效率;在合并文件时,采取舍弃多余空间的策略,避免将一个文件拆分存储在两个block上,减少了文件访问时间开销.实验结果表明该方法能有效减轻NameNode的负荷,提高小文件读写效率.     

基于Hadoop的海量小文件存储方法的研究

随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。     

基于FAHP的hadoop平台移动终端云存储优化研究

Hadoop云存储架构的设计初衷是实现大文件的高效存储处理,但在处理移动终端下诸如图片等小文件时会引起名称节点索引提取速度过慢和数据节点存储空间利用率不高等问题.针对这一问题,提出一种小文件归档的方案FHAR.方案综合考虑移动终端用户访问的实时性、名称节点服务器内存使用率、数据节点存储空间利用率等方面,利用双层索引的归档技术结合FAHP（模糊多属性决策理论）的系统负载预测算法实现系统的负载均衡,提高服务效率.同时利用数据预取机制对访问操作进行优化.仿真结果表明,该方案有效提高了节点的存储效率与用户访问的实时体验性.     

纽曼闪盘功能十六合一

纽曼V系列闪盘的“十六合一”的功能,为消费者提供了更多贴心选择。其中“压缩功能”和“文件加密”功能可以对储存的文件、目录进行压缩存储和加密;“我的通讯录”和“我的邮件”可以存储客户信息而且还可以储存多邮箱用户名及密码,进行自动登录;“常用文件夹”则对用户资料信息可以分类存储,一目了然;还有“记事小秘书”、“爱眼小护士”,、“伊人小伴侣”等功能,都是依照用户最贴心的需求量身定制的。纽曼闪盘功能十六合一     

面向云端存储的遥感影像文件优化技术

本文面向由于互联网遥感业务和PB级遥感影像数据的发展,遥感影像文件逐渐转至云端存储的场景,为提升云端遥感影像文件的读取性能、节省云端存储成本,提出面向云端存储的遥感影像文件优化技术。本文通过优化数据存储格式,在遥感影像文件中预先生成金字塔模型,无损压缩后整理为云端存储格式,读取时利用HTTPRange请求云端遥感影像文件内区域数据,为高性能云端遥感影像文件读取提供了支撑,使其更适合于海量遥感影像文件存储在云端的场景,提升遥感影像文件在云端的读取效率,进一步为互联网遥感业务打下基础。     

基于指纹魔方算法的云存储数据保护机制

云存储有效解决了存储性能瓶颈,同时带来了数据安全和隐私保护难题.为了解决这一问题,提出了一种基于指纹魔方算法的云存储数据保护机制.该机制通过用户的指纹特征值控制魔方旋转对文件进行加密,再利用门限分割技术将文件分割成小块存储到各个服务器中.需要恢复原文件时,先对各个服务器中的文件块进行完整性验证,找到不少于门限值数量的文件块就能完整恢复文件.该机制保护了云存储用户的隐私数据,同时提高了云存储系统的抗破坏能力和灵活性.     

一种利用Tuxedo处理集群文件服务器协作的方法

现代大型信息系统中文件量比较大,一台服务器很难支持大量文件的存储,使用集群文件服务器,可以解决大量文件存储的问题。通过实际项目中使用的方案,描述利用Tuxedo 7.1支持对XML文件分析功能,实现文件服务器互相协作的方式。特别是通过使用文件命名散列方法计算文件服务器标示号,通过XML传递该标识号到Tuxedo服务器,从而抉择将文件放置到哪台文件服务器上。这样不用在文件数据库存储文件位置,就可以直接存储并获取文件。     

基于Hadoop的UGC网络视频关键技术

随着智能便携终端的快速普及和网络传输速度的大幅度提升,UGC视频网站飞速发展。网络视频的数据存储和传输优化等技术等在视频网站中占有很重要的地位。本文介绍了UGC网络视频的发展与现状,以及基于Hadoop海量视频小文件存储和网络视频的传输优化技术。     

大数据下MongoDB数据库档案文档存储去重研究

针对大数据下档案存储的现状,通过分析存储档案文档存在重复的原因,提出一种MongoDB存储档案文档的方法,利用MongoDB的GridFs统一处理不同类型和大小的文件,定义3个集合分别存储上传者记录、文件信息记录和分块文件内容,提出存储中通过文件MD5校验码值是否相同来进行去重研究,并实现去重的程序代码,有一定的实际意义。采用的分布式存储数据库增强了档案文档存储系统的可扩展性。实验表明,该方法能有效地去除重复的档案文档,提高查询效率。     

针对海量小文件的可伸缩分布式文件系统研究

在对分布式文件系统可靠性、可用性以及可伸缩性进行深入研究后,设计并实现了一套可伸缩的分布式文件系统,针对当前互联网应用中大部分图片资源大小不超过100 KB的具体应用场景,进一步对设计的文件系统做出改进,确保文件系统在应对海量小文件存储、频繁读写时具有良好的性能。     

探秘对象存储

正1引言随着互联网、Web2.0的快速发展,Web应用创建出数百亿的小文件,上传海量的照片、视频、音乐,Facebook每天新增数十亿条内容,每天发送数千亿封电子邮件。据IDC统计,未来10年间数据将增长44倍,2020年全球数据将增加到35ZByte,其中80%是非结构化数据,且大部分是非活跃数据。面对如此庞大的数据量,仅具备PB级扩展能力的块存储和文件存储显得无能为力,通常块存储的一个LUN容量仅数TB。单个文件系统在最优性能情况下支持的文件数量通常只在     

基于Indri的动态索引拟制探讨

Indri是开源的检索工具,我们基于其官方网站上提供的文档,论文以及源代码,并对其进行研究,采用学习该项目中检索模型及索引建立的原理和方法,得到了collection文件夹的组成形式,提出了mainfest文件是一个xml文件存储了配置信息,storage文件存储了集合中文档的压缩版本以及用来高亮显示查询结果时需要的term bounding信息,lookup文件用B-tree的结构存储了文档ID和偏移量的映射关系,用来支持随机快速访问的动态索引机制.     

一种基于云芯一号的分布式文件多维混合存储机制

近年来,硬件加速逐渐广泛用于分布式存储服务,各种存储服务的稳定性受到用户的额外关注。FPGA是最常用的硬件加速设备,用来对存储文件进行存储前的压缩和读取前的解压。长时间的压缩/解压工作,使得FPGA存在服务中断等不稳定因素。尽管存储服务中断并不像以前其他云服务中断那样具有灾难性,但它们的影响可能比以前更广泛。为了解决上述问题,文章提出了一种基于拥有自主产权的云芯一号加速卡的分布式多维混合文件存储机制。首次在多Hadoop集群中,考虑芯片温度、芯片频率、文件存储大小等三个方面的因素,结合层次分析法(AHP),进行多维度的存储节点选择。文章利用传统的软件压缩和其他FPGA加速卡作对比实验,实验结果表明本文提出硬件加速设备和所述多维文件存储机制可以有效地降低多Hadoop集群的宕机率,提高文件存储压缩率和集群中各个节点的利用率。