共查询到19条相似文献,搜索用时 46 毫秒
1.
由于Hadoop自身并不适合海量小文件处理,目前的重复数据删除方法主要基于文件的二进制特征,无法识别经过信号处理后的同一首歌曲,也不能满足海量数据在线处理的要求.提出一种采用声学指纹去重的海量MP3文件存储架构,结合音乐文件自身的声学特性和MP3文件包含的元信息,通过索引、在线归并和NAF去重,很好地解决了小文件过多时内存瓶颈问题,同时提供了更好的去重效果;离线归并和副本调整模块根据系统的运行状况不断优化存储.实验结果表明,该架构在性能、去重率、可管理性和可扩展性方面达到了良好的平衡,极大地提高了去重率,与可变分块CDC相比,去重率提高了100%,具有良好的实用价值. 相似文献
2.
3.
Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。 相似文献
4.
由于Hadoop自身不适合处理海量的小文件,论文提出了一种小文件处理方案,将小文件归并到SequenceFile中有效地解决了NameNode内存使用问题,设计了基于Hadoop的海量医疗小文件处理系统,实验证明该系统在内存使用以及处理大文件时具有良好的性能. 相似文献
5.
王艺翔 《数字社区&智能家居》2005,(12):110-110
隐藏文件方法很多很多.可一提到隐藏文件大家往往会想到是通过工具达到目的.殊不知利用我们手头是东西完全可以达到目的.今天我给大家介绍的就是利用MP3文件来隐藏文件。[编者按] 相似文献
6.
海量小文件存储文件系统研究综述 总被引:3,自引:0,他引:3
随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性,然后对小文件存储中存在的问题进行分析并阐述优化的方式,并介绍三种具有代表性的适合小文件存储的文件系统,最后总结归纳。 相似文献
7.
8.
为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销.检索阶段,改进MapFile映射关系结构、索引存储位置与组... 相似文献
9.
相信许多朋友都曾有过将VCD/DVD影片中的电影插曲拿到MP3播放器中进行播放的冲动,当然还有磁带中的音频、网络中的流媒体音乐等等,希望将它们放入MP3播放器中进行“移动”播放。好,咱们就一起让MP3播放器支持这些文件的播放。[第一段] 相似文献
10.
11.
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。 相似文献
12.
13.
14.
15.
提高IMDCT运算速度比较有效的做法是在系统级芯片内部添加一小块专用电路,专门负责处理IMDCT部分的运算。本文根据嵌入式系统的特点,引进新的IMDCT变换算法,优化IMDCT运算过程中的叠加运算,为高速度、低成本地实现IMDCT硬件加速器提供了一种方案。 相似文献
16.
为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。 相似文献
17.
18.
MP3是目前应用最为广泛的音频格式。然而,利用各种音频编辑软件可以很方便地对MP3音频文件进行篡改。通过对相邻压缩次数形成的MP3音频之间量化后的MDCT系数不相同的个数进行统计分析,提出了一种基于相同压缩速率下的MP3双压缩检测方法。该方法有助于MP3音频文件的篡改取证。实验结果表明,该方法具有较好的检测率。 相似文献