一种采用声学指纹去重的海量MP3文件存储架构

由于Hadoop自身并不适合海量小文件处理,目前的重复数据删除方法主要基于文件的二进制特征,无法识别经过信号处理后的同一首歌曲,也不能满足海量数据在线处理的要求.提出一种采用声学指纹去重的海量MP3文件存储架构,结合音乐文件自身的声学特性和MP3文件包含的元信息,通过索引、在线归并和NAF去重,很好地解决了小文件过多时内存瓶颈问题,同时提供了更好的去重效果;离线归并和副本调整模块根据系统的运行状况不断优化存储.实验结果表明,该架构在性能、去重率、可管理性和可扩展性方面达到了良好的平衡,极大地提高了去重率,与可变分块CDC相比,去重率提高了100％,具有良好的实用价值.     

基于Hadoop的优化海量录音小文件存取性能的方法

Hadoop作为一个分布式计算框架,在处理大容量数据方面有着显著优势。然而,因其Name Node节点问题的内存有瓶颈等问题,对于处理海量小文件的存取不利。提出了一种针对海量录音小文件的优化方法,充分利用录音文件相关性的特点,通过预处理模块归类文件,把录音小文件合并成一系列的sequencefile,并建立全局索引,最后,采用缓存机制及缓存优化策略进行进一步优化。实验证明,该方法能有效提高大批量小文件的存取性能。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

基于Hadoop的海量医疗小文件处理系统

由于Hadoop自身不适合处理海量的小文件,论文提出了一种小文件处理方案,将小文件归并到SequenceFile中有效地解决了NameNode内存使用问题,设计了基于Hadoop的海量医疗小文件处理系统,实验证明该系统在内存使用以及处理大文件时具有良好的性能.     

利用MP3隐藏文件

隐藏文件方法很多很多．可一提到隐藏文件大家往往会想到是通过工具达到目的．殊不知利用我们手头是东西完全可以达到目的．今天我给大家介绍的就是利用MP3文件来隐藏文件。[编者按]     

海量小文件存储文件系统研究综述

随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性,然后对小文件存储中存在的问题进行分析并阐述优化的方式,并介绍三种具有代表性的适合小文件存储的文件系统,最后总结归纳。     

基于EHDFS的海量小文件存储与检索方法

为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销.检索阶段,改进MapFile映射关系结构、索引存储位置与组...     

MP3播放器全面获取MP3文件全攻略

相信许多朋友都曾有过将VCD／DVD影片中的电影插曲拿到MP3播放器中进行播放的冲动，当然还有磁带中的音频、网络中的流媒体音乐等等，希望将它们放入MP3播放器中进行“移动”播放。好，咱们就一起让MP3播放器支持这些文件的播放。[第一段]     

Hadoop中处理海量小文件的方法

针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDFS的I/O性能.     

面向Hadoop分布式文件系统的小文件存取优化方法

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。     

MP3文件格式解析

随着Internet的迅猛发展,MP3高密度和需要较小的传输带宽的特点使其占据乐坛霸主的地位,尽管网络不是音乐发布的唯一渠道,但MP3已成为一种公认的音乐数据格式。本文介绍了关于MP3文件的编码与解码原理,进而对MP3文件格式作了详细的分析。     

基于Hadoop的服饰图像存储与检索关键技术研究

针对服饰图像都是小文件的特性,提出了一种HDFS和传统关系型数据库相结合的服饰图像及其特征数据的存储结构设计方法,实现了海量图像信息的快速存储和读取;改进了多特征点图像特征提取和匹配算法,并基于Map/Reduce框架实现了基于多特征的服饰图像数据分布式检索。实验结果表明,该方法能够均衡系统负载,提高资源利用率,扩展性强,有效地降低了海量服饰图像检索时间,是一种高效的服饰图像存储和检索的方法。     

MP3解码的IMDCT硬件加速器方案

提高IMDCT运算速度比较有效的做法是在系统级芯片内部添加一小块专用电路,专门负责处理IMDCT部分的运算。本文根据嵌入式系统的特点,引进新的IMDCT变换算法,优化IMDCT运算过程中的叠加运算,为高速度、低成本地实现IMDCT硬件加速器提供了一种方案。     

HDFS中高效存储小文件的方法

为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。     

基于平面文件的Native XML数据库存储策略研究*

NativeXML数据库是一种专门设计用于存储和管理XML数据的新型数据库技术。首先简要介绍了NativeXML数据库的定义和特点,然后着重讨论了采用平面文件作为基本存储结构的NativeXML数据库在存储模型、存储粒度等方面的策略选择,最后结合实际项目分析了基于平面文件的NativeXML数据库在Web开发方面的可行性及其应用前景。     

基于相同压缩速率下的MP3双压缩检测方法

MP3是目前应用最为广泛的音频格式。然而,利用各种音频编辑软件可以很方便地对MP3音频文件进行篡改。通过对相邻压缩次数形成的MP3音频之间量化后的MDCT系数不相同的个数进行统计分析,提出了一种基于相同压缩速率下的MP3双压缩检测方法。该方法有助于MP3音频文件的篡改取证。实验结果表明,该方法具有较好的检测率。     

语音识别在MP3播放器上的应用

介绍了基于DSP的语音识别在MP3播放器上的应用。对语音识别部分软硬件进行了设计,通过对语音信号的识别,实现语音控制MP3播放器的操作。