大数据时代中药图谱文件云服务PaaS模型设计

通过分析IaaS虚拟化平台的IO传输缺陷,结合中药图谱研究中大量以文件形式存在的图谱数据传输需求,研究中药图谱文件系统向虚拟化平台迁移中的局限,并对比现有解决方案,提出通过业务分层的方法将文件IO负载从应用系统中剥离的文件PaaS模型,该模型将文件式IO密集型应用分解为:UI服务层、业务逻辑层、数据传输层和数据存储层,UI服务和业务逻辑可方便的部署于IaaS虚拟化平台中,数据传输层和数据存储层则通过PaaS文件服务平台为第三方应用提供文件管理、存储传输等服务实现,此外,通过内部随机加密令牌的方式,实现第三方安全存取访问。通过该模型,解决云计算环境下中药图谱数据挖掘过程中难以解决大数据传输效率的问题,为图谱分析系统向云计算环境改造提供高效、安全的解决方案。     

基于IPFS优化的文件存储分发模型

在如今的互联网应用场景下,大文件分发变得越来越常见。为了提升服务质量,互联网服务提供者通常会使用CDN等技术来提升用户体验,随之而来的是高昂的存储成本。同时,由于CDN服务的不可控性,文件的安全性存在风险。本文借助IPFS的部分系统架构与思想,在保障文件安全性的前提下,尽可能节省文件分发带来的存储成本与流量成本。     

IT技术与产品

谷歌将推云存储服务Drive 谷歌将推出云存储服务GoogleDrive。有消息称,GoogleDrive的免费存储空间将达到5GB。如果GoogleDrive提洪这一容量的免费空间,     

文件中转 传递便捷

Foxmail邮箱的中转站免费提供1GB大容量文件临时存储服务,还将工具栏上的"在线邮箱"悄然更名为"中转站",不需进Web邮箱,在Foxmail客户端即可上传下载文件。     

基于Hadoop分布式架构的云存储系统、文件存储实现研究

随着局域网内数据信息量的日益增多,如何对不断增加的海量数据作出筛选分类、分析与存储,成为企业数据管理、业务开展关注的重要问题,而依托于Hadoop分布式架构的云存储技术,构建起分布式文件管理的云服务系统,可保证数据存储与管理的合理数据块分布、功能可拓展性。基于此,通过围绕MapReduce集群、HDFS文件存储、HBase数据库,以及PC主机、VMWare虚拟机等软硬件,建立起云存储服务管理系统,可针对大文件、小文件存储的问题,设置文件索引、读写、合并、缓存等的功能服务模块,提供一种按需服务的应用方式,实现对特定数据的预读取、检索、合并与存储,提高Hadoop分布式集群系统的数据读取、索引与存储效率。     

基于分布式构建HLS协议流媒体文件三层文件存储管理系统

随着经济的发展,科技不断进步。构建基于HLS协议流媒体文件三层文件存储管理系统,是互联网视频公司生产、存储、管理和服务流媒体文件的核心环节,基本功能包括调度、存储、监控和迁移等。该系统通过分布式、Cache和全局索引技术,有效针对传统HLS碎片文件管理低效、文件处理I/O开销大、流媒体文件数据迁移困难等一系列问题,提出了解决方案。     

Google Drive,给你意想不到的惊喜

现在云存储如雨后春笋，在互联网中大量出现。谷歌也不甘落后，推出了自己的云存储服务Google。     

Internet文件检索服务——archie

Ｉｎｔｅｒｎｅｔ含有数万台不记名ＦＴＰ服务器，存储有数量巨大的文件资源，在其中寻找特定的文件资源就变是异常困难，有没有一个工具帮助广大“网民”查找文件呢？Ｉｎｔｅｒｎｅｔ上的ａｒｃｈｉｅ服务正是这样的一个工具，利用ａｒｃｈｉｅ用户仅需输入待查文件的大致描述，便可获得存储结果文件的不记名ＦＴＰ服务器列表。     

高效办公 从文件共享开始 日新月异的迷你文件服务器

办公网络常用的文件共享服务,常由于文档数据量大,使用的人多,特别有的还共享电影,使共享文档的打开、传输速度很不理想。对公司和一些家庭用户来说,使用一般电脑作为文件服务已不能满足需求,但使用高性能的文件服务器,成本和能源费用又上去了。不过现在有很多替代方案,不但可以在文件存储、管理、共享、安全性等满足要求,而且成本低廉、使用稳定、防止病毒并且节约能源。     

Windows2000文件／打印／存储服务心剑胜过钢剑

现代企业中架设网络,现在已经成为一种时尚,而文件和打印的共享服务往往是企业架设网络的原始冲动。从最早的局域网萌芽,到今天纷繁复杂的网络世界,文件/打印服务一直占据着重要的地位。同时,随着网络的发展,存储网络(Storage AreaNetwork,SAN)也渐渐浮出海面,成了一个新兴的热门话题。     

QQ邮箱文件中转站

QQ邮箱的文件中转站服务是一个提供大文件网络临时存储的在线服务,它提供1G的存储容量(不占用邮箱容量),支持上传最大500MB的文件,文件上传后可以保存三天。这样邮件可以发送"超大临时附件",解决传统邮件附件大小受限的问题。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

基于Hadoop处理小文件的优化策略

HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存储和读取性能并不理想,使Name Node成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高Name Node存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外,该策略也扩展了HAR文件追加的优化和为提高访问效率采用索引预取机制。实验结果表明该优化策略能够提高现有HAR处理小文件的能力和访问海量小文件的效率。     

云存储中多类型文件存储及访问优化机制的研究

当前云存储已经成为存储界的研究热点,Linux也已经成为当前云存储中所采用的主流操作系统之一。但是当前的云存储是面向通用文件存取服务,并未考虑其存储的文件的类型、大小、安全级别等等需求,因此也不可能提供针对不同存储内容的优化机制。面向云存储的应用环境,提出了Linux操作系统下的一种智能自适应文件系统,作为云存储优化项目的子项目,目标是保持原有文件系统的完整性和透明性的基础之上,对Linux文件系统机制进行改进。通过采用可堆叠文件系统技术,实现对不同特征的文件(小文件、超大文件、流媒体文件、加密文件等等)的自动适应和优化,从而提高基于Linux的云存储的文件服务性能。     

广域分布式环境中面向服务的文件管理系统

在广域分布式环境中,文件资源存储在分布、异构的环境下并通过不同协议被访问.该文针对广域分布式环境和数据密集型应用的需求提出一个面向服务的文件管理系统.该系统把分布、异构的存储资源用虚拟技术封装成一个文件存储资源,并提供统一的文件视图与访问接口,实现存储资源的共享.实际测试结果表明了该系统的有效性.     

QQ2009文件中转一步到位

很多朋友都知道,经过简单设置后,可以在Foxmail客户端程序中直接向Foxmail由B箱的“文件中转站”上传或下载文件。虽然Foxmail和QQ同属腾讯旗下的产品,却无法从Foxmail中直接使用QQ的“文件中转站”服务,每次都必须进入QQ邮箱之后才能使用文件中转站的服务,确实太麻烦了。     

免费的文件保险箱

“文件密码箱”是一款集文件的加密解密、打包存储、分割合并、粉碎清理、防删除、防更名、防篡改、防复制、防病毒等功能为一体的免费工具软件。与通常的加密软件不同,该软件为文件安全存储和管理提供了全新的思路——通过建立一个类似于压缩文件包一样的密码箱文件,该密码箱文件需要密码才可以打开,里面可以存储各种类型的文件及文件夹（文件和文件夹会在加入过程中自动加密）,     

语音文件的读取及软件实现

从语音文件中正确地读取实际的语音数据是进行语音技术研究的首要任务,WAVE文件是语音文件的一种,它被广泛地使用于语音技术研究中。该文分析讨论WAVE文件的存储结构,用C语言实现PCM编码的WAVE文件的读取,滤波以及存储。     

一种流媒体系统中文件存储分配算法

随着集群搭建的高性能计算中心快速发展,海量数据处理中CPU和内存的速度已经有了质的飞跃,但是I／O部分的速度仍是制约整个系统性能的瓶颈。本论文目的在于通过深入研究流媒体系统的特性,来提取出一种高效、均衡的文件存储分配策略,增大服务并行度并且减小服务延时。首先对媒体文件进行特征评估,然后通过存储调度器进行磁盘间的均衡性平摊,进而应用更细粒度的分划。做到每个磁盘内部的存储分布优化。仿真结果验证了算法的有效性,这样的分配策略可使盘间、盘内在数据组织上更为合理,有效的提高了并行服务能力,提供了更加迅捷的用户体验。。     

如何在OSS上实现大文件的断点下载和上传

OSS（开放存储服务）是面向海量非结构化数据对象的存储服务。随着云计算的普及和飞速增长,越来越多的开发者把他们的应用建筑在了OSS之上,然而OSS的开发资料还不是很多。我在这里抛砖引玉,通过回答一个经常被问及的问题——如何在OSS上实现大文件的断点续传功能——希望有更多的高手来一同分享自己在云存储上的开发经验。