改善Hadoop文件处理效率的技术研究

提出一种改善Hadoop文件处理效率的方法,在Hadoop中添加一个小文件处理模块SFPM,根据文件名为海量小文件建立二级索引,同时采用预加载技术将索引提前存入缓存,可提高文件查找访问效率;在合并文件时,采取舍弃多余空间的策略,避免将一个文件拆分存储在两个block上,减少了文件访问时间开销.实验结果表明该方法能有效减轻NameNode的负荷,提高小文件读写效率.     

图像序列的视频流开发及网络发送的实现

Raw文件是一种原始图像,对其序列文件视频流的开发是获取图像信息的重要手段.利用DirectShow技术开发出源过滤器和发送过滤器,实现了Raw序列文件的读取和发送.文件映射和中间缓存技术的应用提高了文件读取和视频流的传输效率.     

WinCE系统上大容量NAND Flash驱动设计与优化

NAND Flash具有存取速度快、体积小、成本低的特点,适宜作为海量数据的存储设备.本文设计了一种大容量NAND FLASH在WinCE系统上的实现方案.通过动态扇区分配、坏块管理和数据缓存等技术,提高了Flash驱动的安全性、稳定性和读写性能.经过优化后,平均读取速度2Mbyte/s,写入速度3Mbyte1/s.整个驱动通过了微软测试工具CETK(WinCE Test kit)的测试.     

基于PageRank的缓存替换策略

为了提高代理缓存的性能,提出了基于PageRank的缓存替换策略。该算法是从用户访问行为对文件对象价值具有影响的角度提出的,该算法首先将用户和文件对象类比为网络中的节点,将用户和文件对象之间的访问关系抽象为网络中的连线,然后采用PageRank算法计算文件和用户的权重值,最后在需要进行缓存替换时,优先替换文件权重值小的文件。仿真实验的结果表明,相对于LFU算法,该算法具有较高的请求命中率和字节命中率。     

基于内容预期价值的内容中心网络缓存替换策略

缓存替换技术是内容中心网络的研究内容之一。相对于海量的内容数据,缓存空间总是有限的,良好的缓存替换策略可以提高缓存收益。考虑到内容在将来被请求的概率越大,预期访问时间距离当前时刻越近,其留存价值就越大,提出了一种基于内容预期价值的替换策略。该方案通过考虑内容流行度和预期访问时间到当前时刻的时间距离,构建内容预期价值函数,并据此将价值最小的内容替换出去。仿真实验证明,该策略相对于传统的缓存替换策略,可以有效提高缓存命中率、降低请求跳数,提高网络性能。     

云存储环境下基于HDFS的海量小文件装箱算法

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。     

基于FAHP的hadoop平台移动终端云存储优化研究

Hadoop云存储架构的设计初衷是实现大文件的高效存储处理,但在处理移动终端下诸如图片等小文件时会引起名称节点索引提取速度过慢和数据节点存储空间利用率不高等问题.针对这一问题,提出一种小文件归档的方案FHAR.方案综合考虑移动终端用户访问的实时性、名称节点服务器内存使用率、数据节点存储空间利用率等方面,利用双层索引的归档技术结合FAHP（模糊多属性决策理论）的系统负载预测算法实现系统的负载均衡,提高服务效率.同时利用数据预取机制对访问操作进行优化.仿真结果表明,该方案有效提高了节点的存储效率与用户访问的实时体验性.     

信息中心网络中基于节点缓存命中贡献率的缓存替换方案

信息中心网络(CCN)是一种全新的网络架构,其显著的特点是处处缓存,合理的内容缓存部署能够显著提高网络传输效率.缓存替换策略是缓存管理中的重要组成部分,合理地进行缓存内容的替换,成为影响网络整体性能的关键.考虑到内容自身的特性,设计了一种基于节点缓存命中贡献率的贪婪双倍命中(GDH)缓存替换方案.该方案综合考虑了内容的请求次数、传输代价、缓存代价,设计全新的多目标价值函数,用于评估内容的缓存价值,当缓存空间不足时,替换掉价值最小的内容,实现节点缓存内容价值的最大化.仿真结果表明,该替换算法提高了节点的命中率,降低了获取内容的平均跳数.     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

一种面向中小企业的轻量级文件安全管理方案

企业信息化的发展给文件的安全管理带来了新的挑战,然而传统的文件安全管理方案只注重文件本身的安全,而忽略了使用文件人员身份认证问题。文中提出一种基于身份认证与文件加密技术的轻量级文件安全管理方案,该方案用以满足中小型企业对文件安全存储及使用的需求。通过对安全性及性能的分析,证明该方案可实现对文件安全、有效地存储及使用。     

一种分级权限管理方案的实现

本文提出一种基于logistic映射数字流混沌加密的权限管理方案，并应用于《基于logistic映射数字流混沌的信息加密软件》中。该权限管理方案解决了不同的用户具有不同的权限等级，不同等级权限的用户具有不同的阅读文件的权限。对于某一文件，如果用户不具有查阅或修改的权限，那么就不能解密该文件．实现了文件的分级保密。     

基于大容量存储设备的数据保护设计

隐藏区作为加密U盘的重要组成部分,如何充分发挥其功能已经受到人们越来越多的关注。文中针对大容量存储设备的通信方式,采用了非标准的UFI命令格式,在其隐藏区建立FAT32文件系统,使得Windows XP操作系统不能识别隐藏区的所有文件,而只能通过定制的软件来读写存储设备中的文件,从而达到文件保密的功能。     

基于软件定义存储的小文件性能优化研究

针对现有技术中对小文件性能优化的效率低、运算不稳定等问题,研究出适用的解决方案。该方案基于OpenStack云平台构建软件定义对象存储系统,其中,分类合并处理模块采用分类合并方法和改进的GDS缓存替换算法,以实现缓存空间的合理分配与使用。动态预处理模块采用What-if假设方法并融合关联规则技术进行改进,提高对多种结构的小文件数据处理效率。试验表明,文中的存储系统中小文件的平均读写响应时间分别减少了32.3%和25.1%,适用性和可靠性高。     

Adaptive Data Wiping Scheme with Adjustable Parameters for Ext4 File System

Data wiping is a useful technology which can prevent possible data recovery in a file system. But the growth of the amount of data usually leads to a decline in wiping efficiency. In order to make improvement, a novel data wiping scheme for Ext4 file system DWSE is pro-posed. It includes two proposed algorithms for wiping files and free space adaptively. According to a rate of rest blocks which is specified by users, the file wiping algorithm WFile tries to clean part of a selected file for saving time. The free space wiping algorithm WFree tries to speed up the process of cleaning dirty blocks by employing a random sampling and hypothesis testing method with two adjustable rates which represent status and content of a block group. A journal cleaning algorithm CleanJ is also proposed which tries to clean old records by creating and deleting tempo-rary files for preventing data recovery from a journal file. With the help of parameters, users can wipe their data in a balanced way between security and efficiency. Several ex-periments are performed on our scheme. The experimental results show that our scheme can wipe files and free space in different security and efficiency with different parame-ters. Our scheme can achieve higher security and efficiency than other two data wiping schemes.     

探讨Oracle数据库管理之控制文件

控制文件作为Oracle数据库管理的物理文件之一，数据库的名字以及数据文件的位置信息由它记录。控制文件一旦损坏，电脑将无法正常工作。因此控制文件十分重要，其管理的重点在于防御。本文将对控制文件的相关内容作介绍，为安全管理Oracle控制文件提出了相关的方法。     

涉烟案件信息管理系统的设计与实现

针对目前烟草专卖管理工作中,专卖人员需花费大量时间手工制作涉烟案件的案卷文书、各类涉案信息的人工查询效率低下等问题。文中采用MVC软件架构搭建了涉烟案件信息管理系统,基于Open XML技术标准实现了案卷文书的自动生成功能,通过良好的数据库设计支持了案件查询功能。通过系统案件生成、案件查询、系统设置、使用帮助等功能测试,验证了系统的可用性、易用性和可靠性。通过某烟草专卖局的试用,系统显著提高了案卷生成的质量和效率,推进了行业执法的完善。     

基于索引的文件备份方案

针对数据备份服务器上存在大量相同文件冗余的问题,提出了一种新的基于索引的文件备份方案,其核心是用二维链表形式对备份文件建立索引,并对相同的文件只存储一个副本,从而消除重复文件的冗余,达到节省存储空间的目的。该方案包括以下几个部分:相同文件的识别、文件的存储、文件夹的处理、文件备份过程和备份的更新.理论分析和实验表明,该方案较传统方法节省了存储空间,但备份过程中的系统负载和时间消耗有所增加.     

组件化网络安全管理系统关键技术研究

为了对不同厂商、不同类型的网络安全产品进行集中管理,文章将XML和组件化技术引入到网络安全管理技术当中,提出了一种基于WEB的集中式网络安全管理系统的构造方案,并对该系统的整体架构和关键技术等内容进行了详细阐述。     

Group replica caching scheme for optical grid networks

This paper proposes a cache replacement scheme named group replica caching for optical grid networks. In optical grid networks, data files for job execution are replicated at multiple servers in order to distribute loads. Clients download these files via lightpaths and store them as necessary. File downloading is blocked when the corresponding lightpath cannot be established. The blocking probability of file downloading depends on location of files. The case where a file is stored in a client is ideal because blocking of lightpath establishments does not occur. However, the storage size of the client is limited. In order to efficiently use storage resources of clients, our proposed scheme focuses on the fact that clients can download files stored in surrounding servers with low blocking probability. The proposed scheme regards a group of storages of a client and its surrounding servers as one storage. In particular, they preferentially store different files. By doing so, the probability that a file is stored at the client or its surrounding servers increases. Through simulation experiments, we show that the proposed scheme improves the blocking probability of file downloading efficiently.