首页 | 本学科首页   官方微博 | 高级检索  
文章检索
  按 检索   检索词:      
出版年份:   被引次数:   他引次数: 提示:输入*表示无穷大
  收费全文   29篇
  国内免费   7篇
  完全免费   27篇
  自动化技术   63篇
  2020年   1篇
  2019年   1篇
  2018年   1篇
  2017年   9篇
  2016年   4篇
  2015年   7篇
  2014年   17篇
  2013年   11篇
  2012年   7篇
  2011年   3篇
  2010年   2篇
排序方式: 共有63条查询结果,搜索用时 93 毫秒
1.
Namenode单点故障解决方案研究   总被引:3,自引:0,他引:3       下载免费PDF全文
邓鹏  李枚毅  何诚 《计算机工程》2012,38(21):40-44
针对Hadoop分布式文件系统中的Namenode单点故障问题,在研究Secondary Namenode机制、Backup Node机制和Facebook Avatar机制的基础上,提出一种Avatar改进方案。主节点向备用节点转发客户端请求,使用Zookeeper实现故障切换,从而解决Namenode的单点故障问题。利用Petri网模型在理论上证明了该方案的正确性,采用基于有限源的存储网络故障修复模型对该方案的可用性进行定量分析。实验结果表明,该方案具有不丢失数据、快速切换和故障自动恢复的特点。  相似文献
2.
基于Hadoop的云计算模型   总被引:2,自引:0,他引:2  
林清滢 《现代计算机》2010,(7):114-116,121
Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。  相似文献
3.
单机下Hadoop小文件处理性能分析   总被引:1,自引:0,他引:1  
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。  相似文献
4.
基于众包的社交网络数据采集模型设计与实现   总被引:1,自引:0,他引:1  
社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据,利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明,主题Deep Web爬虫系统配置简单,支持功能扩展和目标信息直接获取,数据采集模型具有较快的数据获取速度及较高的信息检索效率。  相似文献
5.
云计算与云数据存储技术研究   总被引:1,自引:0,他引:1  
在介绍了现有的云计算定义和特点的基础上,设计出了通用云计算的体系结构,针对云计算与其存储技术,给出了云存储系统的结构模型,分析了两种新型存储技术:GFS(Google File System)和HDFS(Hadoop Distributed File System);最后深入分析云计算和存储的发展趋势。  相似文献
6.
基于HDFS的小文件存储与读取优化策略   总被引:1,自引:0,他引:1       下载免费PDF全文
本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.  相似文献
7.
云数据存储与管理   总被引:1,自引:1,他引:0       下载免费PDF全文
云计算作为一种新兴的商业模式发展异常迅猛,数据存储与管理是云计算中非常重要也极具价值的研究领域。介绍了云存储的概念、云存储的优势及云存储的架构;结合企业的具体实例,从多层次多方位深度剖析了云数据存储技术GFS(Google File System)/HDFS(Hadoop Distributed File System)及云数据管理系统BigTable/HBase,并对它们进行了分析比较。  相似文献
8.
针对HDFS的副本方式难以满足动态的数据变化及用户需求,在原有HDFS的管理架构之上对其进行优化,定义了一种算法模型去定量的分析系统可用性参数,提出了一种动态副本调整策略,实现了针对数据存储资源的动态调度服务。模拟实验结果表明:当文件访问量变化的时候,该策略中的副本数量能动态地增加减少,从而验证了该策略的正确性和有效性。  相似文献
9.
The Hadoop Distributed File System (HDFS) is designed to run on commodity hardware and can be used as a stand-alone general purpose distributed file system (Hdfs user guide, 2008). It provides the ability to access bulk data with high I/O throughput. As a result, this system is suitable for applications that have large I/O data sets. However, the performance of HDFS decreases dramatically when handling the operations of interaction-intensive files, i.e., files that have relatively small size but are frequently accessed. The paper analyzes the cause of throughput degradation issue when accessing interaction-intensive files and presents an enhanced HDFS architecture along with an associated storage allocation algorithm that overcomes the performance degradation problem. Experiments have shown that with the proposed architecture together with the associated storage allocation algorithm, the HDFS throughput for interaction-intensive files increases 300% on average with only a negligible performance decrease for large data set tasks.  相似文献
10.
The performance evaluation of large file systems, such as storage and media streaming, motivates scalable generation of representative traces. We focus on two key characteristics of traces, popularity and temporal locality. The common practice of using a system-wide distribution obscures per-object behavior, which is important for system evaluation. We propose a model based on delayed renewal processes which, by sampling interarrival times for each object, accurately reproduces popularity and temporal locality for the trace. A lightweight version reduces the dimension of the model with statistical clustering. It is workload-agnostic and object type-aware, suitable for testing emerging workloads and ‘what-if’ scenarios. We implemented a synthetic trace generator and validated it using: (1) a Big Data storage (HDFS) workload from Yahoo!, (2) a trace from a feature animation company, and (3) a streaming media workload. Two case studies in caching and replicated distributed storage systems show that our traces produce application-level results similar to the real workload. The trace generator is fast and readily scales to a system of 4.3 million files. It outperforms existing models in terms of accurately reproducing the characteristics of the real trace.  相似文献
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号