Hadoop对小文件的处理性能的研究

Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目。它是一个开源免费的软件框架,受到谷歌的MapReduce和谷歌文件系统(GFS)的启发,由Java语言实现,全球的开发志愿者共同对它进行完善。Hadoop的子项目包括HDFS,MapReduce,HBase,Hive等。HDFS是一个分布式文件系统,提供高吞吐量的应用数据接口使得Hadoop具有很好的性能。MapReduce是一个软件框架,它执行涉及海量集群数据的分布式计算的MapReduce算法。尽管Hadoop被广泛使用,但它仍然存在一些影响性能的缺陷,对于小文件的处理能力就是其中缺陷之一。档案文件(Hadoop Archives)和序列文件(sequence files)是两种现有的改善小文件处理问题的解决方案,但它们仍然有各自的不足,提出一个解决方案,保留它们的优点使Hadoop在处理小文件上拥有更好的性能。     

A prediction-based dynamic file assignment strategy for parallel file systems

Nowadays, the rapid development of the internet calls for a high performance file system, and a lot of efforts have already been devoted to the issue of assigning nonpartitioned files in a parallel file system with the aim of pursuing a prompt response to requests. Yet most of the existing strategies still fail to bring about an optimal performance on system mean response time metrics, and new strategies which can achieve better performance in terms of mean response time become indispensable for parallel file systems. This paper, while addressing the issue of assigning nonpartitioned files in parallel file systems where the file accesses exhibit Poisson arrival rates and fixed service times, presents an on-line file assignment strategy, named prediction-based dynamic file assignment (PDFA), to minimize the mean response time among disks under different workload conditions, and a comparison of the PDFA with the well-known file assignment algorithms, such as HP and SOR. Comprehensive experimental results show that PDFA is able to improve the performance consistently in terms of mean response time among all algorithms for comparison.     

多头钻床轨迹规划和仿真软件的开发

针对多主轴头的数控钻床钻孔路径规划问题进行了分析,在充分考虑机床的机械结构和加工效率要求的前提下,提出了多头数控钻床的钻孔路径规划算法。首先分析了DXF文件的结构,接下来将二维空间中的孔群分解成一维空间中的孔群进行钻孔路径的规划。为了验证算法和真实加工的可行性,还开发了仿真软件,针对某工程中的某管板类零件规划了钻孔路径,并进行了仿真加工。仿真加工结果证明,开发的算法正确可靠,可以用来进行多头钻的钻孔路径规划。     

基于网络描述文件的新型LIN总线电动车窗设计

针对LIN总线型电动车窗电控单元程序设计任务重、可移植性差、透明度弱、不易维护等特点,提出了基于LIN网络描述文件的新型LIN总线电动车窗电控单元程序的快速设计法。利用网络描述文件对总线行为进行整体描述,同时融合相应的LIN驱动配置工具LDC实现了LIN底层驱动API程序代码的自动生成,为高效可靠设计LIN总线产品提供了新的解决方案。     

基于Web的IEC61850变电站非实时通信系统设计

结合IEC61850变电站客户/服务器模式(C/S)通信方式,设计了基于Web的IEC61850的变电站非实时通信系统,该系统可用于变电站监控系统和间隔层测控、保护设备之间的非实时信息通信.利用Visual C#.NET工具开发了客户端应用程序,选择Apache作为服务器并利用HTTP和TCP协议,实现了SCL所编写的...     

基于云存储的文件共享策略研究

云存储具有高可扩展性、低成本等特点,为用户文件共享提供了经济高效的服务,同时也带来了新的安全问题:在不可信的云存储中,如何在保证文件的安全和隐私的前提下,为特定用户共享。该方案提出了基于身份的公钥密码体制基础上,运用高效安全的代理环签名、动态广播加密和双线性对技术,通过授权用户列表,能动态加入和撤销共享用户,不需要更改老用户相关密钥。该方案简单可行,具有可追溯性、匿名性、不可伪造性等特点。     

基于MSP430和CF卡的FAT16文件系统设计

本文介绍了Compact F lash卡的基本结构和技术特征,详细说明了一种使用MSP430单片机和CF存储卡设计的FAT16文件系统,进行了接口电路和相应的软件系统设计。写入的文件能被W indows操作系统读写。该系统适用于进行大容量的现场数据采集、存储,并在动态心电图记录系统中得到了应用。     

浅谈现代人事档案管理新模式

新型人事档案管理模式,是在市场经济条件下产生的新模式,是对人事档案管理模式的补充。在现今乃至很长的时期内,传统人事档案管理仍将继续延用,但其较为封闭、内向的管理特点不应成为现代人事档案管理中唯一的方法;建立新型人事档案管理模式,社会化、开放化特点将更为人们所接受。我们应充分发挥两者优势,克服各自弊病,使人事档案管理模式更为充实和完善。     

基于BT技术的局域网文件传输

随着网络技术的不断发展,网络传输的速度越来越快,随之文件的体积也就越来越大,如果局域网内部还是采用传统的HTTP或FTP进行文件传输,就会对服务器性能要求越来越高,这种模式已经不能满足大规模的文件分享和传输,本文设计了基于BT技术的局域网文件传输模型。     

无线流媒体服务系统的设计与实现

为了满足移动用户对视频服务的需求,设计了无线流媒体系统．该系统采用AVS_M视频标准压缩视频文件,并将压缩文件以3GP文件格式存放于服务器．系统通过RTSP协议控制流媒体播放,SDP协议描述流媒体会话,RTP／RTCP协议传输和控制3GP流媒体数据．在NS2通信系统仿真软件和实验平台测试结果表明, 设计的系统能够更好服务于流媒体传输与终端回放．