排序方式: 共有53条查询结果,搜索用时 0 毫秒
1.
集群计算体系的广泛应用,使得集群系统的用户管理问题越来越重要.提出了一种基于LDAP和AFS分布式文件系统的用户管理方案,在保证用户集中管理的同时,提供了用户目录的透明访问和较高的用户数据安全性. 相似文献
2.
设计并实现了一个网格环境下满足大批量作业提交管理需要的图形系统,可以很好地克服命令行方式的困难,实现大批量作业的提交、管理和监控,该系统可以很好地应用于本地机群之上,并且易于扩展并应用到其他网格应用领域. 相似文献
3.
当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现。针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式。通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统。测试结果表明,在数值计算和迭代算法上相比Spark至少有50%的性能提升。 相似文献
4.
5.
6.
在大型强子对撞机(LHC)上紧凑型缪子螺线管探测器(CMS)实验的复杂数据环境下,有多个关系型数据源记录了关于数据组织和分布的信息。为实现数据查询系统的精确关键词查询功能,通过分析数据库模式图的方法,将关键词查询语言动态翻译成SQL语言,设计并实现一个跨数据库平台的关键词查询系统。针对动态翻译过程中存在的二义性问题,提出基于查询实体的模式图分析算法,以及基于最小权重树查找的动态连接算法。实验结果表明,该动态连接算法能为关键词查询正确生成所需数据库表的连接方式,使关键词查询系统具有较高的查询效率,以满足用户实时、精确查询的需求。 相似文献
7.
高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及MapReduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、MapReduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。 相似文献
8.
传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率. 相似文献
9.
10.
为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问。在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明,该方法的数据读取性能提升了14.5%,写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升。 相似文献