共查询到20条相似文献,搜索用时 0 毫秒
1.
2.
大规模并行作业的计算通常涉及海量的计算数据和众多的高性能计算设备.随着网格计算技术帮助人们进行计算的同时,大规模并行作业的数据规模的增长也越来越快,对计算速度的要求也越来越高,为了充分利用网格等计算平台上的资源,提高作业的计算效率,人们通常需要将待计算的数据进行分组,然后分别上传至不同的平台上进行计算,这对科学研究和数据管理造成了极大的不便.本文提出了一个针对大规模并行作业计算的统一数据管理空间,实现了异构网格和计算平台上数据的逻辑整合,从而大大提高了对计算数据的管理效率,加快了科学活动的进程.本文最后通过统一数据管理空间在大规模虚拟筛选中的应用,对该统一空间的数据传输效率和数据管理能力进行了分析. 相似文献
3.
Managing scientific data is by no means a trivial task even in a single site environment with a small number of researchers
involved. We discuss some issues concerned with posing well-specified experiments in terms of parameters or instrument settings
and the metadata framework that arises from doing so. We are particularly interested in parallel computer simulation experiments,
where very large quantities of warehouse-able data are involved, run in a multi-site Grid environment. We consider SQL databases
and other framework technologies for manipulating experimental data. Our framework manages the outputs from parallel runs
that arise from large cross-products of parameter combinations. Considerable useful experiment planning and analysis can be
done with the sparse metadata without fully expanding the parameter cross-products. Extra value can be obtained from simulation
output that can subsequently be data-mined. We have particular interests in running large scale Monte Carlo physics model
simulations. Finding ourselves overwhelmed by the problems of managing data and compute resources, we have built a prototype
tool using Java and MySQL that addresses these issues. We use this example to discuss type-space management and other fundamental
ideas for implementing a laboratory information management system. 相似文献
4.
Peer-to-Peer (P2P) systems have attracted much attention in academic commu-nity and industry circles due to their promising applications in various domains. This paper presents the authors‘ research efforts on introducing complex query capabilities in a P2P environ-ment consisting of numerous peers with large volume of data. An underlying hybrid P2P computing platform, named BestPeer is described first. The connection among peers within BestPeer is self-configurable through maintaining the nearest neighbor of peers, and the agent techniques employed in the system ensure its capability of providing sophisticated services. The designs of three P2P data management systems which are all based on BestPeer are described in detail. They provide support for information retrieval, query processing and Web services respectively. Advantages and limitations are discussed, while ongoing work is presented. Current systems can provide basic functions for keyword-based search, SQL-like query processing, and Web services querying and discovery. Some further topics on providing fully-fledged data management functionalities for P2P distributed computing systems with security guarantee are also discussed. 相似文献
5.
6.
7.
本文重点介绍基于ASP技术所开发的“国际经济学(英)在线测试系统”中试题管理模块的开发与实现,包括浏览试题、增加试题、删除试题、修改试题,把Excel表中数据批量导入到Access数据库等技术,并提供系统的关键代码。该模块具有多题型、多学科的适用性和灵活多变的扩展性。 相似文献
8.
Large Grid systems not only provide massive aggregated computing power but also an unprecedented amount of distributed storage space. Unfortunately, the dynamic behavior of the Grid, caused by varying resource availability, unpredictable data updates, and the impact of local site policies makes it difficult to exploit the full capabilities of Data Grids.We present an analytical model for determining the optimal number of replica servers, catalog servers, and catalog sizes to guarantee a given overall reliability in the face of unreliable components. Our model captures the characteristics of peer-to-peer-like environments as well as that of Grid systems. Empirical simulations confirm the accuracy of our analytical model. 相似文献
9.
产品数据管理系统(PDM)是计算机技术在企业生产中的运用,能够帮助企业提高生产效率和产品质量。因此,PDM系统的开发也随着计算机软件技术的发展不断引进新技术。文中分析了目前PDM系统常用构造及数据框架,并在引入构件技术和软件代理技术开发的基于构件的PDM系统模型的基础上,提出了对系统中工程数据的管理办法,以及对系统中的构件进行有效管理,使得在开发中能够迅速地检索出可复用构件,然后对构件提取和组装,从而达到软件的复用,提高软件生产率和质量。 相似文献
10.
介绍了一个面向中小型企业的产品数据管理系统SMPDM。它是一个建立在PDM基本框架之上,集产品结构与配置管理、图档管理、工艺卡片管理及编码管理为一体的实用系统。它实施简单,见效快,是管理中小型企业产品数据的良好工具。 相似文献
11.
当前高校大数据应用面临数据集成困难、成果难以应用、知识难以管理等问题,急需加以解决.本文结合知识管理与软件工程方法,首先设计了基于CRISP-DM的高校大数据挖掘流程;在此基础上,设计了高校知识管理系统的总体架构和功能模型;然后对主要功能模型进行了详细设计,并对其关键技术——数据集成方法、大数据挖掘技术进行了分析和设计;最后给出了该系统的开发环境及测试情况.该系统设计方案对高校大数据应用提供了参考和借鉴. 相似文献
12.
13.
数据网格的数据管理策略 总被引:6,自引:0,他引:6
数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能,数据网格主要包括数据存储系统和数据管理系统两大部分.数据管理系统对所存储的数据进行管理,主要包括数据的传送和复制等操作.文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作. 相似文献
14.
15.
电信业的数据量长年保持高速增长,给数据的管理和维护带来了诸多问题,如存储空间、数据保存、存储维护成本、庞大的数据处理对主机的压力、数据安全等。利用数据生命周期管理系统,能节约企业的投入成本,提升系统的运行效率,提升客户的满意度。 相似文献
16.
技术文档和设计文档标准化管理工作在行业的发展、产品的生产中起着不可替代的作用,管理的好坏直接关系到能否及时给用户提供满意产品,关系到企业的经济利益及后续发展。本文通过计算机网络,引入产品数据管理系统(PDM),有效利用网络资源,提高了技术文档和设计文档的审查效率,加强了产品的标准化管理,使产品标准化要求的”三化(通用化、系列化、模块化)”得到更好的贯彻。 相似文献
17.
The DataGrid Workload Management System: Challenges and Results 总被引:1,自引:0,他引:1
G. Avellino S. Beco B. Cantalupo A. Maraschini F. Pacini M. Sottilaro A. Terracina D. Colling F. Giacomini E. Ronchieri A. Gianelle M. Mazzucato R. Peluso M. Sgaravatto A. Guarise R. Piro A. Werbrouck D. Kouřil A. Křenek L. Matyska M. Mulač J. Pospíšil M. Ruda Z. Salvet J. Sitera J. Škrabal M. Voců M. Mezzadri F. Prelz S. Monforte M. Pappalardo 《Journal of Grid Computing》2004,2(4):353-367
The workload management task of the DataGrid project was mandated to define and implement a suitable architecture for distributed scheduling and resource management in a Grid environment. The result was the design and implementation of a Grid Workload Management System, a super-scheduler with the distinguishing property of being able to take data access requirements into account when scheduling jobs to the available Grid resources. Many novel issues in various fields were faced such as resource management, resource reservation and co-allocation, Grid accounting. In this paper, the architecture and the functionality provided by the DataGrid Workload Management System are presented. 相似文献
18.
在大规模数据中心场景下,采集系统要实时并发处理大规模数据来保证监控数据的实时性。论文首先描述了大规模数据中心监控数据的规模,并指出监控数据的并发处理中存在的问题,然后针对问题提出关键技术和解决方案,进而基于上述研究结果进行架构设计。经过实验验证Storm应用于大规模数据中心监控数据的并发处理业务,可以保证监控数据的实时性,并且系统具备一定的扩展性。 相似文献
19.
研究了一种改进的可跨平台使用的航天器数据管理系统,采用这种系统设计的航天器能够在出现故障或飞行任务发生改变时通过硬件重构完成飞行任务.在此基础上利用FPGA芯片结合SOPC(system on the programmable chip,可编程片上系统)技术,设计了一种新型航天器数据管理系统. 相似文献
20.
WEB数据集成系统中元数据的管理 总被引:4,自引:0,他引:4
在WEB数据集成系统中,对数据源元数据进行有效管理是实现WEB数据集成系统的关键。本文提出了利用XMLSchema设计元数据字典(MDD)的通用模型,依此模型实现对各数据源元数据的有效管理,并进一步分析在模式集成中常见异构性的解决方法。 相似文献