网格环境中资源发现机制的研究

资源发现机制是关系到广域分布式环境中资源共享和协同工作效率的关键，在计算网格、Web服务和P2P技术中，都需要对这个问题进行深入研究，在织女星网格前期工作的基础上，讨论了资源发现机制中的核心问题，描述了织女星网格资源发现机制的层次结构以及各个层次的功能和实现，通过分析和实验，可以认为提出的资源发现机制具有以下特点：可在较小的开销下取得满意的资源定位性能，并具有网格环境下的可扩展性；能够适应网格资源动态变化的特性；能够解决资源发现过程中的负载平衡问题；可支持多种网格资源与应用。     

计算机系统变革性研究的4个问题

进入21世纪,计算机科学与技术领域正在面临一次深刻的变革,计算机系统子领域也不例外.指出这次变革的一个主要特征是从"人机共生"跃变到"人机物社会".这个跃变也为计算机系统的研究提出了4个带有基础性的挑战:1)重新审视计算和计算机系统概念,以及刻画新型负载和使用模式;2)研究新型的计算机系统度量;3)让计算机系统直接支持网络;4)发现和利用涌现现象.基于中国科学院计算技术研究所织女星网格小组和国际同行的研究工作,讨论了这4个问题,并指出这些问题还没有答案,这提供了很多研究机会.     

高能物理大数据挑战与海量事例特征索引技术研究

新一代高能物理实验装置的建成与运行,产生了PB乃至EB量级的数据,这对数据采集、存储、传输与共享、分析与处理等数据管理技术提出了巨大挑战.事例是高能物理实验的基本数据单元,一次大型实验即可产生万亿级的事例.传统高能物理数据处理以ROOT文件为基本存储和处理单位,每个ROOT文件可以包含数千至数亿个事例.这种基于文件的处理方式虽然降低了高能物理数据管理系统的开发难度,但物理分析仅对极少量的稀有事例感兴趣,这导致了数据传输量大、I/O瓶颈以及数据处理效率低等问题.提出一种面向事例的高能物理数据管理方法,重点研究海量事例特征高效索引技术.在这种方法中,将物理学家感兴趣的事例的特征量抽取出来建立专门的索引,存储在NoSQL数据库中.为便于物理分析处理,事例的原始数据仍然存放在ROOT文件中.最后,通过系统验证和分析表明,基于事例特征索引进行事例筛选是可行的,优化后的HBase系统可以满足事例索引的需求.     

数据和计算密集混合元任务的网格调度算法

网格计算技术是继Internet计算之后出现的新兴研究领域。网格系统由异构的资源组成，一个好的任务调度方法可以充分利用网格系统的处理能力，减少任务的完成时间。根据目前网格系统的使用模式，提出了符合实际的用户任务形式，即任务由数据传输和计算两部分组成，计算在获得所有输入之后开始执行。多个这样的独立任务组成元任务，作为调度程序的最小执行单位。在实际应用中，元任务应该由数据密集型和计算密集型任务混合组成。考虑到数据传输和计算的比例关系对元任务完成的影响，提出一种新的调度算法TCR，通过提高计算资源的利用率以及任务间的并行度，减少元任务的完成时间。详细介绍了该算法，并通过模拟结果的对比验证了该算法的良好性能。     

一种多线程计算程序的机群移植方法

机群并行化应用程序的用户接口和编程方式多种多样，常常令用户望而却步，该文详细了一种从程序的目标代码着手，以ELF格式可执行文件PLT表项重定位为基础，利用多线程程序自身的并发和同步特征，让线程中的计算负载分布到机群各节点的移植技术，为用户提供透明的机群并行机制，提出并讨论了相应的Master-Worker(Task-Farming)计算通信模型以及调度策略，最后，通过实现该移植技术，分析基于BLAS库多线程矩阵乘法程序移植后的运行结果，验证了该模型的可行性和效率。     

Vega Hotfile--一种网格文件管理协议的设计与实现

网格中的数据传输工具主要有GridFTP和GASS,但是GridFTP并非针对面向服务的网格体系结构设计,其部署、配置和管理困难,缺乏动态性和可扩展性;GT3中的另一个数据传输工具GASS由于传输过程延迟高,计算开销大而无法真正应用．因此基于Web Services与Servlet技术开发了一个数据传输协议,它不仅与网格面向服务的体系结构兼容,还减少了服务间由于XML消息传递带来的传输性能损失;授权之后的网格用户可以在Vega服务网格环境中动态地部署、维护、使用与卸载这种协议．测试表明,Vega Hotfile在以服务方式实现文件控制与传输的情况下具有较高性能．     

凌云体系结构及关键技术研究

云计算系统的基本模型、体系结构、关键技术与系统实现是当前学术界、IT企业界共同关注的热点问题.通过分析现存的2种云计算系统特征,包括垂直型和混合型云计算系统,发现构建生产性云计算系统过程中的3个重要且富有挑战性的问题：异构应用负载模式的高效支持、多租户的资源租赁和利用一套统一的系统整合海量异构的云资源.针对这些问题,简单介绍了凌云系统的组成与目标,提出了一种基于资产租约模型的云计算系统体系结构,并对资产分区管理、虚拟网络管理、虚拟电器管理、虚拟机群租赁框架、全局云用户管理等关键技术进行了简要分析.目前,凌云系统已经实现,并且已在实际环境中部署和实施.根据评价结果,凌云在统一性、灵活性、安全性、好用性和高效性等非功能性目标上基本都优于另外2套系统：OpenNebula和Enomaly ECP.性能测试数据表明,在64个虚拟机同时部署的情况下,凌云的虚拟机平均逻辑部署速度能够达到OpenNebula和VIDA组合的4.1倍.     

织女星网格路由器的应用与改进

资源发现是网格(grid)需要解决的一个核心问题．织女星(Vega)网格提出了一种完全分布式的资源发现机制：网格路由器,它以类似IP路由器的方式进行工作．为了体现网格路由器的特点及提供使用案例,设计和实现了一种基于网格的在线游戏服务平台,称为织女星游戏网格．针对网格路由器在该应用中出现的问题,对网格路由器进行了如下改进：基于UDP协议实现资源请求路由转发协议;通过IP协议测量网格路由器之间的物理网络距离;资源无需手工注册到网格路由器上即可被发现;基于图的遍历算法,对于SD-RT算法进行了改进．     

一种基于消息的网格与Web服务调试机制

本文提出了一种新的服务调试机制,给出了相关的服务调试规则和调试器结构.这一机制采用标准的服务消息协议处理调试命令请求和响应,采用具有服务行为操作语义的控制逻辑管理服务执行状态和行为断点,采用元级表示法处理相关服务调用执行过程中的上下文元素.在服务调试过程中,这种方法通过自标识检测有效地避免了多个服务调用调试可能产生的相互影响,为网格与Web服务提供了一种多对多在线调试方法.服务行为迁移调试处理方法扩展了常规调试技术和工具的使用范围,并使其更方便有效地用于服务行为的源码级调试.本文还介绍织女星服务调试器(Vega Service Debugger)原型系统组成及其特点.     

基于LDAP的网格监控系统

对于高性能分布计算环境-网格-来说，监控其中计算资源的状态是至关重要的。通过监控可以及时发现并排除故障。通过分析监控数据可以找出性能瓶颈，为系统调整提供可靠的依据，GridMon是基于LDAP目录服务的分布式网格监控系统同，改变了以往目录服务不存储动态信息的使用方法，灵活地将静态和动态信息结合在目录层次中，从而减少了客房端对服务器的交互次数，并采用中间件技术有效地解决了直接访问被监控主机带来的安全和接口问题。借助LDAP的目录层次，建立了网格系统树状基本结构。提出了网格监控对象和监控事件的概念及其表示方法，从而形成完整的网格监控结构模型，详细讨论了根据这个模型实现的网格监控原型系统-GridMon。最后，通过网格与机群系统的结构不同点，阐述了评价网格监控系统的要点，并以此为依据，结合应用前景对GridMon进行了客观的评价。