适用于电网调控系统的细粒度多机冗余机制的设计与实现

针对传统的主备切换方法只能支持双机,仅支持心跳一种判断标准,需要人工介入进行切换,且存在单点故障等问题,提出了一种基于细粒度应用管理的多机主备冗余机制。该机制通过使用细粒度应用管理、多种条件的故障检测、分布式状态转换等技术,实现了多机主备冗余和资源充分利用,并且切换过程无需人工干预。最后通过多场景下的多次测试,验证了本机制在功能、性能方面的良好表现。多机冗余机制已在国调、华北、江苏等多个调控机构得到了应用。     

云平台中MySQL数据库高可用性的设计与实现

为解决OpenStack云平台中单个节点的MySQL数据库在面临高并发访问和海量数据增长的情况下存在可靠性低、存储扩展性差、单点瓶颈等问题,设计并实现一种以Ceph分布式文件系统为存储后端的高可用MySQL数据库集群系统。通过集群技术消除基于独立服务器的单点瓶颈问题,保障业务的可靠性和高可用性,设计一套优化模型提高故障切换效率,底层的Ceph分布式文件系统为数据存储提供扩展性和安全性。实验结果表明,该MySQL高可用集群可以实现存储的扩展和节点失效情况下的故障切换,该优化模型可以有效降低故障切换时间。     

MooseFS热备元数据节点设计与实现

针对MooseFS元数据节点的单点故障问题，对MooseFS源码进行改造，为其增加一个热备的备元数据节点，并通过主备之间同步元数据，备节点回放操作日志等技术使得备元数据节点内存中的元数据时刻跟主元数据节点保持一致。当主元数据节点发生故障切换到备元数据节点后，备元数据节点无需从本地加载元数据即可快速接替主元数据节点对外提供服务。测试结果表明，备元数据节点本地和内存中的元数据均与主元数据节点保持一致，且故障恢复时间小于1 s。     

基于PMIPv6的移动网络快速切换方案

针对移动网络应用在代理移动IPv6域中存在切换时延大并且缺乏对域间切换有效支持的问题,提出一种基于PMIPv6的移动网络快速切换方案。该方案通过结合二层机制在移动节点完成注册之前进行预切换,提前获取节点信息,建立缓存数据转发隧道,利用扩展的信令消息进行不同域间实体的交互,实现对域间切换的有效支持,并引入双重缓存机制,避免了切换过程中的分组丢失。分析和仿真结果表明,本方案相对传统机制,降低了系统切换时延。     

基于位置预查询的因特网移动支持方案

提出一种预查询移动支持方案(mobile Internet protocol_based on location pre-query,简称MIP_Q),以解决家乡网络的流量瓶颈和单点故障问题,从而提高移动通信的效率和可靠性.MIP_Q通过扩展域名服务系统管理和跟踪移动节点的当前位置信息,省去了家乡代理;采用并行切换控制方式,同时避免了MIP(mobile Internet protocol,简称MIP)中的三角路由和隧道路由问题;借助有效的计算方法,分析和比较了MIP_Q与MIP,MIP_LR的平均移动通信成本和切换时延;在实现方面与广泛应用的广域蜂窝移动网络进行了类比.结果表明:MIP_Q在切换效率和新增实体数等方面优于同类方案;MIP_Q可以极大地降低节点的移动通信成本,减小切换时延;MIP_Q具有良好的可行性.最后提出MIP_Q的仿真和实现方案.     

基于QoS上下文转移的移动IPv6无缝切换方案

利用移动IPv6快速切换的特点和上下文切换技术相结合，综合快速切换和层次化移动管理的优势，通过对移动IPv6快速切换模型和信令交互的修改，以及对邻居发现协议的扩展，提出一套基于移动IPv6的服务质量上下文转移方案QoSCT．该方案引入功能实体切换指示节点（HDP），搜索最适合的接入路由器并指导相应邻接路由器传递实时业务流的QoS上下文；利用快速切换方案的链路层触发机制作为上下文切换的触发点，在移动节点完成切换的同时完成QoS上下文的转换，避免了移动节点盲目切换和资源浪费．理论分析和仿真试验表明，QoSCT方案可以显著降低实时业务切换时的延迟抖动，实现移动节点的无缝切换．     

UAVS通信网切换管理方案设计与分析*

针对UAVS通信网中的切换管理问题,提出了融合滞后余量与门限结合的切换判决方法、基于UAV节点自主决策的紧急切换控制策略和GCM-FIFO信道分配方案的切换管理方案.相关理论分析表明,该切换管理方案解决了UAVS通信网中节点高移动性、切换业务量高但信道数有限以及由于中继机节点遭遇威胁而带来的紧急切换等问题.     

基于MIPv6快速切换的家乡注册安全机制

为解决移动IPv6快速切换中移动节点的身份认证问题,提出一种新的基于MIPv6快速切换的家乡注册安全机制。在MIPv6快速切换中引用基于密钥生成中心(KGC)的改进签名方案,该方案中KGC仅知道用户的部分私钥,并且用户可以自己生成用于签名的公私钥对,解决了密钥托管和密钥撤销问题。移动节点和接入路由器运用改进的签名方案签名消息,仅往返一次消息交互就实现快速切换并完成家乡注册,并且在访问域中实现MN与NAR之间的双向认证。另外,利用Diffie-Hellman密钥交换原理保护消息交互过程。经过分析,该家乡注册机制具有高效、安全的特性。     

天地一体化网络中基于预认证与群组管理的安全切换方案

针对天地一体化网络中卫星节点高速移动过程的卫星接入点频繁切换问题,利用卫星轨迹可预测的特点,提出了基于组的多移动节点安全切换方案。该方案针对网络中卫星节点和地面移动节点的移动特性,对多移动节点切换过程中的交互信息进行有效汇聚;利用卫星节点运动轨迹可预测的特性,提前通过安全上下文完成预认证与会话密钥协商。和已有方案相比,所提切换方案在保证切换所必备的安全性的同时,显著减小了切换延时以及认证和密钥协商过程中节点的通信、计算负担,适用于卫星节点能量受限的天地一体化网络环境。     

OpenStack云平台的高可用设计与实现

实现高可用性是OpenStack云计算管理平台研究的重要问题之一。针对OpenStack云计算管理平台的相关服务组件运行在单节点上易导致单点故障(SPoF)的问题,结合现有多种系统高可用性解决方案,提出一种基于Pacemaker+Corosync＋HAProxy+Ceph的解决方案以实现OpenStack云计算管理平台的高可用。该方案将Active-Active的双活模式、Active-Passive的主备模式及集群技术3种高可用设计模式融合在一起,通过软硬件冗余和服务实例故障转移等方式实现OpenStack云计算管理平台的高可用性。实验证明,在少量节点或链路中断的情况下OpenStack云计算管理平台仍然能够稳定运行,该高可用性方案具有可行性。     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.     

利用并行GPU对分层分布式狄利克雷分布算法加速

分层分布式狄利克雷分布(HD-LDA)算法是一个对潜在狄利克雷分布(LDA)进行改进的基于概率增长模型的文本分类算法,与只能在单机上运行的LDA算法相比,可以运行在分布式框架下,进行分布式并行处理。Mahout在Hadoop框架下实现了HD-LDA算法,但是因为单节点算法的计算量大,仍然存在对大数据分类运行时间太长的问题。而大规模文本集合分散到多个节点上迭代推导,单个节点上文档集合的推导仍是顺序进行的,所以处理大规模文本集合时仍然需要很长时间才能完成全部文本的分类。为此,提出将Hadoop与图形处理器(GPU)相结合,将单节点文本集合的推导过程转移到GPU上运行,实现单节点多个文档并行推导,利用多台并行的GPU对HD-LDA算法进行加速。应用结果表明,使用该方法能使分布式框架下的HD-LDA算法对大规模文本集合处理达到7倍的加速比。     

改进的Hadoop作业调度算法

分布式集群普遍存在负载均衡问题,而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制,但是效果不太理想,因此运行过程中经常会出现负载不均衡的情况。针对如上问题,深入分析了Hadoop源代码,理清了Hadoop的运行原理,在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序,建立了新的任务排序规则,提出了对各节点性能评价的指标,分为动态性能指标和静态性能指标。在此基础上对Yarn的FairScheduler算法进行了改进,形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译,在所搭建的Hadoop平台上进行了对比实验,证明了加入节点性能指标有效解决了Hadoop负载均衡问题,对Hadoop的运行效率有了很大提高。     

单机下Hadoop小文件处理性能分析

Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。     

高可用性集群中多个节点的热切换研究

提出了一种应用于多个节点集群热切换技术。测试表明,利用这个热切换技术的系统能把任一失效工作节点上的任务迅速、准确地转移到备份节点上,使集群的服务不中断。     

Hadoop云平台的一种新的任务调度和监控机制

云平台任务监控与资源调度机制是云平台的核心功能之一。Hadoop云平台中任务监控和资源管理的任务是由JobTracker负责处理,并通过slave节点向其发送心跳消息来实现。这种方式导致JobTracker的负载过重,降低了Hadoop云平台的工作效率,限制了Hadoop云平台的规模。提出了一种新的任务监控方案,该方案将JobTracker的任务监控和资源管理功能分离,任务监控功能仍由JobTracker节点完成,资源管理功能由新增的资源管理节点完成,JobTracker通过增量更新的算法将任务调度所需的对象信息动态同步到资源管理节点上,资源管理节点根据心跳消息进行任务分配,并将分配结果返回给JobTracker节点。实验结果表明,本方案不仅通过监控节点实现了任务的监控,增加了监控的灵活性和鲁棒性,而且降低了Jobtracker节点的负担,可有效提高Hadoop云平台的工作效率和规模。     

Hadoop中处理海量小文件的方法

针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDFS的I/O性能.     

建立Avatar感知能力与自主行为选择模型的新方法

在人脸重构系统与智能虚拟环境系统的研究基础上，提出了一种基于Agent的建立虚拟人感知能力与行为选择模型的新方法。该方法把虚拟人(Avatar)当成一个Agent，它在虚拟场景中能够识别三维物体以及利用传感器计算物体的运动方向。Avatar的行走采用骨架模型来进行仿真，并且其行走行为由七个基本动作行为组成。实验结果显示新方法是具有较好的效果。     

Tuning SCTP failover for carrier grade telephony signaling

The Stream Control Transmission Protocol (SCTP) has not only been selected as the signaling transport protocol of choice in IETF SIGTRAN, the architecture that bridges circuit-switched and IP-based mobile core networks, but also plays a pivotal role in SAE/LTE, the next-generation UMTS/HSPA networks. To meet the redundancy requirements of telecom signaling traffic, SCTP includes a failover mechanism that enables rerouting of traffic from an unreachable network path to a backup path. However, the recommendations provided by IETF on how to configure the SCTP failover mechanism to meet telecom signaling requirements are kept quite general and leave much of the tuning to the telecom equipment vendor and/or operator. Several works by us and others have been carried out to study the effect of different SCTP parameters on the failover performance. The main contribution of this paper is that it gives a coherent treatment of how to configure the SCTP failover mechanism for carrier-grade telephony signaling, and provides practically usable configuration recommendations. The paper also discusses an alternate or complementary way of optimizing the SCTP failover mechanism by relaxing the exponential backoff that foregoes a retransmission timeout in SCTP. Some results showing significantly reduced failover times by use of this mechanism, with only marginal deteriorating effects on a signaling network, are discussed and analyzed in the paper.     

应用Hadoop提升数据库审计系统检索性能的研究

鉴于单节点数据库审计系统检索性能低下的现状,探讨应用Hadoop伪分布模式和HBase列存储模型重构数据库审计系统的检索存储体系,重点研究HDFS存储机制、MapReduce运算框架和HBase数据模型三者的集成,以提升数据库审计系统实时检索和综合分析的性能.重构方案有效提升了检索性能,但鉴于数据的高可靠性和大体积,提出结合生产现状应用Hadoop和HBase分布式集群的展望.