Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

LATE水平集图像分割模型的矩形窄带法

窄带法是水平集图像分割的一种常见的加速方法.传统窄带仍然存在冗余的计算区域;传统窄带法与LATE （Local Approximation of Taylor Expansion）水平集模型结合时,图像分割效率反而可能下降.针对这些问题,本文提出了一种基于LATE水平集图像分割模型的矩形窄带法.在每次LATE水平集迭代之前,对水平集做如下窄带处理.首先找出水平集的所有过零点;然后对过零点做活动约束,剔除不活动的过零点,有效缩小窄带范围;再对活动约束的过零点生成矩形窄带;对重叠的矩形窄带进行合并优化,使得矩形窄带总面积尽可能小.最后,在矩形窄带范围内求解水平集微分方程,更新水平集,完成本次迭代.在水平集演化的不同阶段,对传统窄带法的窄带面积与本文矩形窄带面积进行了比较.随着迭代次数增加,矩形窄带面积与传统窄带法的窄带面积之比逐渐减小到0,说明矩形窄带法有效地减少了冗余计算量.针对不同程度的灰度不均匀图像,本文方法与LATE方法、结合LATE模型的直接窄带法、以及结合LATE模型的DTM窄带法进行了比较.直接窄带法和DTM窄带法的分割速度反而慢于LATE方法.对灰度严重不均匀的图像,直接窄带法和DTM窄带法的分割质量受到了较大影响.本文方法在保持较好分割效果的条件下,分割速度快于LATE方法.本文的矩形窄带方法有效地降低了算法复杂度,提高了图像分割效率.     

Identification and Characterization of PSEUDO-RESPONSE REGULATOR (PRR) 1a and 1b Genes by CRISPR/Cas9-Targeted Mutagenesis in Chinese Cabbage (Brassica rapa L.)

The CRISPR/Cas9 site-directed gene-editing system offers great advantages for identifying gene function and crop improvement. The circadian clock measures and conveys day length information to control rhythmic hypocotyl growth in photoperiodic conditions, to achieve optimal fitness, but operates through largely unknown mechanisms. Here, we generated core circadian clock evening components, Brassica rapa PSEUDO-RESPONSE REGULATOR (BrPRR) 1a, 1b, and 1ab (both 1a and 1b double knockout) mutants, using CRISPR/Cas9 genome editing in Chinese cabbage, where 9–16 genetic edited lines of each mutant were obtained. The targeted deep sequencing showed that each mutant had 2–4 different mutation types at the target sites in the BrPRR1a and BrPRR1b genes. To identify the functions of BrPRR1a and 1b genes, hypocotyl length, and mRNA and protein levels of core circadian clock morning components, BrCCA1 (CIRCADIAN CLOCK-ASSOCIATED 1) and BrLHY (LATE ELONGATED HYPOCOTYL) a and b were examined under light/dark cycles and continuous light conditions. The BrPRR1a and 1ab double mutants showed longer hypocotyls, lower core circadian clock morning component mRNA and protein levels, and a shorter circadian rhythm than wildtype (WT). On the other hand, the BrPRR1b mutant was not significantly different from WT. These results suggested that two paralogous genes may not be associated with the same regulatory function in Chinese cabbage. Taken together, our results demonstrated that CRISPR/Cas9 is an efficient tool for achieving targeted genome modifications and elucidating the biological functions of circadian clock genes in B. rapa, for both breeding and improvement.     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

Hadoop云平台下基于LATE改进的推测执行算法

为解决Hadoop云平台下推测执行算法的不足,基于LATE算法提出一种新的任务进度计算方法,并且采用更细粒度的方式选择执行备份任务的节点。实验结果表明,该算法能够更精准的选定掉队者任务并选择合适的执行节点,缩短作业的执行时间,提高云平台的效率。     

Hadoop平台下改进的推测任务调度算法

研究对比Hadoop平台下默认的推测任务调度算法和异构环境下LATE调度算法的优势和不足,提出了一种基于Hadoop集群的改进的推测任务调度算法.该算法以节点历史信息对Reduce任务各阶段比例进行动态调整和更新,并对任务实时处理速率进行局部平滑处理来提高预估任务剩余完成时间的准确性,最后采用MCP模型对备份任务有效性进行验证.通过实验结果分析可知:该算法能够有效提升备份任务成功率,减少作业完成时间.     

基于LATE的Hadoop数据局部性改进调度算法

调度问题是目前云计算研究中的热点问题,其目的是如何协同云计算资源,使其得到充分合理的利用。数据局部性是特定云平台Hadoop的主要特性之一。针对该特性,在Hadoop原有调度算法LATE的基础上提出了一种基于数据局部性的改进算法,以解决数据局部性带来的慢任务备份执行时读取数据要占用大部分时间而影响其处理速率的问题。最后,对该算法进行了实验及性能分析,并验证了算法在提高任务的响应时间和整个系统吞吐率方面有很大改进。