面向Dataflow的异构集群混合式资源调度框架研究

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%     

数据密集作业在GPU集群上的调度算法研究

数据密集型作业包含大量的任务,使用GPU设备来提高任务的性能是目前的主要手段.但是,在解决数据密集型作业之间的GPU资源公平共享以及降低任务所需数据在网络间的传输代价方面,现有的研究方法没有综合考虑资源公平与数据传输代价的矛盾.分析了GPU集群资源调度的特点,提出了一种基于最小代价最大任务数的GPU集群资源调度算法,解决了GPU资源的公平分配与数据传输代价较高的矛盾.将调度过程分为两个阶段：第1阶段为各个作业按照数据传输代价给出自己的最优方案;第2阶段为资源分配器合并各个作业的方案,按照公平性给出全局的最优方案.首先,给出了GPU集群资源调度框架的总体结构,各个作业给出自己的最优方案,资源分配进行全局优化;第二,给出了网络带宽估计策略以及计算任务的数据传输代价的方法;第三,给出了基于GPU数量的资源公平分配的基本算法;第四,提出了最小代价最大任务数的资源调度算法,描述了资源非抢夺、抢夺以及不考虑资源公平策略的实现策略;最后,设计了6种数据密集型计算作业,对所提出的算法进行了实验.通过实验验证,最小代价最大任务数的资源调度算法对于资源公平性能够达到90%左右,同时亦能保证作业并行运行时间最小.     

浅谈用电检查对企业安全用电的重要性

用电检查工作是电力企业的一项基础性工作,它可以为企业的用电安全提供一定的保障.本文主要从用电检查对企业安全用电的意义和作用入手,用电检查对企业安全用电的重要性进行了分析.     

聚邻氨基苯甲酸/纳米金复合膜电化学免疫传感器用于水体中大肠杆菌的检测

以聚邻氨基苯甲酸/纳米金复合膜(poly-o-ABA/AuNP)为基底固载大肠杆菌抗体制备了一种新型的电化学免疫传感器.利用大肠杆菌与抗体之间的免疫反应构建了三明治夹心结构,以对苯二酚为电子媒介体,通过辣根过氧化酶(HRP)催化H2O2产生的响应电流对大肠杆菌进行检测.结果表明,在优化的实验条件下,该传感器的响应电流与大肠杆菌的浓度在1.0×103～1.0×107cfu/mL范围内呈良好的线性关系,检测限为2×102cfu/mL.经过预富集过程,该方法成功实现了对河水中大肠杆菌的检测.