基于深度学习的分布式安全日志分析方法

为了提高日志分析是当前进行入侵检测和安全防御的重要手段。针对传统基于规则的分析方法中误报、漏报较高,应对海量日志分析效率过低的问题,该文章提出了一种基于深度学习的分布式安全日志分析方法,通过将深度学习算法与现有黑白名单、规则匹配以及统计策略等技术结合,进行日志分析,检测网络中的安全威胁。系统采用分布式的存储和计算平台,能够进行离线和实时两种日志分析模式,可以满足大多数场景下海量的日志数据分析需求。     

基于Ray并行分布式框架的深度强化学习计算平台

近些年随着深度强化学习的不断发展,其训练成本也在不断增加,然而传统的训练平台大部分是基于顺序执行训练,不仅训练时间长、硬件成本高昂,且数据采样也非常困难。为了解决这些问题,本文中提出了一种基于Ray并行分布式架构的深度强化学习计算平台(RRLP),平台利用固定资源预算进行异步并行训练,兼容机器人仿真环境,不仅可以节约硬件资源,还可以加快采样与训练速度提高效率。通过实验可知基于Ray并行分布式架构的深度强化学习计算平台优于传统的计算平台,且有一定稳定性和可扩展性。     

用户QoS感知的GPU集群深度学习任务动态调度

提出一种GPU集群下用户服务质量QoS感知的深度学习研发平台上的动态任务调度方法.采用离线评估模块对深度学习任务进行离线评测并构建计算性能预测模型.在线调度模块基于性能预测模型,结合任务的预期QoS,共同开展任务放置和任务执行顺序的调度.在一个分布式GPU集群实例上的实验表明,该方法相比其他基准策略能够实现更高的QoS保证率和集群资源利用率.     

面向模拟数据的分布式深度学习训练优化方法

深度学习技术的迅猛发展推动了对大规模数据集高效训练的需求,然而传统的深度学习训练策略在应对此挑战时显得效率不足。针对此问题,文章深入研究传统并行计算策略与基于数据并行的分布式深度学习训练策略,并提出一种基于异构计算资源的集群资源调度优化方法。实验证明,新方法相较于传统并行方法,在训练时间和计算资源利用率方面均表现出显著优势,能够为大规模深度学习任务的高效训练提供有力支持。     

人工智能基础软硬件架构的关键技术研究

针对当前人工智能技术在军用领域的应用问题和难点,研究基于深度学习技术的军用软硬件架构设计方法,并且结合业内主流的软硬件基础架构,分析在军事应用中涉及的关键技术和解决思路。通过对深度学习模型压缩转化、数据增强和分布式训练等软硬件架构的关键技术研究,设计构建了一站式人工智能开发平台、嵌入式边缘智能计算平台,对军用人工智能提供端到端的训练、部署和测试支撑。该研究可为未来智能无人作战系统提供软硬协同的智能计算解决方案。     

时间和能量敏感的端——边—云车路协同系统资源调度优化方法

随着信息技术的不断发展,智能交通系统逐渐成为未来交通的发展方向.然而,智能交通系统中时间敏感型和计算密集型应用的日益增多,给资源有限的车辆终端带来了严峻挑战.端—边—云层次性计算架构是应对该挑战的有效手段.在基于端—边—云架构的车路协同系统中,车辆用户可以将时间敏感型任务卸载到附近的路边单元执行以保证应用的实时性,而将计算密集型任务卸载到云以满足其算力需求.但是,任务卸载也会导致额外的传输时延和能量开销.此外,任务在传输过程也可能遭受错误而导致可靠性降低.因此,为保障端—边—云车路协同系统中车辆的用户体验,提出一种基于多智能体强化学习的资源调度方案.该方案通过充分利用端—边—云架构的特点并采用集中训练—分散执行的框架来构建深度神经网络,以制定任务卸载和车路计算资源分配的最优决策,最终实现可靠性约束下的系统时延和能耗优化.为验证所提方案的有效性,实验通过效用值来体现算法在时延和能耗2方面的优化.实验结果表明,与现有算法相比,所提方案在满足可靠性约束的前提下,效用值可以提高到221.9%.     

云工作流中基于多任务时序卷积网络的异常检测方法

云计算数据中心在日常部署和运行过程中产生的大量日志可以帮助系统运维人员进行异常分析。路径异常和时延异常是云工作流中常见的异常。针对传统的异常检测方法分别对两种异常检测任务训练相应的学习模型,而忽略了两种异常检测任务之间的关联性,导致异常检测准确率下降的问题,提出了一种基于多任务时序卷积网络的日志异常检测方法。首先,基于日志流的事件模板,生成事件序列和时间序列;然后,训练基于多任务时序卷积网络的深度学习模型,该模型通过共享时序卷积网络中的浅层部分来从系统正常执行的流程中并行地学习事件和时间特征;最后,对云计算工作流中的异常进行分析,并设计了相关异常检测逻辑。在OpenStack数据集上的实验结果表明,与日志异常检测的领先算法DeepLog和基于主成分分析（PCA）的方法比较,所提方法的异常检测准确率至少提升了7.7个百分点。     

旋翼无人机在移动平台降落的控制参数自学习调节方法

无人机设备能够适应复杂地形,但由于电池容量等原因,无人机无法长时间执行任务。无人机与其他无人系统（无人车、无人船等）协同能够有效提升无人机的工作时间,完成既定任务,当无人机完成任务后,将无人机迅速稳定地降落至移动平台上是一项必要且具有挑战性的工作。针对降落问题,文中提出了基于矫正纠偏COACH(corrective advice communicated humans)方法的深度强化学习比例积分微分(proportional-integral-derivative, PID)方法,为无人机降落至移动平台提供了最优路径。首先在仿真环境中使用矫正纠偏框架对强化学习模型进行训练,然后在仿真环境和真实环境中,使用训练后的模型输出控制参数,最后利用输出参数获得无人机位置控制量。仿真结果和真实无人机实验表明,基于矫正纠偏COACH方法的深度强化学习PID方法优于传统控制方法,且能稳定完成在移动平台上的降落任务。     

面向任务调度优化的分布式系统信息管理框架

近年来深度学习作为学术界与工业界共同关注的热点,取得了飞跃式的发展,在计算机视觉、语音识别等领域取得了令人瞩目的成果.深度学习分训练与推理两个阶段,在实际应用中主要关注的是推理阶段.深度学习推理过程中伴随着巨大的计算量,通过分布式系统提高其计算速度也得到了越来越多的关注.然而,构建分布式深度学习推理系统面临着深度学习加速设备更新迭代快速、上层应用及计算任务复杂多样等挑战.本文设计并实现的系统信息管理框架,用于收集并处理系统中的各类信息,收集及处理的规则具有高度的可扩展性和灵活性,并提供通用的RESTful API数据访问接口,以支持分布式深度学习推理系统对各类硬件加速器的灵活兼容性以及对任务调度策略的动态调整能力.最后,本文通过一个应用实例对该框架的功能进行验证并对实验结果进行分析.     

一种面向分布式深度学习系统的资源及批尺寸协同配置方法

如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以...     

云计算中基于任务分层和时间约束的关联任务调度算法

针对云计算中对关联任务进行调度时出现任务执行延迟的问题,提出了一种基于任务分层和时间约束的关联任务调度(RTS-THTC)算法。该算法采用构建有向无环图(DAG)的方式表示关联任务的执行次序,通过使用对DAG进行分层的方法提高任务的并行性,计算每一层任务的完成时间约束,将每一层中的任务同时调度至具有最小完成时间的资源上。与基于异构环境的最小完成时间(HEFT)算法的对比实验〖BP(〗原文“试验”〖BP)〗结果表明,RTS-THTC算法在完成时间上比HEFT算法短,并且能够有效地减缓关联任务出现延迟的情况。     

基于异步奖励深度确定性策略梯度的边缘计算多任务资源联合优化

移动边缘计算（MEC）系统中,因本地计算能力和电池能量不足,终端设备可以决定是否将延迟敏感性任务卸载到边缘节点中执行。针对卸载过程中用户任务随机产生且系统资源动态变化问题,提出了一种基于异步奖励的深度确定性策略梯度（asynchronous reward deep deterministic policy gradient,ARDDPG）算法。不同于传统独立任务资源分配采用顺序等待执行的策略,该算法在任务产生的时隙即可执行资源分配,不必等待上一个任务执行完毕,以异步模式获取任务计算奖励。ARDDPG算法在时延约束下联合优化了任务卸载决策、动态带宽分配和计算资源分配,并通过深度确定性策略梯度训练神经网络来探索最佳优化性能。仿真结果表明,与随机策略、基线策略和DQN算法相比,ARDDPG算法在不同时延约束和任务生成率下有效降低了任务丢弃率和系统的时延和能耗。     

云平台下基于截止时间的自适应调度策略

针对在共享集群中进行任务调度时,无法兼顾任务的响应速度与任务完成时间的问题,提出一种基于截止时间的自适应调度算法。该算法以用户提交的截止时间为依据,根据任务的执行进度自适应地分配适当的计算资源。不同于传统调度方式里由用户提交固定资源参数,该算法在资源约束的情况下会对优先级高的任务进行抢占式调度以保证服务质量（QoS）,并在抢占过程结束后额外分配资源补偿被抢占的任务。在Spark平台进行的任务调度实验结果显示,与另一种资源协调者（YARN）框架下的调度算法相比,所提算法能严格地控制短任务的响应速度,并使长作业的任务完成时间缩短35%。     

边缘计算中协作计算卸载与动态任务调度

在边缘计算场景中,通过将部分待执行任务卸载到边缘服务器执行能够达到降低移动设备的负载、提升移动应用性能和减少设备开销的目的.对于时延敏感任务,只有在截止期限内完成才具有实际意义.但是边缘服务器的资源往往有限,当同时接收来自多个设备的数据传输及处理任务时,可能造成任务长时间的排队等待,导致部分任务因超时而执行失败,因此无法兼顾多个设备的性能目标.鉴于此,在计算卸载的基础上优化边缘服务器端的任务调度顺序.一方面,将时延感知的任务调度建模为一个长期优化问题,并使用基于组合多臂赌博机的在线学习方法动态调整服务器的调度顺序.另一方面,由于不同的任务执行顺序会改变任务卸载性能提升程度,因而影响任务卸载决策的有效性.为了增加卸载策略的鲁棒性,采用了带有扰动回报的深度Q学习方法决定任务执行位置.仿真算例证明了该策略可在平衡多个用户目标的同时减少系统的整体开销.     

计算资源共享平台中工作流任务调度研究

提出了计算资源共享平台中具有时间约束的工作流任务调度方法,该方法利用了非集中式的树型应用层覆盖网络拓扑结构,从而可以高效而快速的收集资源的可用信息。采用全局调度器与本地调度器结合的方式,通过定义资源的收集功能过程,使每个节点中的本地调度器能够把自身的资源可用信息提供给全局的调度器,工作流中任务的最后期限时间约束和任务的恢复时间以一种时间间隙的机制来完成。仿真结果表明,分治模式和解方程类的迭代模式的工作流任务能够在平台上成功调度运行,具有比较快的响应时间和低的通信负载。     

云计算环境下实训教学平台动态迁移策略

云服务环境下最大特点是按需交付,通过虚拟化技术将相关资源构建统一调度池,并且按照用户需求为用户提供服务,因此,云服务具有并行计算、开放性以及按需交付特性.对于实训教学平台来说,在云计算环境下需要面对各种用户需求,如请求任务各种各样,实验任务类型不尽相同,设备资源存在较大差异,通过虚拟化技术来实现规范化管理何资源共享,对云资源进行调度来才能有效满足用户需求,为此,在本文中提出了云计算环境下实训教学平台动态迁移策略.策略设计了三层协同资源调度机制来实现对资源和任务管理,重点研究了任务分割、资源划分、资源调度策略等,在此基础上对系统进行仿真实验,验证云计算环境下实训教学平台动态迁移策略可行与有效性.     

面向可信嵌入式系统的随机实时任务能耗优化

针对可信嵌入式系统应用中将任务的最坏情况下的执行时间(WCET)作为任务的实际执行时间,导致系统资源的极大浪费的问题,提出了一种基于随机任务概率模型的方法。首先,考虑任务执行时间具有特定概率分布,并且任务具有不错过其死限的概率(NDVP)需求,同时考虑了动态电压和频率调整(DVFS)对系统可靠性的影响,利用该技术降低能耗。然后,基于动态规划算法,提出了一种具有多项式运行时间的优化算法,并进一步设计了状态剔除规则降低算法运行开销。仿真表明,所提算法与最坏执行时间模型下的最优算法相比,系统能耗降低了30%以上。实验结果表明,考虑任务的随机执行时间能在保证系统可靠性的同时大大节约系统资源。     

云环境下基于聚簇的科学工作流执行优化策略

基于云环境下的科学工作流,以提高处理机利用率、降低费用为目标,提出了一种基于聚簇的执行优化策略。该策略首先基于合理的任务复制和分簇,以实现关键任务的尽早调度;在此基础上,对任务簇再次进行聚集,以充分利用任务簇中任务间可能的空闲时间。实验表明,该策略能够提高任务的并行度,提前工作流的最早完成时间,并且在提高处理机的利用率和降低科学工作流的执行费用方面有显著效果。     

边缘环境下计算密集型任务调度研究综述

随着移动设备数量的急剧增长及计算密集型应用如人脸识别、车联网以及虚拟现实等的广泛使用,为了实现满足用户QoS请求的任务和协同资源的最优匹配,使用合理的计算密集型应用的任务调度方案,从而解决边缘云中心时延长、成本高、负载不均衡和资源利用率低等问题。阐述了边缘计算环境下计算密集型应用的任务调度框架、执行过程、应用场景及性能指标。从时间和成本、能耗和资源利用率以及负载均衡和吞吐量为优化目标的边缘计算环境下计算密集型应用的任务调度策略进行了对比和分析,并归纳出目前这些策略的优缺点及适用场景。通过分析5G环境下基于SDN的边缘计算架构,提出了基于SDN环境下的边缘计算密集型数据包任务调度策略、基于深度强化学习的计算密集型应用的任务调度策略和5G IoV网络中多目标跨层任务调度策略。从容错调度、动态微服务调度、人群感知调度以及安全和隐私等几个方面总结和归纳了目前边缘计算环境中任务调度所面临的挑战。