科学数据“东数西算”组织机制与传输模式研究

【目的】科学数据“东数西算”是“东数西算”工程的重要组成部分,其顺利实施需要众多机构协同合作。研究其组织机制与传输模式,凝练出科学的技术方案,归纳典型的示范案例,对促进科学数据“东数西算”具有重要意义。【方法】本文首先从组织机制的角度分析了科学数据处理的3种模式,然后探讨了科研联盟模式下基于联盟链理论的科学数据传输模型构建,最后结合基于科研联盟模式与科学数据传输模型开展的科学数据“东数西算”具体实践,总结开展科学数据“东数西算”的相关经验。【结果】科研联盟模式可以整合现有资源促进科学数据流通,可溯源的数据传输模型使各机构在确认权责利益时有据可循。【结论】建立科学的组织机制与传输模式能够减少科学数据“东数西算”过程中的资源投入,提高数据传输效率,促进科学数据安全流通与高效利用。     

基于高性能计算环境的HPC算力编程模式

【目的】随着云计算、大数据、人工智能等技术的兴起和广泛应用,促进了基于多元算力的融合计算发展。在国家“东数西算”战略的指引下,充分发挥HPC算力优势,提供新型HPC算力编程模式,是新一代计算基础设施可编程能力的重要变革。【方法】分析了高性能计算环境服务模式发展和现有计算环境下不同的编程模式,提出了基于高性能计算环境的HPC算力编程模式HPC as a function,定义了HPC算力和任务模式的基本抽象,以及HPC算力编程模式的参考体系结构。【结果】HPC算力编程模式可支持科研业务中融合计算对HPC算力的基本需求,可将适用于HPC的计算任务分发到合适的计算资源执行并有效管理,相比传统的工作流系统提供了更大的灵活性和可编程性。【结论】HPC算力编程模式可望有效提高“东数西算”计算基础设施的可编程性。     

应用感知的算力优化调度方法

【目的】在“东数西算”工程的大背景下,为了更好地实现对分布在不同地域超级计算机资源的调度管理,针对计算资源忙闲不均等问题,提出通过研究典型应用作业的运行特征,开发多中心任务的调度系统,以解决国家高性能计算环境统一调度的关键技术问题。【方法】首先收集了若干超级计算中心的应用运行历史情况,建立了应用运行历史数据库;其次将用户应用对资源的需求和典型应用的资源使用特征分析相结合,通过机器学习的方法,建立了一种可精确描述应用特征的框架;然后实现了跨集群高性能计算应用的容器方式迁移;最后研究了基于多中心应用特征的任务调度方法,开发了基于应用感知的全局资源优化调度系统。【结果】该系统为国家高性能计算环境服务化运营和稳定运行提供了有力的技术支撑。【结论】基于应用感知的算力优化调度方法可望有效提高“东数西算”的可靠性、可用性和可维护性。     

“东数西算”趋势下的气象算力网络和算力服务体系架构

【目的】作为具有高度信息化特性的气象业务,对信息系统有强烈的需求和依赖。先进的有持续发展能力的系统体系结构对系统的建设和业务功能效率的支持起着决定性作用。【方法】“全国一体化大数据中心体系”和“东数西算”战略为信息系统架构的建立展现了一个新的视野,并为各行业数字化转型提供了新的方向和思路。本文首先概述了现代“算力体系结构”及其应具备的核心内容及关键特性,然后进一步分析气象行业个性化的特殊性需求。【结果】通过分析并结合“Cloud Native”等现代云计算技术,构想一个“气象算力体系结构”,描述了气象业务框架的核心功能领域以及“气象算力架构”的可持续发展能力。     

一种面向超大城市治理的数据高效跨域流通技术框架

【目的】超大城市作为一个大规模复杂系统,具有高维全域性、动态复杂性、快速成长性的显著特征,其科学治理需要解决数据在跨领域、跨层级、跨主体等跨域场景下的高效流通问题。【方法】针对超大城市中数源海量、数据分散、场景复杂等主要挑战,本文提出数据高效跨域流通技术框架,该框架包括基于目录生成的分布式数据标识、基于数据路由的多主体跨域调度和基于算法切片的安全协同计算等关键技术。【结果】基于该框架构建了多层级、多粒度的目录链系统,面向北京市,支持了数千个分散数据源、上万类异质数据结构、千亿级实时数据的数据高效跨域流通,并在智能派单、证照验证等场景下进行了验证。【结论】该框架为面向超大城市治理的数据高效跨域流通提供了一种可行技术路径。     

算力网络可编程服务路由策略的分析与探讨

【目的】分析和设计了面向算力网络的可编程服务路由策略的实现机制,使得网络可灵活高效、按需实时地调用计算资源。【方法】结合算力网络的可编程服务理念,设计了路由策略的三种实现机制,包括集中式、分布式以及集中与分布协同的混合式,详细介绍了每种实现机制的信息通告、路由决策、流量转发等服务流程,以及技术特点和应用场景。【结果】面向算力网络的可编程服务路由策略可基于业务场景及网络状况等特点,按需选择不同实现机制进行部署。【结论】算力网络可编程服务路由策略的研究将为算网一体化编排调度赋能,实现算力随需随选随时随地接入,但仍需从技术标准、商业应用、产业生态等多方面推进深入研究与落地。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

结合优势结构和最小目标Q值的深度强化学习导航算法

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.     

前 言

<正>随着新一轮科技革命和产业变革的深入推进,以工业互联网、沉浸式媒体、无人驾驶等为代表的新技术、新业态、新场景和新模式不断涌现、层出不穷.数据量与计算量持续攀升,算力成为信息网络时代的核心生产力. 2022年3月,我国正式实施了“东数西算”工程,在全国范围内协同构建算力流通体系.在此背景下,网络作为连接用户、数据、算力的主动脉,与算力融合共生不断深入,算力网络应运而生,以期通过网络将计算、存储等基础资源在云、边、端之间进行有效调配.这将极大地强化信息基础资源算力的流通和利用效率,推动社会经济发展和提高人类生活水平.为推动我国在算力网络领域的创新与发展,值此东数西算开展一周年之际,我们组织了本期“算力网络”专题,旨在征集新一代算力网络特别是以算力为中心的架构、分配、调度、交易及安全等的前沿技术与应用.本专题2023年1月初征稿结束,经过四十余人次专家的两轮评审,最终收录了9篇论文,内容涵盖了算力网络资源调度、算力度量、     

一种深度学习的非机动车辆目标检测算法

针对道路交通场景目标检测问题,提出采用EdgeBoxes算法和深度学习融合的非机动车辆目标检测方法,利用深度学习目标分类算法Fast R-CNN,结合VOC格式的非机动车辆数据样本,把道路交通场景中的目标检测问题实化为自行车（bicycle）和电动车（evbike）的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域,和样本一起输入网络进行迭代训练,同时引入正则化思想和微调策略进行网络优化,降低网络复杂度并避免过拟合现象;网络训练后得到非机动车辆目标检测模型,对模型进行新样本测试并分析测试效果。在道路交通场景目标检测中,基于EdgeBoxes算法和优化Fast R-CNN融合的方法与传统方法相比,检测准确度稍有提高,运算量明显降低,检测速度加快近一倍。     

基于值分布的多智能体分布式深度强化学习算法

近年来深度强化学习在一系列顺序决策问题中取得了巨大的成功,使其为复杂高维的多智能体系统提供有效优化的决策策略成为可能.然而在复杂的多智能体场景中,现有的多智能体深度强化学习算法不仅收敛速度慢,而且算法的稳定性无法保证.本文提出了基于值分布的多智能体分布式深度确定性策略梯度算法(multi-agent distribut...     

无人机群场景下边端协同计算卸载技术

当今全球频繁出现自然灾害,针对一种无人机协同下的应急救灾计算卸载场景,提出一种带有协调器的边-端架构。综合考虑场景中的时延、能耗与无人机之间的负载均衡作为系统总代价,采用改进的深度强化学习算法APPO（advanced proximal policy optimization）以最小化系统总代价为目标进行卸载优化。任务的部分卸载相比二进制卸载可以更大程度上降低系统的总代价,APPO算法针对不同的任务情况可以找到合适的卸载比例与无人机进行卸载。仿真与实验结果表明,该算法与全本地处理相比,系统总代价降低了约50%,与较先进的A2C相比,系统总代价降低了约14%。展现了所提策略在该场景下的优越性。     

视频访问负载的分级存储及迁移算法研究

为了使分布式分级混合存储系统高效、快速响应的工作,达到优化系统性能和减少系统资源消耗的目标,通过研究负载的模式,同时考虑数据访问局部性和系统响应时间,提出了相应于负载识别、以及基于频率策略和带宽策略的分级存储迁移算法,提出了一种目标函数为(带宽节省率/命中率)的新评价标准。频率策略是根据访问的周期频率特性来进行数据分级存储迁移,带宽策略是根据在访问中考虑迁移带宽消耗特性来进行数据分级存储迁移。结合实例,模拟仿真实验结果表明,两种策略都能有效地到达目标。频率策略带来的访问次数及命中率较高,而带宽策略可以减少分级存储并发瓶颈数量。     

能量收集无线通信系统中基于强化学习的能量分配策略

随着物联网的普及,对物联网终端设备可使用能量的要求也在提高。能量收集技术拥有广阔前景,其能通过产生可再生能量来解决设备能量短缺问题。考虑到未知环境中可再生能量的不确定性,物联网终端设备需要合理有效的能量分配策略来保证系统持续稳定工作。文中提出了一种基于DQN的深度强化学习能量分配策略,该策略通过DQN算法直接与未知环境交互来逼近目标最优能量分配策略,而不依赖于环境的先验知识。在此基础上,还基于强化学习的特点和系统的非时变系统特征,提出了一种预训练算法来优化该策略的初始化状态和学习速率。在不同的信道数据条件下进行仿真对比实验,结果显示提出的能量分配策略在不同信道条件下均有好于现有策略的性能,且兼具很强的变场景学习能力。     

基于李雅普诺夫优化和深度强化学习的多任务端边迁移

针对多终端、多边缘服务器场景下异构工业任务的端边协同处理问题,提出一种基于李雅普诺夫优化和深度强化学习的多任务端边迁移算法.首先,以联合优化任务迁移决策、迁移比例和传输功率为目标,充分考虑计算频率、传输功率、长期能耗和任务截止期等约束,构建系统长期平均开销最小化问题;由于问题中长期目标及约束中变量在不同时隙相互耦合,难以求解,基于李雅普诺夫优化理论,将长期平均开销最小化问题解耦为独立时隙的策略优化问题;通过马尔可夫决策过程建模,并采用双层竞争深度神经网络架构,提出基于深度强化学习的多任务迁移算法.实验结果表明,所提算法能够稳定收敛,并在长期能耗约束和任务截止期要求下有效降低系统长期平均开销.     

基于区块链的数据要素可信流通技术综述

【背景】数据已然成为经济发展的基础性战略资源。要充分发挥数据要素作用,需要建立数据可信流通体系。【目的】区块链作为新型可信数据管理平台,能够实现数据可信流通的基本需求。因此,本文将探讨基于区块链的数据要素可信流通技术。【方法】从建立数据可信流通体系的角度出发,本文首先分析了构建数据要素可信流通体系的基本要求,然后分析了基于区块链实现数据可信流通的技术要点,总结了目前区块链研究领域中可用于实现上述目标的研究工作,并对未来的研究方向提出展望。【结果】着眼于增强数据可用、可信、可流通、可追溯4个方面,本文对现有区块链系统研究中的存储模型、系统性能扩展方式、数据验证、跨链技术、溯源技术等方面进行总结分析。【结论】现有研究成果能够基本实现数据要素可信流通体系,但在数据隐私、数据使用和数据表示方面仍存在诸多未解决的问题。     

“东数西算”工程落地的关键问题分析与对策建议

<正>“东数西算”是当前我国正在推进的重大战略工程,对于我国实现东西协同联动、东西资源互补具有重要意义。根据国家整体布局,相关省市已启动建设工作。但是,“东数西算”是一项系统工程,尚有诸多技术、机制以及安全等方面的问题亟待解决,例如：算力资源的跨域调度和匹配是否精准、算力成本是否更加集约可控、数据的传输和安全是否能够得到保障等。解决这些问题和挑战将有助于“东数西算”工程的有效落地。     

基于深度强化学习的微电网在线优化调度

提出一种基于深度强化学习的微电网在线优化调度策略.针对可再生能源的随机性及复杂的潮流约束对微电网经济安全运行带来的挑战,以成本最小为目标,考虑微电网运行状态及调度动作的约束,将微电网在线调度问题建模为一个约束马尔可夫决策过程.为避免求解复杂的非线性潮流优化、降低对高精度预测信息及系统模型的依赖,设计一个卷积神经网络结构学习最优的调度策略.所提出的神经网络结构可以从微电网原始观测数据中提取高质量的特征,并基于提取到的特征直接产生调度决策.为了确保该神经网络产生的调度决策能够满足复杂的网络潮流约束,结合拉格朗日乘子法与soft actor-critic,提出一种新的深度强化学习算法来训练该神经网络.最后,为验证所提出方法的有效性,利用真实的电力系统数据进行仿真.仿真结果表明,所提出的在线优化调度方法可以有效地从数据中学习到满足潮流约束且具有成本效益的调度策略,降低随机性对微电网运行的影响.     

基于DRL的综合能源系统优化运行研究

发展以电网为核心,电、热、气多能互补、协同供能的综合能源系统是落实“双碳”的重要手段,但是电-热-气联合运行的综合能源系统存在的经济性问题和稳定性问题有待解决。本文致力于采用机器学习算法在兼顾运行稳定性的情况下解决电-热-气联合运行系统的经济性问题。首先,本文对包含储能和电转气装置的综合能源系统进行建模,结合优化运行问题优化目标-约束条件的一般框架,在约束条件中考虑功率平衡、各机组出力限制、爬坡率限制和容量限制因素;然后,本文设计了基于DRL的电-热-气联合系统优化运行问题求解策略,算法结合了强化学习策略选择的优势和深度学习环境模拟的优势,在算法设计中详细考虑动作空间、回报函数、状态空间、DRL算法、DRL网络五大模块;最后,本文设计了4个算例,结合电-热-气联合系统典型日运行条件,验证了采用电-热-气联合运行供能模式可以有效实现多能互补降低用能成本,并且本文设计的DRL方法可以有效求解电-热-气联合系统的优化运行问题。     

多智能体深度强化学习的若干关键科学问题

强化学习作为一种用于解决无模型序列决策问题的方法已经有数十年的历史, 但强化学习方法在处理高维变量问题时常常会面临巨大挑战. 近年来, 深度学习迅猛发展, 使得强化学习方法为复杂高维的多智能体系统提供优化的决策策略、在充满挑战的环境中高效执行目标任务成为可能. 本文综述了强化学习和深度强化学习方法的原理, 提出学习系统的闭环控制框架, 分析了多智能体深度强化学习中存在的若干重要问题和解决方法, 包括多智能体强化学习的算法结构、环境非静态和部分可观性等问题, 对所调查方法的优缺点和相关应用进行分析和讨论. 最后提供多智能体深度强化学习未来的研究方向, 为开发更强大、更易应用的多智能体强化学习控制系统提供一些思路.