面板堆石坝面板顺坡向挤压破坏机理的试验研究

本文针对面板堆石坝面板顺坡向挤压破坏的钢筋压曲凸起问题开展了试验研究,采用了配有单根立筋的混凝土柱受压试验来模拟面板顺坡向的挤压破坏。试验结果证实了以往研究中无箍筋钢筋混凝土立柱抗压强度低于素混凝土柱、且钢筋保护层厚度越小强度越低的推测。与素混凝土柱相比,保护层厚5 cm钢筋混凝土柱的强度降低约10％。根据试验的破坏荷载结果,通过已有理论解反推出了立柱的侧向支撑刚度k,对于保护层厚5 cm和8 cm立柱k值相应为0.841 N·mm^-2和1.032 N·mm^-2。经过试验结果分析,发现钢筋混凝土立柱各截面不服从应变平面假设,受压中钢筋没有同混凝土一起协调变形,钢筋与混凝土之间相互作用强烈。本研究结果再次说明,限制钢筋的侧向变形是防止面板顺坡向挤压破坏的根本措施。应开展可模拟混凝土中钢筋压曲的挤压破坏数值模拟研究,为这些措施的量化设计提供依据。     

元强化学习综述

强化学习在游戏对弈、系统控制等领域内表现出良好的性能,如何使用少量样本快速学习新任务是强化学习中亟需解决的问题。目前的有效解决方法是将元学习应用在强化学习中,由此所产生的元强化学习日益成为强化学习领域中的研究热点。为了帮助后续研究人员快速并全面了解元强化学习领域,根据近年来的元强化学习文献对研究方法进行梳理,将其归纳成基于循环网络的元强化学习、基于上下文的元强化学习、基于梯度的元强化学习、基于分层的元强化学习和离线元强化学习,对五种类型的研究方法进行对比分析,简要阐述了元强化学习的基本理论和面临的挑战,最后基于当前研究现状讨论了元强化学习的未来发展前景。     

一种新的基于隐喻地图的RPA路径规划算法

智能化地制定机器人流程自动化(robotic process automation, RPA)执行路径有利于企业节约相关人力成本以及提高RPA的推广,提出基于改进深度双Q网络(double deep Q-learning algorithms, DDQN)算法进行RPA路径规划。首先针对存在RPA的作业环境即Web页面,不满足深度增强算法的探索条件的问题,借助隐喻地图的思想,通过构建虚拟环境来满足路径规划实验要求。同时为了提高DDQN算法探索效率,提出利用样本之间的位置信息的杰卡德系数,将其作为样本优先度结合基于排名的优先级(rank-based prioritization)构建新的采样方式。通过随机采用任务样本在虚拟环境上进行验证,证明其符合实验要求。进一步比较改进DDQN、深度Q网络(deep Q network, DQN)、DDQN、PPO以及SAC-Discrete算法的实验结果,结果显示改进算法的迭代次数更少、收敛速度更快以及回报值更高,验证了改进DDQN的有效性和可行性。     

无线传感器网络节点重部署研究进展

传感器节点随机部署导致的分布不均匀往往会使无线传感器网络的感测区域产生覆盖空洞或冗余覆盖,严重影响网络性能,因此需要重部署对网络拓扑进行修复。总结和分析近年来重部署相关的主要研究方向和成果。首先回顾了三种基础的节点感测模型;再从研究问题、策略设计优化目标和分类方法等三个方面对节点的重部署进行了全面的梳理;然后着重针对典型的传感器节点和Sink节点的重部署策略进行分类解释和比较分析;最后讨论强化学习框架下的节点重部署策略和安全监测需求下无线传感器网络迁移部署,并指出重部署策略的应用前景与发展趋势以及未来的优化方向。     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.     

一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。     

Dynamic ensemble wind speed prediction model based on hybrid deep reinforcement learning

Prediction of wind speed can provide a reference for the reliable utilization of wind energy. This study focuses on 1-hour, 1-step ahead deterministic wind speed prediction with only wind speed as input. To consider the time-varying characteristics of wind speed series, a dynamic ensemble wind speed prediction model based on deep reinforcement learning is proposed. It includes ensemble learning, multi-objective optimization, and deep reinforcement learning to ensure effectiveness. In part A, deep echo state network enhanced by real-time wavelet packet decomposition is used to construct base models with different vanishing moments. The variety of vanishing moments naturally guarantees the diversity of base models. In part B, multi-objective optimization is adopted to determine the combination weights of base models. The bias and variance of ensemble model are synchronously minimized to improve generalization ability. In part C, the non-dominated solutions of combination weights are embedded into a deep reinforcement learning environment to achieve dynamic selection. By reasonably designing the reinforcement learning environment, it can dynamically select non-dominated solution in each prediction according to the time-varying characteristics of wind speed. Four actual wind speed series are used to validate the proposed dynamic ensemble model. The results show that: (a) The proposed dynamic ensemble model is competitive for wind speed prediction. It significantly outperforms five classic intelligent prediction models and six ensemble methods; (b) Every part of the proposed model is indispensable to improve the prediction accuracy.     

智能电网中两阶段网络切片资源分配技术

为满足网络切片在智能电网中的多样化需求,提出了一个在智能电网中基于云-边协同的切片资源分配模型。为优化网络切片分配,提出一种两阶段的切片分配模型：在第一阶段中,以用户体验最优为目标,建立了本地边缘网络的资源分配问题的优化模型,并采用拉格朗日乘子法对此最优问题进行了求解;在第二阶段中,首先将网络切片资源分配系统建模成Markov决策过程,然后提出使用深度增强学习方法对核心云的切片自适应地进行资源分配。实验结果表明所提的两阶段切片资源优化分配模型可有效减少网络延迟,提高用户满意度。     

深度强化学习及在路径规划中的研究进展

路径规划的目的是让机器人在移动过程中既能避开障碍物,又能快速规划出最短路径。在分析基于强化学习的路径规划算法优缺点的基础上,引出能够在复杂动态环境下进行良好路径规划的典型深度强化学习DQN（Deep Q-learning Network）算法。深入分析了DQN算法的基本原理和局限性,对比了各种DQN变种算法的优势和不足,进而从训练算法、神经网络结构、学习机制、AC（Actor-Critic）框架的多种变形四方面进行了分类归纳。提出了目前基于深度强化学习的路径规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,可为机器人智能路径规划及自动驾驶等方向的发展提供参考。     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。