深度强化学习算法求解作业车间调度问题

由于传统车间调度方法实时响应能力有限,难以在复杂调度环境中取得良好效果,提出一种基于深度Q网络的深度强化学习算法。该方法结合了深度神经网络的学习能力与强化学习的决策能力,将车间调度问题视作序列决策问题,用深度神经网络拟合价值函数,将调度状态表示为矩阵形式进行输入,使用多个调度规则作为动作空间,并设置基于机器利用率的奖励函数,不断与环境交互,获得每个决策点的最佳调度规则。通过与智能优化算法、调度规则在标准问题集上的测试对比证明了算法有效性。     

基于双向LSTM的电网调度日志分类

电网调度日志记录电网运行的各类信息,是分析调度过程、电网运行情况的重要数据来源。电网调度日志管理逐步智能化,调度日志分类任务也由人工操作转变为系统自动分类。为实现智能化分类,提出一种基于深度神经网络的电网调度日志分类方法。该方法基于电网调度日志训练出词向量,将词向量作为LSTM(Long Short-Term Memory)模型的输入。使用双向LSTM对电网调度日志进行分类。实验结果表明,该方法可以有效地对长度差别巨大的日志进行分类,并获得比传统分类方法更优的性能。     

基于神经网络的工厂用电状态识别方法

智能电表的迅速普及与应用引起电力消耗数据(即智能电网数据)的激增,这不仅给数据的存 储与通信带来了挑战,同时也增加了对数据进行分析的难度。另外,由于生产性质和经营方式的不同,工厂的用电状态往往比较复杂。基于传统经验的人工识别不能满足实际应用的需求,该文研究了一种基于神经网络的工厂用电状态自动识别方法。首先,对采集于真实应用场景的电网大数据进行必要的预处理,包括数据的合并、清洗、标准化、打标和抽样;然后,基于预处理的电网数据构建神经网络模型用于对工厂用电状态的自动识别;最后,对提出的基于神经网络的工厂用电状态识别方法进行实验验证,证实了该方法的合理性和有效性。通过对工厂用电状态的准确识别,能够帮助供电公司指导企业进行错峰用电,进而有效缓解电力供给不平衡的问题,以达到对电能合理开发和利用的目的。     

基于改进深度学习的变电站机器人巡检路径规划研究

随着智能电网的不断发展,变电站数量随之增加。针对变电站中巡检任务繁重以及人工巡检可视化水平低的问题,该文提出了一种基于改进深度强化学习的变电站机器人巡检路径规划方法。结合巡检机器人的运动模型,设计深度强化学习的动作和状态空间。将深度强化学习网络与人工势场相结合,重新构造深度强化学习的奖励函数,优化卷积神经网络结构。通过实际变电站场景进行验证,提出的改进深度强化学习算法较传统算法计算时间更短,效率更高,更有利于对变电站巡检机器人的巡检路径进行精准规划,提升变电站的自动化程度水平。     

基于深度强化学习的微电网在线优化调度

提出一种基于深度强化学习的微电网在线优化调度策略.针对可再生能源的随机性及复杂的潮流约束对微电网经济安全运行带来的挑战,以成本最小为目标,考虑微电网运行状态及调度动作的约束,将微电网在线调度问题建模为一个约束马尔可夫决策过程.为避免求解复杂的非线性潮流优化、降低对高精度预测信息及系统模型的依赖,设计一个卷积神经网络结构学习最优的调度策略.所提出的神经网络结构可以从微电网原始观测数据中提取高质量的特征,并基于提取到的特征直接产生调度决策.为了确保该神经网络产生的调度决策能够满足复杂的网络潮流约束,结合拉格朗日乘子法与soft actor-critic,提出一种新的深度强化学习算法来训练该神经网络.最后,为验证所提出方法的有效性,利用真实的电力系统数据进行仿真.仿真结果表明,所提出的在线优化调度方法可以有效地从数据中学习到满足潮流约束且具有成本效益的调度策略,降低随机性对微电网运行的影响.     

基于深度强化学习的孤岛微电网故障区域判定

孤岛微电网作为新型网络形态,其调度、运行和继电保护工作存在故障区域,对故障区域的判定结果,总是在故障区域之外,提出一种基于深度强化学习的孤岛微电网故障区域判定方法.方法 根据约束条件,预先提取孤岛微电网的故障特征;基于深度强化学习方法,深度跟踪电网故障信息;通过三端行波测距法,判定孤岛微电网故障区域.实验测试结果表明,故障区域判定效果更好,其判定结果均在电网故障区域之内.可见基于深度强化学习的判定方法性能更优越.     

基于深度强化学习改进的任务调度算法

关于计算机系统与网络中的资源管理问题的研究无处不在,其中计算集群的调度算法一直是研究的热点。目前大多数解决方案为启发式调度算法,但启发式算法无法全面地感知系统中调度作业之间的关联性,而深度强化学习可以通过数据自主学习这些潜在的关联性。本文使用了一种基于动作分支架构改进的深度强化学习调度算法,在Spark调度模型中取得了不错的效果。该算法通过将一个完整的调度过程分解为相对独立的分支动作,从而简化各个动作设计过程并有效降低动作空间的维度。实验结果表明,在相同的训练时间内,该模型取得了较好的调度性能。     

基于电力光纤到户的智能用电小区介绍

概述 智能电网建设分为发电、输电、变电、配电、用电、调度等六大环节。作为智能电网用电环节建设的重要内容,基于电力光纤到户的智能用电小区是实现电网与用户之间实时交互响应,增强电网综合服务能力,满足互动营销需求,提升服务水平的重要手段。通过智能用电小区的建设,将改变过去用电环节中单向的“电力输送-电力消费”、“电力管理-电力被管理”的被动用电模式,     

面向主动配电网实时优化调度的图强化学习方法

主动配电网的新能源、储能等能源形式可以有效提高运行的灵活性和可靠性, 同时新能源和负荷也给配电网带来了双重不确定性, 致使主动配电网的实时优化调度决策维度大、建模精度差. 针对这一问题, 本文提出结合图神经网络和强化学习的图强化学习方法, 避免对复杂系统的精准建模. 首先, 将实时优化调度问题表述为马尔可夫决策过程, 并将其表述为动态序贯决策问题. 其次, 提出了基于物理连接关系的图表示方法, 用以表达状态量的隐含相关性. 随后, 提出图强化学习来学习将系统状态图映射到决策输出的最优策略. 最后, 将图强化学习推广到分布式图强化学习. 算例结果表明, 图强化学习在最优性和效率方面都取得了更好的效果.     

一种基于实时电价的HEMS家电最优调度方法

提出了一种应用于家庭能量管理系统(HEMS)的基于实时电价的家电最优调度模型。该模型采用线性整数规划方法建模,分别以用电费用最省、用电费用和满意度兼顾、二氧化碳排放最少为优化目标,以用户指定的运行时间要求以及电力公司的需求响应为约束条件。该模型将家庭中可以进行调度的可中断运行电器和不可中断运行电器,以及不可调度而必须运行的电器统一考虑,同时考虑使用家庭光伏(photovoltaic,PV)发电系统并允许剩余电力上网出售。提出的调度模型不仅考虑了家庭用电的各种实际情况,而且考虑了将来电网中可再生新能源的使用以及需求响应等新技术的应用,具有重要的实际意义。最后通过仿真实验验证了提出方法的有效性。     

面向应急指挥的跨区域电网一体化电力自动调度研究

为了提高跨区域电网一体化电力应急指挥能力,需要进行跨区域电网一体化电力自动调度研究,提出一种基于多源信息融合和均衡配置的面向应急指挥跨区域电网一体化电力自动调度方法。采用大数据信息重组方法进行跨区域电网一体化电力传输数据重构,采用分段均衡控制方法进行跨区域电网一体化电力传输调度的均衡配置,建立电力调度的输出链路均衡配置模型,采用空间区域重组方法实现跨区域的电网一体化信息融合处理,根据信息融合结果采用自适应链路均衡配置方法进行跨区域电网一体化电力自动调度的负载均衡设计,提高跨区域电网一体化电力自动调度的负载均衡性和调度信息融合性。仿真结果表明,采用该方法进行跨区域电网一体化电力自动调度的负载均衡性较好,调度的总线控制能力较强,提高了应急指挥能力。     

基于R学习的合同网实时调度模型

提出一种融入合同网运行机制的R学习方法,以此方法为核心构造Agent形成具有学习能力的实时调度模型。模型以最小化作业累计平均流动比为主要目标,同时借助对强化学习报酬的设计减小机器负载的不均衡性,实现对调度过程的双重优化;构造实时调度实例投入测试的结果证明了模型的绩效。另外,一个包含强化学习Agent与无学习Agent的混合机器环境被构建并测试其性能,测试结果表明：在Agent之间借助强化学习过程形成了某种隐性的合作,正是这种合作保证了高质量实时调度方案的输出。     

记忆增强型深度强化学习研究综述

近年来,深度强化学习的取得了飞速发展,为了提高深度强化学习处理高维状态空间或动态复杂环境的能力,研究者将记忆增强型神经网络引入到深度强化学习,并提出了不同的记忆增强型深度强化学习算法,记忆增强型深度强化学习已成为当前的研究热点.本文根据记忆增强型神经网络类型,将记忆增强型深度强化学习分为了4类:基于经验回放的深度强化学习、基于记忆网络的深度强化学习算法、基于情景记忆的深度强化学习算法、基于可微分计算机的深度强化学习.同时,系统性地总结和分析了记忆增强型深度强化学习的一系列研究成果存在的优势和不足.另外,给出了深度强化学习常用的训练环境.最后,对记忆增强型深度强化学习进行了展望,指出了未来研究方向.     

基于电力大数据的用户用电感知研究

在基于电力大数据对用户提供多元化服务的研究中,发现电网在不同时刻停电,不同用户的停电感受不一样以及在调度计划制定时,由于不同线路所带用户不同需进行差异化服务。为此,提出基于电力大数据的用户用电感知研究。首先通过电网内部系统及外部系统进行数据采集,然后基于大数据从多维度进行数据处理和分析,建立了用电需求模型和用户用电感知模型并进行了深入应用;通过该模型可以实现有限投资供电可靠性提升最快,最大限度满足用户需求;可最大限度实现不同行业、类别的用户用电互补,提高设备利用率;可实现用电感知最低时段停电,停电涉及用户更精准。该模型的引用实现了电网规划、用户接入、调度运行的智能决策,使电网规划投资更精准,固定投资提升可靠性最快,提高设备利用效率和用户满意度。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

电力大数据下的短期电力负荷预测

电力产业是国民工业系统中重要的产业。在电网运行管理中,对于负荷预测具有非常重要的作用。更加准确的电力负荷预测可以为电网的安全稳定运行、实时进行电网负荷的调度提供了重要依据。特别是在经济方面,精确的电力负荷预测可以优化发、用电电网调度计划,合理调度和分配资源,从而起到使社会效益、经济效益最大化的作用。然而随着中国经济的飞速发展,对电力的需求不断增长,电力负荷本身受诸多因素以及政策影响比如日期、天气、气候、市场等其他因素,这些因素更大大加大了准确进行电力负荷预测的困难性。一直以来,人们一直都致力于提高电力负荷预测的准确性,人工神经网络算法具有泛化、学习能力强等优点,现在该算法已在电力负荷预测领域中得到了广泛应用,并且取得了良好的效果。近年来,人工神经网络领域取得重大突破,涌现出一个新的深度学习研究领域。本文就是基于最新发展的人工神经网络算法,结合实际地区电网数据研究了短期电力负荷预测的相关问题。     

基于强化学习的神经网络在船模速度控制中的应用

讨论了强化学习模型,以及基于进化学习的神经网络模型,在此基础上结合强化学习的自适应能力,通过神经网络的在线学习对船舶模型速度进行跟踪控制,并以强化学习神经网络结构设计出神经网络控制器,最终取得对船舶模型航行速度的自适应控制。经过仿真研究,将开发与训练好的自学习神经网络控制器用于对船舶模型速度跟踪控制,所开发的基于强化学习的神经网络控制器具有良好的速度跟踪性能,控制效果明显。     

改进神经网络的电网谐波检测系统研究

将改进BP神经网络技术引入到电网谐波在线监测中,通过模型的自动＂学习＂训练,获得电网谐波＂动态＂的检测模型,实现对电网谐波的实时检测,最终达到电网谐波实时补偿的目的,为谐波抑制提供基础的数据参考,是一种有效可行的自动预测模型。     

ARM+FPGA双核计算的配电自动化终端设计

为了提高配电自动化终端数据信息自动化分析能力,设计了基于ARM+现场可编程门阵列(FPGA)双核计算的配电自动化终端。为了提高模块计算能力,在模块中构建了堆叠式自动编码器-神经网络(SAE-NN)深度学习算法模型。在常规堆叠式自动编码器(SAE)深度学习模型基础上融合神经网络(NN)模型,应用过程中改善传统NN对分层节点数目的限制。试验结果表明,所设计终端随着系统运行能达到95%以上的精度,而现有SAE模型仅达到85%左右的精度。通过与文献[1]和文献[2]方法的对比可知,所设计终端有较高的调度能力。该设计显著提高了配电网数据信息的分析精度,大幅提升了电网应用对数据信息处理的准确度和效率。     

人工智能背景下基于云技术的电网运行指挥体系设计

为了研究如何利用云技术实现对城市电网进行调度管理，对电网运行指挥体系进行了设计。引入虚拟化技术、海量数据存储技术和海量数据管理技术这三种云技术中的关键技术，设计微电网控制策略实现对云平台的实时掌控，并通过分析BP与RBF两个神经网络的结构特点对微电控制策略进行优化，提升光伏发电功率的精准性。即时预测电网状况，并给予技术条件，为城市用电提前做出解决策略。建立光储云平台微电网指挥体系，实现对各方面发电功率数据的收集和预测，实现整个系统的统一性、实时性。实验结果证明，设计的指挥体系可以合理进行储能资源的调配，以满足当日城市的日常用电需求。