基于Q学习的电网运行断面动态生成方法

电网运行断面是电力系统运行控制的重要手段.面对当前繁多的电网运行断面智能生成方法,如何合理的选择已成为电网运行断面在线生成算法领域研究的重要内容.在此背景下,提出一种基于Q学习的电网运行断面动态生成方法.该方法的主要特征在于训练得到Q学习智能体,根据电网运行特征动态选择电网运行断面生成方法,以便充分利用不同生成方法在不同场景下的算法优势.最后,基于某电网数据构造的算例表明,动态生成方法能够通过优化选择不同场景下的生成算法,提升生成结果的准确率.对于应用样本集,该方法提高准确率近5.2％.     

移动机器人室内场景主动识别的强化学习方法

为了在传统场景分类器基础上进一步提高场景识别准确率,提出了一种采用Q学习(Q-learning)实现室内场景主动识别的算法.该算法采用极限学习机(Extreme Learning Machine,ELM)与反向传播梯度下降相结合的方式近似Q-learning值函数的神经网络.算法基于Q-learning动态地学习场景识别率最高的机器人朝向角,使机器人能够自主获取多次更为可靠的传感器信息并将对应识别结果融合,进而提高场景识别准确率.将算法应用在移动机器人场景识别中进行实验,结果表明该算法可以有效提高场景识别准确率.     

基于UCB算法的交替深度Q网络

在深度强化学习中,智能体需要与环境进行交互学习,这就需要智能体能够很好地去平衡利用与探索. 因此如何提升算法的样本有效性,增加算法的探索能力,一直是深度强化学习领域中非常重要的研究方向. 结合已有研究成果,提出了一种交替使用多个不同初始化深度Q网络方法,使用网络随机初始化带来的探索性能. 基于最大置信度上界算法先构造一种交替选择深度Q网络策略. 并将该调度网络策略与多个随机初始化的深度Q网络结合,得到基于最大置信度上界的交替深度Q网络算法. 在多个不同的标准强化学习实验环境上的实验结果表明,该算法比其他基准算法有更高的样本效率和算法学习效率.     

信息物理系统架构下集群风电自适应控制方法

针对传统集群风电有功控制模式中安全裕度偏于保守的问题,基于信息物理系统架构提出了一种面向集群风电的运行断面自适应控制方法.基于风电场功率响应特性,提出了断面裕度动态计算的实现方法.根据断面裕度动态计算结果和风电场的发电状态,动态调整风电场运行方式,实现集群风电与运行断面间的自适应.基于某地区电网实际数据构造的算例表明,所提出的方法在降低断面越限时间33. 3%的同时,能减少弃风约21. 4%.该方法对提升运行断面传输利用率、降低运行断面越限时间具有促进作用.     

基于数据挖掘的输电断面动态极限传输功率在线构建方法

随着风电等间歇性新能源的大规模并网，电网运行状态变化频繁，传统基于典型运行方式计算的输电断面极限传输功率(Total Transfer Capability, TTC)适用性降低。文中提出一种基于数据挖掘的输电断面动态TTC在线构建方法。首先，基于风电和负荷的超短期预测及预测误差的高阶不确定性，采样生成“风电-负荷”二维数组及相应运行状态集，对部分运行状态计算其TTC,获得用于构建输电断面动态TTC的有标记/无标记知识库；然后，通过混合互信息法选择出与TTC存在强关联的特征属性；最后，利用半监督协同训练，建立TTC偏差与特征属性之间的定量关系，进而得到输电断面动态TTC。算例验证表明，该方法不仅能够基于超短期预测及预测误差的不确定性准确估计输电断面TTC,而且能够量化提供提高TTC的调度信息，同时，采用半监督数据挖掘技术，减少了计算TTC的次数，构建动态TTC速度快，能够较好的适应在线运行方式。     

集装箱码头集卡调度模型与Q学习算法

研究集装箱码头装卸过程中集卡调度问题,建立了集卡调度动态模型,目的是使装卸桥等待时间最小.设计了基于Q学习算法的求解方法,获得在不同状态下的集卡调度策略.提出了应用Q学习算法求解集卡最优调度时系统状态、动作规则、学习步长与折扣因子的选择方法.结果表明,随着集卡数量的增加,Q学习算法获得的结果优于最长等待时间、最远距离、固定分配集卡等调度策略.     

基于子带谱特征的助听器背景噪声场景分类算法

针对助听器应用中背景噪声场景分类算法需同时具备低延时性和高分类准确率的问题,提出一种基于LightGBM集成学习模型的助听器场景分类算法以减少分类过程的计算时间,给出一种新的子带谱相关性特征并联合子带谱熵特征构成分类特征来提高助听器场景分类的准确率,使用双耳差分信号提取子带谱特征减少计算过程中的内存占用率以及模型离线训练工作量,提高计算效率。对双耳助听器声学环境识别数据集中的安静室内、交通环境、风噪声、音乐、鸡尾酒会、汽车噪声6种场景下的背景声音进行测试,实验结果表明,相对于基于随机森林模型和子带信号周期性特征、子带信号熵特征的场景分类算法,该算法在实时性和分类准确率方面的性能均有显著改善。     

基于Q学习的无线传感网分簇拓扑控制算法

为了延长大规模无线传感器网络的生命周期,在ETBG算法的基础上提出基于Q学习的分簇拓扑控制算法.该算法利用有序加权平均(OWA)算子多属性决策的方法确定节点的权值,利用Q学习算法对节点进行周期性的学习训练,按照每条路径的Q值进行最优路径的选择,然后就可以实现网络的拓扑控制.仿真分析表明,基于Q学习算法形成的簇树机制解决了ETBG算法在生成簇树过程中未能寻找到最佳路径而造成数据传输时能量损耗过多的问题,从而达到延长网络生命周期的目的.     

面向复杂城市道路网络的GPS轨迹匹配算法

车辆GPS轨迹的地图匹配是交通大数据挖掘中的一项重要的基础性工作,可靠的轨迹匹配结果对于道路交通运行状态监测、实时交通信息发布、车辆定位与智能调度、出行路径选择行为分析等具有重要意义。由于城市道路网络中大量存在高架路、主辅路和立体交叉等复杂的道路场景,传统的地图匹配算法在这些场景下难以对车辆轨迹进行准确匹配。针对这一问题,该文提出一种基于道路网络拓扑结构的轨迹匹配算法,将轨迹匹配问题转换为在加权道路网络中寻找最优路径的问题。利用成都市道路网络中上万辆出租车的实际运行轨迹数据对本文算法进行了验证,结果表明在复杂的城市道路网络中应用该算法能够获得较高的匹配成功率和准确率。     

组合动作空间深度强化学习的人群疏散引导方法

人群疏散引导系统可在建筑物内发生灾害时有效保护生命安全,减少人员财产损失。针对现有人群疏散引导系统需要人工设计模型和输入参数,工作量大且容易造成误差的问题,本文提出了基于深度强化学习的端到端智能疏散引导方法,设计了基于社会力模型的强化学习智能体仿真交互环境。使智能体可以仅以场景图像为输入,通过与仿真环境的交互和试错自主学习场景模型,探索路径规划策略,直接输出动态引导标志信息,指引人群有效疏散。针对强化学习深度Q网络(DQN)算法在人群疏散问题中因为动作空间维度较高,导致神经网络复杂度指数增长的"维度灾难"现象,本文提出了将Q网络输出层按动作维度分组的组合动作空间DQN算法,显著降低了网络结构复杂度,提高了系统在多个引导标志复杂场景中的实用性。在不同场景的仿真实验表明本文方法在逃生时间指标上优于静态引导方法,达到人工构造模型方法的相同水平。说明本文方法可以有效引导人群,提高疏散效率,同时降低人工构造模型的工作量并减小人为误差。