深度强化学习智能驾驶汽车增广决策模型

针对状态机决策模型不能有效处理冰雪环境下丰富的上下文信息和不确定因素影响等问题,构建了一种基于深度Q网络算法（DQN）的深度强化学习智能体。使用运动规划器对该智能体进行增广,将基于规则的决策规划模块和深度强化学习模型整合在一起,建立了DQN-planner模型,从而提高了强化学习智能体的收敛速度和驾驶能力。最后,基于CARLA模拟仿真平台对DQN模型和DQN-planner模型在低附着系数冰雪路面上的驾驶能力进行了对比实验,分别就训练过程和验证结果进行了分析。     

熵修正的混合人工蜂群-蝙蝠算法人群疏散模型

目前的群智能疏散模型多仅考虑单一的经典的群体智能,不足以描述复杂的群体疏散行为特征,且鲜有考虑人群混乱程度对人群疏散的影响。为研究描述多种群体疏散行为的群智能疏散模型,综合使用多种群智能算法,并考虑了人群混乱程度对疏散的影响,构建了熵修正的混合人工蜂群-蝙蝠算法人群疏散模型。首先,采用DBSCAN（density-based spatial clustering of applications with noise）算法进行群组划分。然后,将人群分为群组引导者、群组成员和离散人员3类,并针对每类人群的特点,基于蝙蝠算法描述群组引导者,基于人工蜂群算法描述群组成员,基于粒子群算法描述离散人员。最后,引入定量描述人群混乱程度的疏散熵对群组引导者进行位置修正,构建了熵修正的混合人工蜂群-蝙蝠算法人群疏散模型。仿真结果表明,该模型可以模拟群组疏散,比较符合真实的群组疏散形状,以群组形式疏散一定程度提高了疏散效率;同时,引入疏散熵进行修正后,群组引导者可以引导群组成员避开前方混乱区域,避免了人群过度集中,增强了疏散的安全性与快速性。     

结合领域经验的深度强化学习信号控制方法

针对深度强化学习信号控制方法存在训练不稳定、收敛慢以及相位频繁改变的问题，基于双决斗深度Q网络(3DQN)算法引入预训练模块和相位绿灯时间计算模块，提出结合领域经验的信号控制方法.通过优化双重Q学习损失、监督式边际分类损失和正则化损失，使预训练模块引导3DQN智能体模仿Max-Pressure方法的策略，以稳定并加快智能体的训练过程.相位绿灯时间计算模块基于平均车头时距和排队长度动态调整相位绿灯时间以减少绿灯损失.以杭州市萧山区机场城市大道和博奥路交叉口为例，在仿真平台SUMO上对所提方法进行验证.实验结果表明，所提方法能有效改进传统3DQN算法的训练速度.相比于传统控制方法，所提方法明显缩短了车辆平均旅行时间，提高了交叉口运行效率.     

订单驱动下基于强化学习的智能车间AGV调度

物料搬运效率对智能车间的生产调度效率有着重要影响.物料搬运任务通常由自动导引车（Automated Guided Vehicle,AGV）执行,其具有数量多、任务需求实时变化、任务下达密集等特点.为及时、高效、准确地处理AGV搬运作业,提出基于强化学习的订单驱动下智能车间AGV调度模型,使用二级调度机制,第一级以负载均衡为目标,基于规则的调度方法对AGV进行任务分配;第二级运用强化学习深度Q网络（Deep Q-Network,DQN）算法对AGV进行单智能体下的搬运路径规划,通过减少智能体动作空间维数的方式,降低调度算法的收敛难度,并通过仿真实例验证该方法的有效性和创新性.     

复杂可交互场景下基于异策略分层强化学习的搜救机器人自主决策

机器人在搜救任务中的自主决策能力对降低救援人员的风险具有重大意义.为了使机器人在面对复杂多解的搜救任务时能自主形成决策和合理的路径规划,设计了一种异策略分层强化学习算法.该算法由两层Soft Actor-Critic(SAC)智能体组成,高层智能体可以自动生成低层智能体所需的目标并提供内在奖励指导其直接与环境进行交互.在分层强化学习的框架下,首先将复杂可交互场景下的机器人搜救任务描述为高层半马尔可夫决策过程与低层马尔可夫决策过程的双层结构,并针对不同层级设计不同的状态空间、动作空间与奖励函数等.其次,针对传统强化学习算法中目标与奖励函数需要人工设计且缺乏通用性的问题,应用基于SAC的异策略分层强化学习算法训练双足移动机器人与复杂场景交互,通过数据的高效利用和目标空间的调整实现救援机器人的自主决策.仿真结果验证了所设计的算法在解决复杂多路径搜救任务中的有效性和通用性.     

基于概率型支持向量分类机的Q学习

按TD误差标准,把Q学习系统的状态-动作空间粗略地划分为正负2类.为了描述分类的不确定性和避免简单分类导致的学习精度下降问题,利用概率型支持向量分类机(PSVCM)来使得样本的分类同时具有定性的解释和定量的评价.PSVCM的输入为系统的连续状态和离散动作,输出为带有概率值的类别标签.对由PSVCM判定为正类的离散动作按其概率值进行加权求和,即可得到连续动作空间下的Q学习控制策略.小船靠岸问题的仿真结果表明,与基于传统支持向量分类机的Q学习相比,所提方法不仅能够有效解决具有连续状态和连续动作的非线性系统的Q学习控制,而且其控制性能对初始动作的设置不敏感.     

无人机任务卸载与充电协同优化

在野外恶劣环境应用中，可以使用具有灵活性和便捷性的无人机（UAV），通过无线数据传输辅助携带用户任务到边缘服务器。然而，UAV飞行平台难以提供长时间的任务卸载服务，大大限制了其应用前景。本文研究了在移动边缘计算环境中，如何有效整合UAV的任务卸载和充电调度。首先，构建了一个新的应用模型，该模型协同处理UAV的任务卸载调度和自身充电需求，并在UAV辅助任务卸载应用场景中加入了若干个无线充电平台。其次，考虑了用户任务的价值和UAV的充电需求，以在时延敏感和能量约束的条件下优化UAV辅助用户设备进行任务卸载的收益。最后，采用深度强化学习算法，对深度Q网络（DQN）进行调优后形成Fixed DQN算法，以有效处理模型中的大规模状态动作搜索空间问题。本文以UAV仅作为任务载体并考虑其自主充电需求为前提，通过在一个半径为3000 m、含有11个节点的区域验证Fixed DQN算法的可行性；并在不同用户节点数量、充电节点数量及服务时间条件下，通过与蚁群算法、遗传算法和DQN算法的对比实验评估其性能。实验结果表明：本文提出的Fixed DQN算法在所有测试条件下均显著优于蚁群算法、遗传算法和DQN算法，特别是在节点数量增加和服务时间延长的情景中；此外，Fixed DQN算法相对于DQN算法的性能提升突显了深度强化学习在参数调优方面的有效性。研究结果证实了Fixed DQN算法在解决UAV任务卸载和充电调度问题中的高效性和调参策略的重要性。     

视觉感知的无人机端到端目标跟踪控制技术

针对无人机机动目标跟踪的自主运动控制问题,提出连续型动作输出的无人机端到端主动目标跟踪控制方法. 设计基于视觉感知和深度强化学习策略的端到端决策控制模型,将无人机观察的连续帧视觉图像作为输入状态,输出无人机飞行动作的连续型控制量. 为了提高控制模型的泛化能力,改进基于任务分解和预训练的高效迁移学习策略. 仿真结果表明,该方法能够在多种机动目标跟踪任务中实现无人机姿态的自适应调整,使得无人机在空中能够稳定跟踪移动目标,显著提高了无人机跟踪控制器在未知环境下的泛化能力和训练效率.     

基于启发式强化学习的AGV路径规划

针对传统算法、智能算法与强化学习算法在自动引导小车(automated guided vehicle,AGV)路径规划中收敛速度慢、学习效率低的问题,提出一种启发式强化学习算法,并针对传统Q(λ)算法,设计启发式奖励函数和启发式动作选择策略,以此强化智能体对优质行为的探索,提高算法学习效率.通过仿真对比实验,验证了基于改进Q(λ)启发式强化学习算法在探索次数、规划时间、路径长度与路径转角上都具有一定的优势.     

采用人工神经元的智能PID控制

采用单个人工神经元构成智能ＰＩＤ控制器．以系统的误差信号作为神经元的输入，神经元的权系数相当于传统离散ＰＩＤ的比例、积分、微分系数，神经元的输出为实际控制信号的修正值．利用ＢＰ学习规则在线修正神经无权值，以便能够获得在线自动寻优，调整ＰＩＤ控制器参数．该方法适用于被控系统模型未知、非线性严重和参数变化较大的场合．本文对一非线性系统进行了仿真，结果表明该控制器具有很强的自适应和自学习能力．     

地市级教育和科研网规划方案

本文论述了地市级教育和科研网络的建设原则、主干网络通道和结构的选择、校园网络结构和操作系统的选择、校园网络的应用等问题。     

无源光接入网网络整体可靠性定义与量化分析

提出了一种适用于点对多点结构无源光接入网(PON）的网络整体可靠性定义,用于全面准确
地量化衡量PON网络可靠性. 定义中引入故障影响因子,可以量化衡量包含网络完全正常工
作状态和不完全正常工作状态的PON网络整体可靠性. 对树形、带保护树形和环形PON网络整
体可靠性和网络建设成本进行量化分析比较,得出典型的光网络单元(ONU)集中分布和ONU分散分布情况下,无保护单级树形和主干保护树形PON网络分支器的最佳放置位置.     

网络安全中对抗机制的攻防分析

攻击和防御是网络安全对抗的两个基本方面。本文首先对信息网络的对抗机制进行了归纳,然后讨论了各种信息网络防御机制,分析了不同防御机制中所存在的脆弱性,并提出了相应的攻击机制。同时,对当前信息网络对抗机制间的攻防关系进行了总结。     

网络组织研究述评

网络组织的研究视角包括经济学视角、复杂性科学视角、神经网络学视角、商业生态学视角.网络组织已有研究领域包括网络组织的边界、形态和治理以及网络节点的声誉、学习、组织架构和权力关系等几个方面.     

太原市公交网络的复杂网络特性分析

在交通资源有限的情况下, 对城市公交线网进行分析和优化是最大限度地提高现有交通资源的利用效率、缓解城市道路交通紧张状况的必然之路. 基于此, 运用复杂网络理论, 从不同角度对太原市公交网络进行了实证研究. 探索了大型城市公交网络模型的不同构造方法, 从宏观角度证实了太原市公交网络为无标度网络. 通过研究, 对太原市公交网络枢纽环境的优化和南北主干线的优化提出了对策.     

网络负载平衡技术应用

微软公司推出的Microsoft Windows2000增强了系统群集的功能,同时也增强了网络负载平衡技术.以SQL Srver为例说明了从负载平衡服务器应用程序访问数据库的应用以及网络负载平衡技术的原理.     

西门子L2网与管理网互联的实现方法

用西门子５４１２驱动程序，ＳＴＦＤＤＥ，Ｇｅｉｎｅ软件，Ｎｏｖｅｌｌ网的ＩＰＸ协议，实现了将Ｌ２网与管理网的互联，基于这种方法的合钢三号高炉网络系统运行稳定可靠，这种方法对于其它网络系统互联问题有借鉴意义。     

我国网络营销发展中存在的问题及对策

网络营销是适应网络技术发展与信息网络时代社会变革的新生事物 ,是 2 1世纪营销的新潮流。我国企业应积极利用这一新技术来变革经营理念、经营组织、经营方式 ,促使企业飞速发展。本文根据我国网络营销总体水平低这一现状 ,分析了其制约的主要因素 ,并从认识观念、体制变革、技术创新、政策、法律等方面提出发展我国网络营销的几点对策。     

生态工业共生网络成长的网络复杂性测度

根据网络复杂性测度理论,建立了生态工业共生网络成长的复杂性测度模型,以鲁北生态工业园为例,利用Matlab软件,对鲁北生态工业园的EISN在不同发展阶段的网络复杂性指标进行了仿真计算.研究结果表明,EISN在成长初期,较少的节点数抑制了网络复杂性的涌现,随着新的节点企业的加入,网络复杂性凸现,体现出小世界性和无标度特性,且核心节点具有较高的度分布特征,被连接的几率远高于其他节点.     

复杂金融网络建模研究

以复杂网络理论为基础研究不同赋权意义下的金融网络。首先利用社会网络分析方法（SNA）进行初步复杂金融网络模型的构建与分析,然后通过进一步构造的转账频率金融网络图,研究网络中某两账户节点间的协作关系,以探悉其最可能的关联路径,为进一步研究金融网络提供一定的理论基础。