基于奖励滤波信用分配的多智能体深度强化学习算法

近年来,强化学习方法在游戏博弈、机器人导航等多种应用领域取得了令人瞩目的成果.随着越来越多的现实场景需要多个智能体完成复杂任务,强化学习的研究领域已逐渐从单一智能体转向多智能体.而在多智能体强化学习问题的研究中,让智能体学会协作成为当前的一大研究热点.在这一过程中,多智能体信用分配问题亟待解决.这是因为部分可观测环境会针对智能体产生的联合动作产生奖励强化信号,并将其用于强化学习网络参数的更新.也就是说,当所有智能体共享一个相同的全局奖励时,难以确定系统中的每一个智能体对整体所做出的贡献.除此之外,当某个智能体提前学习好策略并获得较高的回报时,其他智能体可能停止探索,使得整个系统陷入局部最优.针对这些问题,本文提出了一种简单有效的方法,即基于奖励滤波的信用分配算法.将其他智能体引起的非平稳环境影响建模为噪声,获取集中训练过程中的全局奖励信号,经过滤波后得到每个智能体的局部奖励,用于协调多智能体的行为,更好地实现奖励最大化.我们还提出了基于奖励滤波的多智能体深度强化学习(RF-MADRL)框架,并在Open AI提供的合作导航环境中成功地进行了验证.实验结果表明,和基线算法相比,使用基于奖...     

基于KM教学法的大学计算机基础全英文教学

分析开展全英文教学的紧迫性和可行性,开展全英文教学的设计与实践,从教材的选择、课堂内容的组织、KM教学法的实施及实践效果展开讨论,总结该课程建设所遇到的问题及解决方案。     

问题式过程管理在大学计算机基础双语教学中的实践

针对在大学计算机基础双语学习中,学生以记忆计算机专业术语为主,应用实践能力与计算机原理知识脱节的问题,提出将问题式过程管理的教学法应用到双语教学实践中。在课堂上以问题为主线进行有效的授课管理;在整个教学过程中,以管理平台为基础,作业管理为形式,定期测验为手段,项目实现为目标进行有效的课程教学和自主学习管理。     

基于低能耗WSN的石油场站监控系统设计

为实现石油场站中长输管道状态的智能化监控,提出一个融合无线传感器网络(WSN)、GPRS和Internet的监控系统。基于WIA-PA无线工业标准,进行WSN的硬件集成,设计优化分簇拓扑管理机制,采用扩展超帧的时隙分配策略实现低能耗的上行协议,利用带时间戳的泛洪机制实现高实时性的下行协议。将监控系统运行于石油场站现场,并在OMNet++平台上对分簇WSN进行仿真,结果显示该系统的传输可靠性高于98%,网络中各簇节点的能量消耗均衡,自主运行时间可达1年。     

一种高可靠无线传感器网络自适应跳频算法

对于复杂恶劣环境的无线传感器网络应用,多数协议采用跳频提高网络的抗干扰能力和安全性.广泛使用的IEEE802.15.4标准在2.4GHz频段提供了16个频道,有效的支持了跳频通信的设计.但是,跳频通信的可靠性和链路的特征有着密切的关系,本文通过对复杂室内环境(工厂,实验室)无线通信特征的测试和分析发现,链路具有时变性,同时在一段相当长的时间内具有稳定性,因此本文针对复杂室内环境链路特征提出了一种自适应跳烦方法,该方法通过评估当前频道的链路质量,只在频道的链路质量超出允许范围时进行跳频.仿真和测试结果表明,相比于多数工业应用采用时隙跳频方法,自适应跳频的可靠性提高了10%～16%,是一种有效的可靠性设计方法.     

工业环境IEEE802.15.4链路的多频道可靠性分析与建模

无线传感器网络协议设计依赖于网络环境中的链路特征.在实际环境中,链路易受外界环境的影响而产生剧烈的变化.但是,目前只有少量的链路模型涉及多频道传输可靠性及其时间变化特征.以丢包率描述链路的可靠性,针对链路可靠性在频道和时间上的变化特征,提出了统计建模的方法,引入丢包率(PDR)和丢包序列(PDS)定量刻画出了链路可靠性与频道、时间的关系.通过在钢铁厂车间、学校实验工厂对2.4GHz的IEEE802.15.4模块进行测试及统计分析,发现数据丢包率服从logistic或log-logistic分布;在一个确定丢包率下,两次数据丢包之间的间隔服从lognormal分布.在此基础上,通过分析干扰链路可靠性的原因,提出了一种工业无线传感器网络链路可靠性模型,并基于此模型对IEEE802.15.4e的两种提案进行了评估和分析.     

双语教学浅析

双语教学是近些年来教育领域的新生事物。作者通过在大学双语教学中的摸索和实践,有所感悟。本文对双语教学的必要性、可行性进行了探讨,并将教学实践中的经验、问题和感想呈现给读者,希望与大家交流探讨,从而促进教学质量的提高。     

IMU/TOA融合人体运动追踪性能评估方法

随着物联网和体域网的飞速发展,人体运动追踪技术在医疗、安防等领域得到了广泛应用.针对传统惯性人体运动追踪系统存在累积误差和漂移的问题,本文提出了一种基于IMU/TOA融合的人体运动追踪方法.通过对融合系统克拉美罗界（Cramer-Rao Lower Bound,CRLB）的推导,从理论上证明了IMU/TOA融合方法的有效性.实验结果可以看出,本文提出的基于IMU/TOA融合的人体运动追踪方法,在空间性能和时间性能两个方面都有较大的提升.     

基于无线传感网的管道腐蚀远程监测系统设计

针对无线射频传输距离有限的缺点,提出一种利用GPRS网络和分簇结构的WSN实现远距离数据传输的管道腐蚀远程监测系统设计方案.设计了多功能的低功耗WSN节点,并提出适用于管道腐蚀实时监测的链式路由、簇内基于TDMA的MAC协议和以RTC为基准的时间同步机制.测试结果表明节点采集数据误差在4mV以内,簇头和传感节点最大工作电流分别为300mA和170mA,休眠时电流都小于65uA,满足实际监测需求,在远程监测应用中取得了良好的效果.     

室内旋转相对定向算法

为了在无基础设施部署的环境下,实现有效、准确的相对定位,提出了以超宽带信号传播时间（time ofarrival,简称TOA）测距为基础的旋转定向算法.围绕人体旋转无线接收设备,可模拟定向天线的灵敏度和功能.在旋转中,障碍物遮挡会在理论上造成最大的测距误差,从而可以确认目标发送设备相对接收设备的方向.但是,由于室内的复杂环境、多径效应、人体遮挡等因素,使得TOA测距产生较大的测距误差且误差分布是非高斯的.因此,相对于定向算法实际上是模板匹配的算法,在3种典型的模板匹配算法的基础上,实现了二次匹配算法,并对二次匹配中的关键参数进行了最优取值的分析,实现了高精度的水平方向检测,定向精度达到了正负4度,准确度相对于单匹配方法提高了9%.