多智能体强化学习的机械臂运动控制决策研究

针对传统运动控算法存在环境适应性较差,效率低的问题。可以利用强化学习在环境中不断去探索试错,并通过奖励函数对神经网络参数进行调节的方法对机械臂的运动进行控制。但是在现实中无法提供机械臂试错的环境,采用Unity引擎平台来构建机械臂的数字孪生仿真环境,设置观察状态变量和设置奖励函数机制,并提出在该模型环境中对PPO(proximal policy optimization)与多智能体（agents）结合的M-PPO算法来加快训练速度,实现通过强化学习算法对机械臂进行智能运动控制,完成机械臂执行末端有效避障快速到达目标物体位置,并通过该算法与M-SAC（多智能体与Soft Actor-Critic结合）和PPO算法的实验结果进行分析,验证M-PPO算法在不同环境下机械臂运动控制决策调试上的有效性与先进性。实现孪生体自主规划决策,反向控制物理体同步运动的目的。     

虚拟手术中血流特效场景仿真的研究

血流特效场景可以增强虚拟手术的真实感。虚拟手术中的血流特效场景包括了有交互的血液模拟及血管壁模拟。首先基于光滑粒子流体动力学,使用Physx物理引擎模拟血液流动的物理形态,并利用Screen Space Flow算法对血流表面进行实时渲染。然后基于质点-弹簧模型,提出使用Physx物理引擎模拟可交互、有弹性形变及可切割的血管壁。最后实现两个实验场景:场景一实现肺动脉内大规模血液流动的特效;场景二实现在用户交互下的血管壁形变和切割,并通过触发事件实现血管壁破裂流血的特效。实验结果表明,该血流及血管壁模拟方法在40 000个粒子下仍能保证实时绘制,满足虚拟手术的需求。     

基于ACIS平台的大型三维CAD系统的设计与开发

该文介绍了一个基于ACIS平台的大型三维CAD系统的设计、开发与应用。分别介绍了该系统的交互系统、造型系统和渲染系统的设计与实现。设计了一个栈式命令处理系统，便于实现异常复杂的用户交互命令。简要介绍了特征造型功能在ACIS平台上的实现。在ACIS框架上自选算法，重新设计了渲染引擎，扩展了渲染数据结构和功能，克服了ACIS提供的渲染引擎的局限性，得到了独特的渲染效果。最后介绍了本系统的应用情况。     

运载火箭试验数据管理及可视化系统设计

针对现有运载火箭试验数据管理及可视化系统依赖于第三方功能插件,未实现纯浏览器端三维模型渲染及交互,系统对运行环境依赖性强、部署和维护成本高等问题,设计了基于JavaScript框架ExtJS和WebGL框架three.js的运载火箭试验数据管理及可视化系统;首先基于B/S架构设计了系统总体框架,然后针对二维图形数据传输延迟问题设计了基于Web Worker的数据读取方案,最后针对浏览器端三维模型渲染需求提出了基于VTK模型的转换算法,设计了三维模型渲染及交互方案;试验结果显示,该系统不依赖于运行环境和功能插件,能实现浏览器端二维图形和三维模型渲染及流畅交互,为兼容国产化操作系统、降低部署和维护成本创造了条件。     

面向虚拟训练的DirectX可视化仿真系统开发

为了将三维虚拟可视化技术应用于医疗虚拟康复训练之中,在比较多种三维仿真开发平台特点的基础上,提出利用虚拟现实技术和DirectX技术开发一种基于PC的具有人机交互功能的便捷式康复训练软件产品。通过引入虚拟引擎的开发思想,研究了该软件虚拟引擎的硬件接口、图形渲染、声音渲染、碰撞检测等主要模块的相关技术。该原型系统在上海市静安老年医院进行实验测试,实验表明该系统开发平台能满足康复训练所需功能要求,在康复医学领域有较高的推广应用价值。     

基于数字孪生机房的三维可视化监控系统的设计与实现

针对当前机房的监控管理方式单一、实时性差、透明度低等问题,构建了一种基于数字孪生机房的三维可视化监控系统。以数字孪生的五维模型为指导,构建机房虚拟场景,实现机房三维可视化。论文采用Three.js三维引擎搭建机房三维场景,使用JavaScript语言实现各模块间的功能交互,运用深度学习算法完成机房故障诊断的功能。实验证明:基于数字孪生的机房三维可视化监控系统可以实时监测系统状态,动态展示设备信息,提高了管理效率。     

基于GridSim的网格算法测试软件开发*

针对目前绝大部分的网格任务调度实验均建立在仿真实验的基础之上,而GridSim网格模拟器在支持多任务、多资源环境下的网格算法测试方面表现得越来越力不从心,开发一个便于网格研究者使用的网格算法测试软件迫在眉睫。设计并实现了基于GridSim的网格算法测试程序,该程序包括了构建环境模块、任务调度模块和结果输出模块三个子模块。通过实验验证,该程序能够达到在多任务、多资源环境中分析、对比和验证网格调度算法性能的目的。     

基于防摇吊具的集装箱起重机半物理仿真系统

针对集装箱起重机学员培训周期长、安全性差等问题,提出一种基于3D图形渲染引擎（OGRE）的虚拟现实技术,实现集装箱起重机半物理仿真操作培训的方法。设计集装箱起重机司机室硬件操作平台,使用OGRE渲染引擎驱动集装箱货场的三维虚拟场景;建立防摇吊具摆动的动力学模型,模拟起重机吊具的残余摆动;并用以太网通讯实现起重机联动台等实物硬件与虚拟现实仿真软件的信息交互。解决仿真操作系统中的虚拟场景的驱动、吊具残余摆动的模拟、实物硬件与虚拟软件的实时通讯等关键问题。实验结果表明,该半物理仿真系统真实感强,对集装箱起重机驾驶训练有重要价值。     

嵌入式系统软硬件协同模拟验证环境设计与实现

介绍了一个嵌入式系统软硬件协同模拟验证环境，该环境以指令集模拟器和事件驱动硬件模拟器为基本框架，并由总线调度模型和总线界面模型提供软硬件模拟交互界面。重点讨论该环境中软硬件模拟器之间的接口设计与实现方法，最后给出一个嵌入式系统协同验证的应用实例。     

TMvis:基于LDA的主题建模可视分析系统

主题建模是非常重要的一类文本挖掘方法,被广泛用于构建文本语料库的主题,但其存在难以解释和调整的问题.为了协助用户构建字典以及帮助用户理解主题模型并调节模型,设计并实现了渐进式可视化分析框架,包含2个可视化工作区:语料库优化可视化工作区,协助用户高效构建字典;主题模型可视化工作区,提供多尺度信息可视化以辅助用户理解主题模型并交互地改进主题建模.实现了Web环境下的交互式可视主题模型系统TMvis,并采用20newsgroups新闻数据设计了对照实验,证明了方法的有效性.此外,实现了针对豆瓣电影数据的案例分析,验证了系统的实用性.     

基于深度强化学习的金融交易算法研究

交易策略在金融资产交易中具有十分重要的作用,如何在复杂动态金融市场中自动化选择交易策略是现代金融重要研究方向.强化学习算法通过与实际环境交互作用,寻找最优动态交易策略,最大化获取收益.提出了一个融合了CNN与LSTM的端到端深度强化学习自动化交易算法,CNN模块感知股票动态市场条件以及抽取动态特征,LSTM模块循环学习...     

一种基于改进流形学习方法的云计算入侵检测模型

基于互联网的超级计算模式云计算引起了人们极大的关注,也面临着越来越多的安全威胁。主要构建能够适应云计算环境的入侵检测系统框架。将非线性流形学习算法引入本课题提出的模型,作为特征提取模块对云计算环境下采集的网络数据进行预处理;给出经典流形学习算法LLE的改进研究,以提高后续分类性能。实验表明,该算法是可行和高效的。     

激励学习的广义平均算法及其收敛性

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题。激励学习方法是Agent利用试验与环境交互以改进自身的行为。Markov决策过程(MDP)模型是解决激励学习问题的通用方法。文章提出了一种新的算法,这个算法通过牺牲最优性来获取鲁棒性,重点给出了一组逼近算法和它们的收敛结果。利用广义平均算子来替代最优算子max(或min),对激励学习中的两类最重要的算法一动态规划算法和个学习算法一进行了研究,并讨论了它们的收敛性。其目的就是为了提高激励学习算法的鲁棒性。     

Cloud simulators in the implementation and evaluation of virtual machine placement algorithms

In recent years, many algorithms have been proposed for the optimized allocation of virtual machines in cloud data centers. Such algorithms are usually implemented and evaluated in a cloud simulator. This paper investigates the impact of the choice of cloud simulator on the implementation of the algorithms and on the evaluation results. In particular, we report our experiences with porting an algorithm and its evaluation framework from one simulator (CloudSim) to another (DISSECT‐CF). Our findings include limitations in the design of the simulators and in existing algorithm implementations. Based on this experience, we propose architectural guidelines for the integration of virtual machine allocation algorithms into cloud simulators.     

分层强化学习研究进展

强化学习通过试错与环境交互获得策略的改进,其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。但强化学习方法一直被维数灾难所困扰。近年来,分层强化学习方法在解决维数灾问题中取得了显著成果,并逐渐开始向多智能体系统推广,论文归纳分析这一领域目前的研究进展,并对迫切需要解决的一些问题和进一步的发展趋势作出探讨和展望。     

无模型强化学习研究综述

强化学习(Reinforcement Learning,RL)作为机器学习领域中与监督学习、无监督学习并列的第三种学习范式,通过与环境进行交互来学习,最终将累积收益最大化.常用的强化学习算法分为模型化强化学习(Model-based Reinforcement Lear-ning)和无模型强化学习(Model-free...     

基于动态规划方法的激励学习遗忘算法

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题。激励学习方法是Agent利用试验与环境交互以改进自身的行为。Markov决策过程(MDP)模型是解决激励学习问题的通用方法,而动态规划方法是Agent在具有Markov环境下与策略相关的值函数学习算法。但由于Agent在学习的过程中,需要记忆全部的值函数,这个记忆容量随着状态空间的增加会变得非常巨大。文章提出了一种基于动态规划方法的激励学习遗忘算法,这个算法是通过将记忆心理学中有关遗忘的基本原理引入到值函数的激励学习中,导出了一类用动态规划方法解决激励学习问题的比较好的方法,即Forget-DP算法。     

基于DDPG算法的路径规划研究

路径规划是人工智能领域的一个经典问题,在国防军事、道路交通、机器人仿真等诸多领域有着广泛应用,然而现有的路径规划算法大多存在着环境单一、离散的动作空间、需要人工构筑模型的问题。强化学习是一种无须人工提供训练数据自行与环境交互的机器学习方法,深度强化学习的发展更使得其解决现实问题的能力得到进一步提升,本文将深度强化学习的DDPG(Deep Deterministic Policy Gradient)算法应用到路径规划领域,完成了连续空间、复杂环境的路径规划。     

增强Q学习在非确定马尔可夫系统寻优问题中的应用

增强学习属于机器学习的一种,它通过与环境的交互获得策略的改进,其在线学习和自适应学习的特点使其成为解决策略寻优问题有力的工具。多智能体系统是人工智能领域的一个研究热点,对于多智能体学习技术的研究需要建立在系统环境模型的基础之上,由于多个智能体的存在,智能体之间的相互影响使得多智能体系统高度复杂,多智能体系统环境属于非确定马尔可夫模型,因此直接把基于马尔可夫模型的增强学习技术引入多智能体系统是不合适的。论文基于智能体间独立的学习机制,提出了一种改进的多智能体Q学习算法,使其适用于非确定马尔可夫环境,并对该学习技术在多智能体系统RoboCup中的应用进行了研究,实验证明了该学习技术的有效性与泛化能力,最后简要给出了多智能体增强学习研究的方向及进一步的工作。     

Q-learning算法及其在囚徒困境问题中的实现

Ｑ－ｌｅａｒｎｉｎｇ是一种优良的强化学习算法。该文首先阐述了Ｑ－ｌｅａｒｎｉｎｇ的基本学习机制,然后以囚徒困境问题为背景,分析、对比Ｔ Ｑ－ｌｅａｒｎｉｎｇ算法与ＴＦＴ算法,验证了 Ｑ－ｌｅａｒｎｉｎｇ算法的优良特性。