基于深度强化学习实时战略卡牌游戏对战设计

深度学习、强化学习在游戏中的应用在这几年的研究中非常热门,从围棋,到各种Atari游戏等,但是对于基于卡片的实时策略游戏却只有较少的研究.设计了基于深度强化学习自主游戏的程序,对战实时策略卡牌游戏《皇室战争》训练营.利用Deep Q-Learing算法(DQN),并通过python调用win api操纵电脑进行游戏.对...     

Double DQN在坦克对战游戏中的应用

深度强化学习在游戏领域中有着广泛的应用,使用深度强化学习方法训练的智能体能在一些游戏上有接近人类玩家的表现。本文设计并实现了一个坦克对战游戏环境,并将深度强化学习应用到游戏中,使用Double DQN训练智能体,使智能体程序能在游戏中获胜。     

深度强化学习进展: 从AlphaGo到AlphaGo Zero

2016年初,AlphaGo战胜李世石成为人工智能的里程碑事件.其核心技术深度强化学习受到人们的广泛关注和研究,取得了丰硕的理论和应用成果.并进一步研发出算法形式更为简洁的AlphaGo Zero,其采用完全不基于人类经验的自学习算法,完胜AlphaGo,再一次刷新人们对深度强化学习的认知.深度强化学习结合了深度学习和强化学习的优势,可以在复杂高维的状态动作空间中进行端到端的感知决策.本文主要介绍了从AlphaGo到AlphaGo Zero的深度强化学习的研究进展.首先回顾对深度强化学习的成功作出突出贡献的主要算法,包括深度Q网络算法、A3C算法、策略梯度算法及其他算法的相应扩展.然后给出AlphaGo Zero的详细介绍和讨论,分析其对人工智能的巨大推动作用.并介绍了深度强化学习在游戏、机器人、自然语言处理、智能驾驶、智能医疗等领域的应用进展,以及相关资源进展.最后探讨了深度强化学习的发展展望,以及对其他潜在领域的人工智能发展的启发意义.     

多Agent深度强化学习综述

近年来, 深度强化学习(Deep reinforcement learning, DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力, 深度强化学习已经成为实现人工智能颇有前景的学习范式.然而, 深度强化学习在多Agent系统的研究与应用中, 仍存在诸多困难和挑战, 以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时, 从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳, 将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题, 并分析了多Agent深度强化学习的研究热点和发展前景.     

深度强化学习中稀疏奖励问题研究综述

强化学习作为机器学习的重要分支,是在与环境交互中寻找最优策略的一类方法。强化学习近年来与深度学习进行了广泛结合,形成了深度强化学习的研究领域。作为一种崭新的机器学习方法,深度强化学习同时具有感知复杂输入和求解最优策略的能力,可以应用于机器人控制等复杂决策问题。稀疏奖励问题是深度强化学习在解决任务中面临的核心问题,在实际应用中广泛存在。解决稀疏奖励问题有利于提升样本的利用效率,提高最优策略的水平,推动深度强化学习在实际任务中的广泛应用。文中首先对深度强化学习的核心算法进行阐述;然后介绍稀疏奖励问题的5种解决方案,包括奖励设计与学习、经验回放机制、探索与利用、多目标学习和辅助任务等;最后对相关研究工作进行总结和展望。     

面向自然语言处理的深度学习研究

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.     

迈进高维连续空间:深度强化学习在机器人领域中的应用

首先,对深度强化学习(DRL)的兴起与发展进行了回顾.然后,将用于高维连续动作空间的深度强化学习算法分为基于值函数近似的算法、基于策略近似的算法以及基于其他结构的算法3类,详细讲解了深度强化学习中的最新代表性算法及其特点,并重点阐述了其思路、优势及不足.最后,结合深度强化学习算法的发展方向,对使用深度强化学习方法解决机器人学问题的未来发展趋势进行了展望.     

深度强化学习在智能制造中的应用展望综述

深度强化学习作为机器学习发展的最新成果,已经在很多应用领域崭露头角。关于深度强化学习的算法研究和应用研究,产生了很多经典的算法和典型应用领域。深度强化学习应用在智能制造中,能在复杂环境中实现高水平控制。对深度强化学习的研究进行概述,对深度强化学习基本原理进行介绍,包括深度学习和强化学习。介绍深度强化学习算法应用的理论方法,在此基础对深度强化学习的算法进行了分类介绍,分别介绍了基于值函数和基于策略梯度的强化学习算法,列举了这两类算法的主要发展成果,以及其他相关研究成果。对深度强化学习在智能制造的典型应用进行分类分析。对深度强化学习存在的问题和未来发展方向进行了讨论。     

多智能体深度强化学习及其可扩展性与可迁移性研究综述

得益于深度学习强大的特征表达能力和强化学习有效的策略学习能力,深度强化学习在一系列复杂序贯决策问题中取得了令人瞩目的成就.伴随着深度强化学习在诸多单智能体任务中的成功应用,其在多智能体系统中的研究方兴未艾.近年来,多智能体深度强化学习在人工智能领域备受关注,可扩展与可迁移性已成为其中的核心研究点之一.鉴于此,首先阐释深度强化学习的发展脉络和典型算法,介绍多智能体深度强化学习的3种学习范式,分析两类多智能体强化学习的典型算法,即分解值函数方法和中心化值函数方法;然后归纳注意力机制、图神经网络等6类具有可扩展性的多智能体深度强化学习模型,梳理迁移学习和课程学习在多智能体深度强化学习可迁移性方向的研究进展;最后讨论多智能体深度强化学习的应用前景与研究方向,为未来多智能体深度强化学习的进一步发展提供可借鉴的参考.     

深度强化学习研究综述

作为一种崭新的机器学习方法,深度强化学习将深度学习和强化学习技术结合起来,使智能体能够从高维空间感知信息,并根据得到的信息训练模型、做出决策。由于深度强化学习算法具有通用性和有效性,人们对其进行了广泛的研究,并将其运用到了日常生活的各个领域。首先,对深度强化学习研究进行概述,介绍了深度强化学习的基础理论;然后,分别介绍了基于值函数和基于策略的深度强化学习算法,讨论了其应用前景;最后,对相关研究工作做了总结和展望。     

深度强化学习中状态注意力机制的研究

虽然在深度学习与强化学习结合后,人工智能在棋类游戏和视频游戏等领域取得了超越人类水平的重大成就,但是实时策略性游戏星际争霸由于其巨大的状态空间和动作空间,对于人工智能研究者来说是一个巨大的挑战平台,针对Deepmind在星际争霸II迷你游戏中利用经典的深度强化学习算法A3C训练出来的基线智能体的水平和普通业余玩家的水平相比还存在较大的差距的问题。通过采用更简化的网络结构以及把注意力机制与强化学习中的奖励结合起来的方法,提出基于状态注意力的A3C算法,所训练出来的智能体在个别星际迷你游戏中利用更少的特征图层取得的成绩最高,高于Deepmind的基线智能体71分。     

A concept map-embedded educational computer game for improving students' learning performance in natural science courses

Many recent studies have reported the benefits of educational computer games in promoting students' learning motivations. On the other hand, however, the effect of digital game-based learning in improving students' learning performance has been questioned. Several previous studies have reported that without properly integrating learning strategies into gaming scenarios, the effectiveness of educational computer games could be limited, or may be even worse than that of the conventional technology-enhanced learning approach. In this study, a concept map-embedded gaming approach is proposed for developing educational computer games by integrating concept mapping as part of the gaming scenarios to help students organize what they have learned during the game-based learning process. Moreover, a role-playing game has been developed for an elementary school natural science course based on the proposed approach. From the experimental results, it is found that the concept map-embedded gaming approach can significantly improve the students' learning achievement and decrease their cognitive load. Moreover, the students who learned with the proposed approach revealed a significantly higher degree of perceived usefulness than those who learned with the conventional game-based learning approach.     

迁移学习方法在医学图像领域的应用综述

深度学习技术发展迅速,在医学图像处理领域取得了显著成果。但是由于医学图像样本少,标注困难,使得深度学习的效果远未达到预期。近年,利用迁移学习方法缓解医学图像样本不足的问题,提高深度学习技术在医学图像领域的效果,成为了研究热点之一。介绍了迁移学习方法的基本概念、类型、常用策略及模型,根据迁移学习方法的类型,对当前医学图像领域具有代表性的相关研究进行了梳理与小结,对该领域的未来发展进行了总结和展望。     

Effects of constructing versus playing an educational game on student motivation and deep learning strategy use

In this study the effects of two different interactive learning tasks, in which simple games were included were described with respect to student motivation and deep strategy use. The research involved 235 students from four elementary schools in The Netherlands. One group of students (N = 128) constructed their own memory ‘drag and drop’ game, whereas the other group (N = 107) played an existing ‘drag and drop’ memory game. Analyses of covariance demonstrated a significant difference between the two conditions both on intrinsic motivation and deep strategy use. The large effect sizes for both motivation and deep strategy use were in favour of the construction condition. The results suggest that constructing a game might be a better way to enhance student motivation and deep learning than playing an existing game. Despite the promising results, the low level of complexity of the games used is a study limitation.     

深度学习方法在软件分析中的应用

大数据时代下迅速兴起的深度学习已在计算机视觉等多个领域取得了重大进展。近年来,随着软件制品的积累,这一方法也开始在软件工程领域发挥重要作用。概述了利用深度学习处理不同软件分析任务的研究进展,总结了主要研究方向和应用特点。目前已有一批重要成果发表,相关研究热度呈现上升趋势。最后探讨了现有深度学习技术在应用时的一些局限性与问题。     

深度学习发展形势下计算机视觉教学内容革新

近年来，深度学习理论与应用技术获得了快速发展，其在计算机视觉中的应用日益广泛和深入，在诸多计算机视觉任务中取得了受人注目的成绩，给现有的计算机视觉教学内容带来了不容忽视的影响。在总结深度学习理论在计算机视觉各方面应用现状的基础上，提出计算机视觉教学内容的适应性革新，将深度学习理论融入计算机视觉教学中，更好地体现相关学科理论发展对计算机视觉教学内容变革的促进作用。     

基于双重注意力机制的异步优势行动者评论家算法

深度强化学习是目前机器学习领域发展最快的技术之一.传统的深度强化学习方法在处理高维度大状态的空间任务时,庞大的计算量导致其训练时间过长.虽然异步深度强化学习利用异步方法极大缩短了训练时间,但会忽略某些更具价值的图像区域和图像特征.针对上述问题,本文提出了一种基于双重注意力机制的异步优势行动者评论家算法.新算法利用特征注意力机制和视觉注意力机制来改进传统的异步深度强化学习模型.其中,特征注意力机制为卷积神经网络卷积后的所有特征图设置不同的权重,使得智能体聚焦于重要的图像特征;同时,视觉注意力机制为图像不同区域设置权重参数,权重高的区域表示该区域信息对智能体后续的策略学习有重要价值,帮助智能体更高效地学习到最优策略.新算法引入双重注意力机制,从表层和深层两个角度对图像进行编码表征,帮助智能体将聚焦点集中在重要的图像区域和图像特征上.最后,通过Atari 2600部分经典实验验证了基于双重注意力机制的异步优势行动者评论家算法的有效性.     

Reviewing the need for gaming in education to accommodate the net generation

There is a growing interest in the use of simulations and games in Dutch higher education. This development is based on the perception that students belong to the ‘gamer generation’ or ‘net generation’: a generation that has grown up with computer games and other technology affecting their preferred learning styles, social interaction patterns and technology use generally. It is often argued that in education this generation prefers active, collaborative and technology-rich learning, i.e. learning methods that involve extensive computer use and collaboration among students. Gaming is then proposed as a new teaching method which addresses these requirements. This article presents the results of a survey which studied whether this discourse is also applicable to higher education students from the Netherlands and whether games, considered as active, collaborative and technology-rich learning experiences, are of greater importance in the formal education of today’s students. Of 1432 respondents from eight Dutch institutes of higher education surveyed between 2005 and 2009, about 25% fit our criteria of being a clear representative of the net generation. Furthermore, our analysis shows that there is little difference, and no statistically significant difference, in active, collaborative and technology-rich learning preferences between the representatives and non-representatives of the net generation. Furthermore, no large or statistically significant differences were found between representatives and non-representatives of the net generation with respect to the value they accorded to gaming in education. Overall our dataset did not fit the expectations raised by the net generation theory, with the percentage of students who fit the criteria being much lower than expected. However, regardless of whether they represented the net generation or not, in general our respondents preferred collaborative and technology-rich learning and deemed games a valuable teaching method.     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.