深度强化学习进展: 从AlphaGo到AlphaGo Zero

2016年初,AlphaGo战胜李世石成为人工智能的里程碑事件.其核心技术深度强化学习受到人们的广泛关注和研究,取得了丰硕的理论和应用成果.并进一步研发出算法形式更为简洁的AlphaGo Zero,其采用完全不基于人类经验的自学习算法,完胜AlphaGo,再一次刷新人们对深度强化学习的认知.深度强化学习结合了深度学习和强化学习的优势,可以在复杂高维的状态动作空间中进行端到端的感知决策.本文主要介绍了从AlphaGo到AlphaGo Zero的深度强化学习的研究进展.首先回顾对深度强化学习的成功作出突出贡献的主要算法,包括深度Q网络算法、A3C算法、策略梯度算法及其他算法的相应扩展.然后给出AlphaGo Zero的详细介绍和讨论,分析其对人工智能的巨大推动作用.并介绍了深度强化学习在游戏、机器人、自然语言处理、智能驾驶、智能医疗等领域的应用进展,以及相关资源进展.最后探讨了深度强化学习的发展展望,以及对其他潜在领域的人工智能发展的启发意义.     

基于动态学习率深度神经网络的抗干扰信道编码算法

针对电子战条件下,通信信号易受压制干扰的问题,提出了一种基于动态学习率深度自编码器（dynamic learning rate deep AutoEncoder,DLr-DAE）的信道编码算法来提高系统抗压制干扰性能。首先对输入未编码信号进行预处理,将原始输入信号转换为单热矢量,随后使用训练数据样本集,用非监督学习方法训练深度自编码器,基于随机梯度下降法（SGD）更新网络参数,利用指数衰减函数,在迭代次数和网络损失函数值变化过程中动态微调学习率,减少网络迭代循环次数,避免收敛结果陷入局部最优点,从而获得面向电子战环境的信道编码深度学习网络。仿真结果表明,相比现有深度学习编码算法,该算法在取得同等误码率时,抗噪声压制干扰性能最大可提升0.74 dB。     

基于深度学习的目标检测算法综述

目标检测是高级视觉研究领域的重要前提,是计算机视觉研究的核心问题.深度学习拥有强大的自学习能力,将其运用至目标检测领域能够在一定程度上弥补了传统检测方法的不足.首先介绍了传统目标检测方法面临的困境;然后对两阶段深度学习算法和单阶段深度学习算法分别进行介绍;最后对基于深度学习的目标检测算法的发展进行总结,并对未来前景进行...     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于TSNE和多尺度稀疏自编码的高光谱图像分类

针对高光谱图像存在维数“灾难”、特征以及空间信息利用不足的问题,结合深度学习、流形学习及多尺度空间特征的最新进展,提出了一种TSNE和多尺度稀疏自编码网络的高光谱图像分类算法。利用TSNE算法对高光谱图像进行降维,再对每个像元的邻域进行多尺度空间特征提取,利用加入空谱联合信息的像元训练稀疏自编码网络模型并通过softmax分类器进行分类,减少计算复杂度,提高分类精确度。通过对Indian Pines及Pavia University两组数据进行实验,结果表明,提出的算法与其他五种算法相比分类效果更好。     

深度强化学习在智能制造中的应用展望综述

深度强化学习作为机器学习发展的最新成果,已经在很多应用领域崭露头角。关于深度强化学习的算法研究和应用研究,产生了很多经典的算法和典型应用领域。深度强化学习应用在智能制造中,能在复杂环境中实现高水平控制。对深度强化学习的研究进行概述,对深度强化学习基本原理进行介绍,包括深度学习和强化学习。介绍深度强化学习算法应用的理论方法,在此基础对深度强化学习的算法进行了分类介绍,分别介绍了基于值函数和基于策略梯度的强化学习算法,列举了这两类算法的主要发展成果,以及其他相关研究成果。对深度强化学习在智能制造的典型应用进行分类分析。对深度强化学习存在的问题和未来发展方向进行了讨论。     

深度学习加速技术研究

深度学习是近年来机器学习的研究热点,并已广泛应用于不同领域. 但由于训练模型复杂和训练集规模庞大等原因导致的深度学习性能问题已成为其发展的一大阻碍. 近年来计算机硬件的快速发展,尤其是处理器核数的不断增加和整体运算能力的快速提高,给深度学习加速提供了硬件基础,然而其训练算法并行度低和内存开销巨大等问题使得加速研究工作困难重重. 首先介绍了深度学习的背景和训练算法,对当前主要的深度学习加速研究工作进行归纳总结. 在此基础上,对经典的深度学习模型进行性能测试,分析了深度学习及并行算法的性能问题. 最后,对深度学习的未来发展进行了展望.     

智能型红外遥控器的设计

空调遥控器编码复杂、信息量及存储空间大.通过对空调遥控器编码的深入研究分析,提出了一种基于温度控制的编码状态转换算法.在制冷、制热、除湿和通风每种模式下设计了一种"编码转换状态图",控制空调的温度按设定的要求,遵循规律有序的转换.设计的均值算法对高速载频进行了测量,解决了指令周期与载波周期在同一量级精确检测的难题,实现了遥控器的自学习功能.经测试结果表明,编码状态转换算法简化了编码信息,减少了存储空间,为采用单片机实现自学习智能空调遥控器的设计提供了新思路.     

深度图像下基于特征学习的人体检测方法

文章提出了一种单幅深度图像上的人体检测算法。该算法通过构建自编码神经网络的方法使机器自我学习图像的内部结构特征,达到特征提取的目的。针对自编码神经网络存在计算量大的问题,引入了卷积神经网、池化等概念。对滑动窗口检测法所产生的大量的待检测图像集进行特征提取将严重影响人体检测的速度。为此,利用深度图像中深度值的分布具有集中性的特点,在检测前对目标所在的可能位置进行预测,再针对这些目标可能集进行特征提取和分类,可以有效的提高人体检测速度。算法在SZU Depth Pedestrian数据集上得到了验证。     

迈进高维连续空间:深度强化学习在机器人领域中的应用

首先,对深度强化学习(DRL)的兴起与发展进行了回顾.然后,将用于高维连续动作空间的深度强化学习算法分为基于值函数近似的算法、基于策略近似的算法以及基于其他结构的算法3类,详细讲解了深度强化学习中的最新代表性算法及其特点,并重点阐述了其思路、优势及不足.最后,结合深度强化学习算法的发展方向,对使用深度强化学习方法解决机器人学问题的未来发展趋势进行了展望.     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于堆叠稀疏自编码神经网络的航空发动机剩余寿命预测方法研究

航空发动机是飞行器的核心动力系统,工作环境恶劣,对其进行状态监测和寿命预测是保障飞行器安全可靠运行的重要技术手段。本文研究一种基于堆叠稀疏自编码神经网络的航空发动机剩余寿命预测方法,首先将多个自编码网络连接构成深度堆叠自编码网络,选取发动机的状态数据作为网络的训练输入,使网络逐层智能提取数据间的分布式规则,从而构建发动机退化的堆叠自编码学习模型。通过采用BP神经网络对发动机剩余寿命区间进行分类,作为发动机剩余寿命预测的结果。通过使用PHM2008挑战赛中发动机退化数据对本文研究方法进行了验证,结果验证了堆叠自编码网络深度学习方法对航空发动机剩余寿命预测的有效性。     

谱聚类欠取样下自编码网络不平衡数据挖掘

不平衡数据集的应用领域日益广泛,需求也越来越高,为提升整体数据集的分类准确率,以谱聚类欠取样为前提条件,构建一种自编码网络不平衡数据挖掘方法.把聚类问题转换成无向图多路径划分问题,通过无向图与标准化处理完成谱聚类,经过有选择地欠取样处理多数类数据集,获取分类边界偏移量,利用学习过程是无监督学习的自编码网络,升、降维数据,获取各维度隐藏特征,实现各层面的数据高效表示学习,根据最大均值差异与预设阈值的对比结果,调整自编码网络,基于得到的分类界面,完成不平衡数据挖掘.选用具有不同实际应用背景的UCI数据集,从中抽取10组数据作为测试集,经谱聚类欠取样处理与模拟实验,发现所提方法大幅提升少数类分类精度与整体挖掘性能,具有较好的适用性与可行性.     

无监督网络对抗生成模型的研究

一般的学习模型都是基于一个假设的随机分布,然后通过训练真实数据来拟合出模型。网络模型复杂并且数据集规模也不小,这种方法简直就是凭借天生蛮力解决问题。Goodfellow认为正确使用数据的方式,是先对数据集的特征信息有insight之后,再干活。无监督学习是当下较为流行的话题,但也是困难较为繁多的话题。目前无监督学习可以分成以下两类,分别是确定型的自编码方法以及概率型的受限波尔兹曼机,其目标主要是使受限玻尔兹曼机达到稳定状态时原数据出现的概率最大。如何更快速更有效地地搭建模型以及如何做实验并有效地获得相关的实验结论是人们讨论的重点。在研究中,在判别模型中增加正则化,用卷积层代替池化层,在生成模型中输出层使用tanh激活函数激活,这样使得最终运算的准确率和损失率大大下降,并减少了冗余成分。     

基于深度学习的人脸跟踪自动初始化方法

针对机器学习领域的人脸跟踪研究,其人脸首帧初始化由人工手动标注的问题,提出了一种基于深度学习的人脸跟踪自动初始化首帧方法。通过建立栈式稀疏自编码神经网络,对大量未标注的样本采用近似恒等的方法计算各隐层节点并运用反向传播法进行权值微调。预训练网络之后,连接softmax分类器,再用少量已标注样本对softmax分类器进行有监督训练,从而形成一个能进行人脸跟踪首帧自动初始化的分类器。结果表明,该方法显著提高了人脸跟踪中首帧初始化的效率,识别准确率达到92%,基本满足了人脸首帧自动初始化的要求。     

ConvFNN:一种基于深度学习的个性化推荐算法

最近这几年,随着深度学习快速发展,在图像处理、自然语言处理等领域有了很多应用,而在推荐系统领域,深度学习的应用还不是很常见,并且现在传统的推荐算法也遇到了一些瓶颈,由于现在的评分数据非常稀疏,传统的矩阵分解模型,在一些评分预测领域效果不是很理想。本论文为了解决这些问题,提出一种基于深度学习的个性化推荐算法,考虑利用深度学习来解决评分预测不准的问题。     

A memetic grammar inference algorithm for language learning

An unsupervised incremental algorithm for grammar inference and its application to domain-specific language development are described. Grammatical inference is the process of learning a grammar from the set of positive and optionally negative sentences. Learning general context-free grammars is still considered a hard problem in machine learning and is not completely solved yet. The main contribution of the paper is a newly developed memetic algorithm, which is a population-based evolutionary algorithm enhanced with local search and a generalization process. The learning process is incremental since a new grammar is obtained from the current grammar and false negative samples, which are not parsed by the current grammar. Despite being incremental, the learning process is not sensitive to the order of samples. All important parts of this algorithm are explained and discussed. Finally, a case study of a domain specific language for rendering graphical objects is used to show the applicability of this approach.     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。