基于样本效率优化的深度强化学习方法综述

深度强化学习将深度学习的表示能力和强化学习的决策能力结合,因在复杂控制任务中效果显著而掀起研究热潮.以是否用Bellman方程为基准,将无模型深度强化学习方法分为Q值函数方法和策略梯度方法,并从模型构建方式、优化历程和方法评估等方面对两类方法分别进行了介绍.针对深度强化学习方法中样本效率低的问题进行讨论,根据两类方法的模型特性,说明了Q值函数方法过高估计问题和策略梯度方法采样无偏性约束分别是两类方法样本效率受限的主要原因.从增强探索效率和提高样本利用率两个角度,根据近年来的研究热点和趋势归纳出各类可行的优化方法,分析相关方法的优势和仍存在的问题,并对比其适用范围和优化效果.最后提出增强样本效率优化方法的通用性、探究两类方法间优化机制的迁移和提高理论完备性作为未来的研究方向.     

基于深度学习的复杂背景下目标检测

目标检测是计算机视觉领域的重要研究方向.传统的目标检测方法在特征设计上花费了大量时间,且手工设计的特征对于目标多样性的问题并没有好的鲁棒性,深度学习技术逐渐成为近年来计算机视觉领域的突破口.为此,对现有的基础神经网络进行研究,采用经典卷积神经网络VGGNet作为基础网络,添加部分深层网络,结合SSD(single shot multibox detector)算法构建网络框架.针对模型训练中出现的正负样本不均衡问题,根据困难样本挖掘原理,在原有的损失函数中引入调制因子,将背景部分视为简单样本,减小背景损失在置信损失中的占比,使得模型收敛更快速,模型训练更充分,从而提高复杂背景下的目标检测精度.同时,通过构建特征金字塔和融合多层特征图的方式,实现对低层特征图的语义信息融合增强,以提高对小目标检测的精度,从而提高整体的检测精度.仿真实验结果表明,所提出的目标检测算法(feature fusion based SSD,FF-SSD)在复杂背景下对各种目标均可取得较高的检测精度.     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

一种陶瓷方形扁平封装外观缺陷检测方法

提出一种基于机器视觉的陶瓷方形扁平封装外观缺陷检测方法。对于封装外形尺寸较大而缺陷较细微的情形,将待检片分为多个区域与标准样片进行比对检测。首先通过Foerstner特征点检测法提取标准片图像的特征点,然后使用随机抽样一致性(RANSAC)图像匹配算法,将所有标准片图像拼接并融合生成一张标准片全幅面模板,再将待检片分区与标准片模板进行序贯比对,以提取可疑区域,最后利用支持向量机(SVM)分类器对可疑区域进行筛选分类。实验结果表明,这种方法不仅克服了传统视觉检测过程中视野范围与图像分辨率相互制约的矛盾,且对陶瓷方形扁平封装表面缺陷具有较高的检出率。     

一种基于稀疏分段的协同过滤推荐算法

针对数据强稀疏性严重制约协同过滤算法推荐准确性的问题,提出基于稀疏分段的改进方法。首先利用基于迭代预测的支持向量回归在解决小样本高维数据中的优势,对稀疏的U-I矩阵中相对弱稀疏的密集数据部分预测缺失评分,然后使用基于项目的插补协同过滤方法预测剩余数据的缺失评分。在多个公开数据集中的实验表明,该方法适用于强稀疏数据集的推荐,与基于项目协同过滤比较可取得较好的预测结果。     

基于数字通信信号瞬时特性的调制方式识别方法

通信对抗中数字通信调制方式识别作为一种非协作通信识别是近年研究的热点,提出一种基于信号瞬时特性并结合决策论对通信信号调制方式进行识别的方法。该方法选用数字通信信号中的五个典型特征参数作为判决准则,然后给出基于决策论判别树的方法,选取恰当的特征门限进行信号识别流程设计。仿真实验结果表明,该方法在信噪比较低时也具有较高的识别正确率和更快的识别速度,更容易工程实现。     

基于卷积神经网络的藏文手写数字识别

藏文字处理和藏文数字自动识别等对藏文信息处理技术的潜在需求越来越高,目前已经成为藏区重要的研究课题之一。文中首先采集并构建藏文手写数字数据共15 000个样本,其中13 000个样本为训练数据,2 000个样本为测试数据,并对其进行预处理,后采用卷积神经网络(CNN)模型对藏文手写数字样本进行训练。经实验验证在测试集上的识别正确率达97.85%。     

基于卷积神经网络迁移学习的飞机目标识别

飞机目标识别是地面情报系统的一项重要关键技术。近年来火热的深度学习方法,如卷积神经网络,展现出对于图像识别任务的优越性能。但是,训练卷积神经网络需要大量的带标签样本以估计规模庞大的模型参数,因而限制了其在雷达目标识别领域中的应用。针对飞机目标识别中的小样本问题,文中引入适用于有限数据场景的迁移学习技术,预先在其他大样本高分辨距离像数据上训练一个初始卷积神经网络模型,再结合当前飞机目标识别任务调优模型参数。在实测数据上的实验结果显示,与仅使用卷积神经网络的方法相比,所提方法可显著提升识别准确率,验证了方法的有效性。     

基于深度卷积神经网络的图像重建算法

视频或者图像在传输过程中,可能出现随机性的误码、突发性的误码、传输中的丢包等等,对解码出的图像数据也会有严重的影响.本文提出了基于深度学习的图像重建算法：一种基于图像背景预测生成模糊区域内容的无监督图像重建神经网络模型.为了重建出逼真的图像,神经网络模型需要既理解整个图像的内容,又为缺失的部分重构出一个合理的假设.损失函数包含标准像素级重建损失和对抗损失,在训练卷积神经网络模型时,能够更好地处理图像中的结构细节产生更清晰的结果.通过实验可以发现本文设计的深度卷积神经网络模型与基于样本插值的算法相比在图像重建中有着较好的效果.