基于自适应调节策略熵的元强化学习算法

传统的深度强化学习方法依赖大量的经验样本并且难以适应新任务.元强化学习通过从以往的训练任务中提取先验知识,为智能体快速适应新任务提供了一种有效的方法.基于最大熵强化学习框架的元深度强化学习通过最大化期望奖赏和最大化策略熵来优化策略.然而,目前以最大熵强化学习框架为基础的元强化学习算法普遍采用固定的温度参数,这在面对元强化学习的多任务场景时是不合理的.针对这一问题,提出了自适应调节策略熵(Automating Policy Entropy,APE)算法.该算法首先通过限制策略的熵,将原本的目标函数优化问题转换为受限优化问题,然后将受限优化问题中的对偶变量作为温度参数,通过拉格朗日对偶法求解得到其更新公式.根据得到的更新公式,温度参数将在每一轮元训练结束之后进行自适应调节.实验数据表明,所提算法在Ant-Fwd-Back和Walker-2D上的平均得分提高了200,元训练效率提升了82％;在Humanoid-Di-rec-2D上的策略收敛所需的训练步数为23万,收敛速度提升了127％.实验结果表明,所提算法具有更高的元训练效率和更好的稳定性.     

基于变分贝叶斯推断的字典学习算法

传统的字典学习算法在对训练图像进行学习时收敛速率慢,当图像受到噪声干扰时学习效果变差.对此,提出一种基于变分推断的字典学习算法.首先设定模型中各参数的共轭稀疏先验分布;然后基于贝叶斯网络求出所有参数的联合概率密度函数;最后利用变分贝叶斯推断原理计算出各参数的最优边缘分布,训练出自适应学习字典.利用该字典进行图像去噪实验以及压缩感知重构实验,仿真结果表明,所提出的算法可显著提高字典学习效率,对测试图像的去噪效果和重构精度有很大改善.     

基于项目反应理论自适应测试系统的设计实现

根据自适应学习的特点,对项目反应理论的参数模型进行分析,提出极大似然估算法计算学习者能力参数。并在分析自适应测试系统的体系结构及系统主要功能模块的基础上,构建该测试系统;并提出了测试系统中首题估算策略、信息间隔量估算策略,从而提高出题速度和计算速度;并根据学习者的实际测试情况得出难度系数和特征水平,实现了难度系数算法和学习者特质水平计算算法。在此基础上开发了一个基于计算机应用基础课程的自适应测试系统。     

基于项目反应理论自适应测试系统的设计实现

根据自适应学习的特点,对项目反应理论的参数模型进行分析,提出极大似然估算法计算学习者能力参数。并在分析自适应测试系统的体系结构及系统主要功能模块的基础上,构建该测试系统;并提出了测试系统中首题估算策略、信息间隔量估算策略,从而提高出题速度和计算速度;并根据学习者的实际测试情况得出难度系数和特质水平,实现了难度系数算法和学习者特征水平计算算法。在此基础上开发了一个基于计算机应用基础课程的自适应测试系统。     

自适应算法在网络学习系统的应用研究

随着现代信息技术与教育产业的深度融合,建设远程开放式的网络学习平台已成为构建智慧校园网的核心;同时也为构建学习型社会,实现终身教育提供了环境支撑和技术保障。主要着手于自适应算法研究,以网络学习者为对象,针对网络学习平台中存在的问题,设想将自适应算法引入到网络学习平台中,设计一个包含自适应网络学习模型、学习者信息模型、智能学习诊断模型的网络学习系统。以期系统能够有效地完善现有网络学习在动态导航、智能诊断、师生交互、因材施教等方面存在的不足,并从根本上改变传统按部就班式的学习模式,实现将资源按照学习者的个体特征和学习需求自动地生成学习内容序列,从而实现个性化的学生学习与教师辅导,以此来提升远程教育的服务质量。     

自适应遗传退火算法优化BP神经网络及其应用

以提高预测软件老化趋势为应用背景,提出一种新型自适应遗传退火算法（NAGSA）优化BP神经网络模型,该模型采用轮盘赌选择法与精英保留策略相结合的选择算子,在迭代后期通过模拟退火算法对适应度函数进行拉伸,相比传统的自适应遗传算法（AGA）在个体适应度较低时,能够非线性地自适应调节交叉概率和变异概率,从而对BP神经网络的权值和阈值优化并进行网络训练.对在线售书网站注入内存泄漏的代码使之老化,收集实验所需的老化数据进行仿真训练,实验结果表明,NAGSA-BP模型相比于传统遗传算法（GA）、传统自适应遗传算法（AGA）、传统自适应遗传退火算法（NGSA）优化的BP神经网络模型提高了预测精度和取得了优良的收敛效果,在该应用领域验证了本文方法的有效性.     

基于贝叶斯网络的自适应系统建构

以认知学习理论为依据,运用贝叶斯网络建立学习者模型,提出了一种学习内容自适应呈现算法。学习内容的呈现适合学习者认知发展水平及个性特征,实现了一种智能化、个性化网络学习的自适应系统,为学习者提供一种更优化的学习途径。     

醇解度预测的神经网络模型研究

针对聚乙烯醇生产过程的醇解度预测问题,建立神经网络模型;对醇解度的影响因素进行了研究,讨论了输入层、输出层、隐含层等神经元的设置及网络训练的参数,比较了梯度下降BP算法、动量-自适应学习速率调整算法、Levenberg-Marquardt BP算法三种不同的训练算法在本问题上的优劣,并与RBF网络相比较,综合考虑训练时间、训练精度、泛化能力等条件,动量一自适应学习速率调整算法是最适合醇解度预测的,并基于动量-自适应学习速率调整算法建立了神经网络模型;将模型应用于醇解度预测系统,系统实际运行情况表明,利用神经网络模型预测醇解度是可行有效的.     

自适应学习系统中朴素贝叶斯分类的应用研究

本文研究了自适应学习系统中学习者学习情况诊断的相关文献,设计了一个自适应学习系统模型;给出了学习者情况诊断的一般过程,设计了基于知识点权重的朴素贝叶斯分类预测算法,给出了实现的模型。     

基于深度学习的遥感图像去雾算法

针对遥感图像由于雾霾的存在导致图像清晰度下降的问题,提出了一种基于深度学习的图像去雾算法.首先将原有大气散射模型进行变形得到一个端到端的去雾模型,再将多个未知参数统一在一个参数中,运用多尺度卷积神经网络对未知参数进行估计,最后将参数估计值代入去雾模型中得到无雾图像.针对无参考图像数据集,先运用现有数据集对网络进行初步训练,再加入自建数据集对网络进行二次训练.实验结果表明,与相关去雾算法进行对比,该算法在视觉效果和客观指标上都有不同程度的提高,有效提升了遥感图像在雾霾天气状况下的清晰度.     

BYY Harmony Learning on Finite Mixture: Adaptive Gradient Implementation and A Floating RPCL Mechanism

In tackling the learning problem on a set of finite samples, Bayesian Ying-Yang (BYY) harmony learning has developed a new learning mechanism that makes model selection implemented either automatically during parameter learning or in help of evaluating a new class of model selection criteria. In this paper, parameter learning with automated model selection has been studied for finite mixture model via an adaptive gradient learning algorithm for BYY harmony learning on a specific bidirectional architecture (BI-architecture). Via theoretical analysis, it has shown that the adaptive gradient learning implements a mechanism of floating rival penalized competitive learning (RPCL) among the components in the mixture. Also, the simulation results are demonstrated well for the adaptive gradient algorithm on the sample data sets from Gaussian mixtures with certain degree of overlap. Moreover, the adaptive gradient algorithm is applied to classification of the Iris data and unsupervised color image segmentation.     

两两关系马尔科夫网的自适应组稀疏化学习

稀疏化学习能显著降低无向图模型的参数学习与结构学习的复杂性, 有效地处理无向图模型的学习问题. 两两关系马尔科夫网在多值变量情况下, 每条边具有多个参数, 本文对此给出边参数向量的组稀疏化学习, 提出自适应组稀疏化, 根据参数向量的模大小自适应调整惩罚程度. 本文不仅对比了不同边势情况下的稀疏化学习性能, 为了加速模型在复杂网络中的训练过程, 还对目标函数进行伪似然近似、平均场自由能近似和Bethe自由能近似. 本文还给出自适应组稀疏化目标函数分别使用谱投影梯度算法和投 影拟牛顿算法时的最优解, 并对比了两种优化算法进行稀疏化学习的性能. 实验表明自适 应组稀疏化具有良好的性能.     

一种进行稀疏编码的复数数据词典快速训练方法

稀疏编码理论应用于信号处理的各个领域,为了获取优化的稀疏编码,需要通过训练获取数据词典.提出了一种复数域数据词典的快速训练方法,将词典训练问题转化为最优化问题并交替地对词典原子和编码进行最优化而得到最终训练词典.在对词典原子的最优化过程中,采用具有记忆性的在线训练算法;而在对编码进行最优化的过程中,采用交换乘子方向方法进行实现.通过实验得出:所提出的算法能够有效地提高数据词典的训练效率,在保证收敛值的同时缩短训练时间,并且对于训练样本中的噪声具有鲁棒性.     

基于半监督极限学习机的增量式定位算法

针对目前室内指纹定位算法存在实时性差、对动态环境适应性不足的问题,提出一种新的基于半监督极限学习机的定位算法.该算法首先通过半监督极限学习机建立初始化位置估计模型,然后利用新增的半标记数据对原定位模型进行动态调整,最后为新增训练数据分配合适惩罚权重,使模型具有时效机制.仿真结果表明,该定位算法在保证定位实时性的同时提高了对动态环境的适应性.     

可增量学习的水下航行器噪声源识别中聚类算法研究

水下航行器的噪声源识别具有训练样本有限,存在偶发或突变噪声源等特点。本文针对这些特点,在具有增量学习能力的水下航行器的噪声源识别系统架构下,提出了一种参数自适应可调的基于密度的聚类算法。实验表明,该算法可以有效避免基于密度的聚类算法的参数敏感性对聚类结果的不良影响,在无监督情况下对水下航行器的机械噪声源样本进行有效聚类。通过该聚类算法标注后的样本可直接作为具有增量学习结构的分类器的训练样本,节省了时间和系统开销。     

基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

输入饱和非线性系统的周期自适应补偿学习控制

针对一类输入饱和不确定Brunovsky标准型非线性时滞系统,提出一种周期自适应跟踪补偿学习算法. 利用信号置换思想重组系统,基于最小公倍周期函数变换,将时滞时变项和不确定项合并为辅助参数,进而设计周期自适应学习律估计该辅助量,并利用饱和补偿器逼近和补偿超出饱和限的部分,由此构成综合控制器,以保证系统状态对有界期望值的跟踪,解决了饱和输入周期系统的重复迭代学习控制问题. 最后通过构造Lyapunov-Krasovskii复合能量函数的差分,计算证明了系统跟踪误差的收敛性和闭环信号值的有界性. 常见耦合非线性机械臂系统的力矩控制仿真,进一步验证了该算法的有效性.     

复杂运动目标的学习与识别

针对复杂运动目标识别问题,提出了一个基于反馈型随机神经网络的运动认脸与物体的自动识别系统,该系统具有强大学习能力,运动目标检测与识别快速准确等特点,在对该的核心－反馈型二元网络进行深入分析的基础上,提出了一种适合于该神经网络模型的高效渐进式Boltzmann学习算法,实验结果表明,该识别系统性能优异,在几个方面超过了eTrue公司的TrueFace人脸识别系统。     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。