Madaline网络学习算法改进

根据Madaline网络工作原理，针对其网络特点和现有算法中存在的缺点，提出将MRⅡ算法与感知机学习规则相结合的改进的学习算法，使每个样本学习后权值的改动尽量小，从而减少它对其它样本学习产生的影响，达到提高网络学习能力的目的。     

联想记忆网络的约束优化学习

本文提出了一种联想记忆网络的约束优化学习算法，学习算法是一个全局最小化过程，其初始解保证每个样本是系统的稳定状态，然后逐步增大样本的吸引域，使网络具有优化意义上的最大吸引域，在理论上，我们分析了样本的渐近稳定性和吸引域范围，以及学习算法的收敛性，大量计算机实验结果说明学习算法是行之有效的。     

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法.设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时...     

一种基于群等变卷积的度量元学习算法

传统机器学习方法泛化性能不佳,需要通过大规模数据训练才能得到较好的拟合结果,因此不能快速学习训练集外的少量数据,对新种类任务适应性较差,而元学习可实现拥有类似人类学习能力的强人工智能,能够快速适应新的数据集,弥补机器学习的不足。针对传统机器学习中的自适应问题,利用样本图片的局部旋转对称性和镜像对称性,提出一种基于群等变卷积神经网络（G-CNN）的度量元学习算法,以提高特征提取能力。利用G-CNN构建4层特征映射网络,根据样本图片中的局部对称信息,将支持集样本映射到合适的度量空间,并以每类样本在度量空间中的特征平均值作为原型点。同时,通过同样的映射网络将查询机映射到度量空间,根据查询集中样本到原型点的距离完成分类。在Omniglot和miniImageNet数据集上的实验结果表明,该算法相比孪生网络、关系网络、MAML等传统4层元学习算法,在平均识别准确率和模型复杂度方面均具有优势。     

一种基于云模型的贝叶斯网络EM参数学习算法

针对贝叶斯网络连续节点离散化后,概念知识表达存在模糊性和随机性的问题,提出一种将云模型与EM(Expectations Maximization)算法相结合的贝叶斯网络参数学习算法。首先运用启发式高斯云变换算法(Heuristic Gaussian Cloud Transformation)和云发生器将连续节点定量样本转换成定性概念,并记录下样本对所属概念的确定度,运用确定度概率转换公式将确定度转换成相应概率;随后复制扩充样本并按概率选择所属概念;样本更新后结合EM算法进行参数优化,实现贝叶斯网络的参数学习。仿真实验结果表明,通过云模型表征概念得到的参数学习结果更加符合实际情况,参数学习精度和网络推理准确性得到了提高。     

基于生成对抗网络的最大熵逆强化学习

针对逆强化学习算法在训练初期由于专家样本稀疏所导致的学习速率慢的问题,提出一种基于生成对抗网络（Generative Adversarial Networks,GAN）的最大熵逆强化学习算法。在学习过程中,结合专家样本训练优化生成对抗网络,以生成虚拟专家样本,在此基础上利用随机策略生成非专家样本,构建混合样本集,结合最大熵概率模型,对奖赏函数进行建模,并利用梯度下降方法求解最优奖赏函数。基于所求解的最优奖赏函数,利用正向强化学习方法求解最优策略,并在此基础上进一步生成非专家样本,重新构建混合样本集,迭代求解最优奖赏函数。将所提出的算法与MaxEnt IRL算法应用于经典的Object World与Mountain Car问题,实验表明,该算法在专家样本稀疏的情况下可以较好地求解奖赏函数,具有较好的收敛性能。     

基于粒子群优化算法的Bayesian网络结构学习

近年来,Bayesian网络已经成为人工智能领域的研究热点.为了更广泛的应用Bayesian网络,本文采用粒子群优化搜索算法,通过对粒子群算法中各个算子的确定,从训练数据样本中学习到Bayesian网络结构,并用测试数据样本测试学习结果与训练数据的匹配程度,试验结果表明,该算法能有效地学习到Bayesian网络结构.     

贝叶斯网络的并行EM学习算法

时间复杂性是基于EM框架的贝叶斯网络学习算法应用的一个瓶颈问题,本文首先提出一种并行的参数EM算法来学习具有缺省数据的贝叶斯网络参数,实验表明该算法可有效降低参数学习的时间复杂性,进而将该算法应用到结构EM算法中,提出一种并行的结构EM算法(PL-SEM),PL-SEM算法并行地计算各个样本的期望充分因子和贝叶斯网络的参数,降低结构学习的时间复杂性.     

一种深度学习的非机动车辆目标检测算法

针对道路交通场景目标检测问题,提出采用EdgeBoxes算法和深度学习融合的非机动车辆目标检测方法,利用深度学习目标分类算法Fast R-CNN,结合VOC格式的非机动车辆数据样本,把道路交通场景中的目标检测问题实化为自行车（bicycle）和电动车（evbike）的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域,和样本一起输入网络进行迭代训练,同时引入正则化思想和微调策略进行网络优化,降低网络复杂度并避免过拟合现象;网络训练后得到非机动车辆目标检测模型,对模型进行新样本测试并分析测试效果。在道路交通场景目标检测中,基于EdgeBoxes算法和优化Fast R-CNN融合的方法与传统方法相比,检测准确度稍有提高,运算量明显降低,检测速度加快近一倍。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

基于改进位置社交的近邻知识推荐算法

信息过载是当前各类网络中存在的普遍问题,社交网络中通过推荐算法为用户推荐感兴趣的内容,但该类算法并不适用于学习网络中存在特定逻辑联系的知识点推荐。结合社交网络及LBSN网络中的兴趣点推荐算法,提出了一种面向学习网络相关知识点的改进LBSN推荐算法,通过学习网络中的相似用户计算及知识路径发现,为用户推荐当前学习相关的近邻知识点,并通过实验数据证明了学习网络中加入学习推荐对学习者效率及学习质量提升的效果。     

基于对抗学习和知识蒸馏的神经网络压缩算法

针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题,深入研究了现有的模型压缩和加速算法,提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法。算法框架由三部分组成,预训练的大规模教师网络、轻量级的学生网络和辅助对抗学习的判别器。改进传统的知识蒸馏损失,增加指示函数,使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征,引入对抗学习策略中的判别器,鉴别学生网络与教师网络在特征图层面的差异;为了进一步提高学生网络的泛化能力,使其能够应用于不同的机器视觉任务,在训练的后半部分教师网络和学生网络相互学习,交替更新,使学生网络能够探索自己的最优解空间。分别在CASIA WEBFACE和CelebA两个数据集上进行验证,实验结果表明知识蒸馏得到的小尺寸学生网络相较全监督训练的教师网络,识别准确率仅下降了1.5%左右。同时将本研究所提方法与面向特征图知识蒸馏算法和基于对抗学习训练的模型压缩算法进行对比,所提方法具有较高的人脸识别准确率。     

一种基于误差的径向基神经网络学习方法

提出了一种基于误差的径向基神经网络竞争学习法，它以网络的输出误差为度量，通过竞争调节神经元中心，RLS算法训练网络的权值，并利用IPL算法判断网络神经元的冗余性。仿真结果表明，该算法提高了网络的输出精度，简化了网络结构，其运算速度也较快。     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

基于行为序列分析的学习资源推荐算法研究

利用数据挖掘技术分析网络学习行为数据可以挖掘出其隐含的行为规律特征,为学习者提供个性化的学习资源服务。针对现有的数据挖掘算法在对网络学习行为数据进行分析时普遍存在模型适用性不高的问题,提出了一种基于行为序列分析的学习资源推荐算法。首先,提出行为序列及其相关概念的定义,并提出行为序列相似度计算方法;然后提出基于行为序列相似度的协同过滤推荐算法,计算学习者相似度并为待推荐学习者生成学习资源推荐列表;接着给出基于学习风格的推荐方法,将学习者学习风格特征融入推荐过程;最后,给出基于行为序列分析的学习资源推荐算法的模型。提出的算法没有对行为序列的模式进行限制,具有较高的适用性,对深入研究网络学习行为序列数据为学习者提供个性化学习服务具有一定的借鉴作用。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

基于Jaya的贝叶斯网络结构学习算法研究

基于评分搜索的贝叶斯网络结构学习算法通常需要调参,导致计算量增大且不当的参数易使算法陷入局部最优。针对这一问题,将无需调参的Jaya算法应用于贝叶斯网络结构学习。在Jaya算法的框架下,结合遗传算法的交叉变异思想重新设计了个体更新策略,使Jaya算法能够应用于结构学习这一离散优化问题,并结合马尔科夫链的相关理论讨论了所提算法的敛散性。实验结果表明,该算法能有效应用于贝叶斯网络结构学习。     

迭代学习在网络控制中的应用*

针对网络拥塞控制中网络拥塞本身无法建立精确的数学模型的问题,基于迭代学习控制具有结构简单及对系统精确模型不依赖等优点,首次提出了用迭代学习控制算法来解决网络拥塞,其主要目的是提高网络资源的利用率并提供给信源公平的资源分配份额。在提出算法前,首先通过分析网络模型建立了网络拥塞被控系统;然后提出了针对该被控系统的开闭环PID型迭代学习控制算法并证明了其收敛性;最后运用此算法建立了网络拥塞控制模型。通过实验和仿真表明,该算法对解决网络拥塞问题有很好的效果。