基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

仿生型脉冲神经网络学习算法和网络模型

为解决脉冲神经网络训练困难的问题,基于仿生学思路,提出脉冲神经网络的权值学习算法和结构学习算法,设计一种含有卷积结构的脉冲神经网络模型,搭建适合脉冲神经网络的软件仿真平台。实验结果表明,权值学习算法训练的网络对MNIST数据集识别准确率能够达到84.12%,具备良好的快速收敛能力和低功耗特点;结构学习算法能够自动生成网络结构,具有高度生物相似性。     

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络（SNNs）的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法（cross-spike error backpropagation,CSBP）,将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。     

基于迁移学习的并行卷积神经网络牦牛脸识别算法

为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式.然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方法并结合视觉几何组网络(VGG)和卷积神经网络(CNN),提出了一种并行CNN(Parallel-C...     

基于自适应编码的脉冲神经网络

脉冲神经网络(SNN)采用脉冲序列表征和传递信息,与传统人工神经网络相比更具有生物可解释性,但典型SNN的特征提取能力受到其结构限制,对于图像数据等多分类任务的识别准确率不高,不能与卷积神经网络相媲美。为此提出一种新型的自适应编码脉冲神经网络(SCSNN),将CNN的特征提取能力与SNN的生物可解释性结合起来,采用生物神经元动态脉冲触发特性构建网络结构,并设计了一种新的替代梯度反向传播方法直接训练网络参数。所提出的SCSNN分别在MNIST和Fashion-MNIST数据集进行验证,取得较好的识别结果,在MNIST数据集上准确率达到了99.62%,在Fashion-MNIST数据集上准确率达到了93.52%,验证了其有效性。     

基于反向学习的自组织迁移算法

为了解决自组织迁移算法存在的早期收敛问题,提出了基于反向学习的自组织迁移算法(Opposition-basedSelf-organizing Migrating Algorithm,OSOMA)。该算法利用反向学习机制扩展了个体的搜索方向,获得了更优秀的采样个体,使得算法在保持多样性的同时提高了收敛速度。此外,该算法还对步长进行自适应调整,进一步平衡了算法的勘探和开采能力。通过典型函数的测试证实了OSOMA的有效性。     

基于迁移学习的交通标志识别

传统的交通标志识别方法主要基于特征提取和机器学习技术,易受外部环境干扰,特征学习和特征表达能力较弱,识别准确率低。而基于深度学习的交通标志识别,对学习数据要求较高,模型在小样本数据学习中学习效率低。针对上述问题,提出了一种基于迁移学习的交通标志识别方法。该方法首先将ImageNet数据集中训练好的Inceptionv3模型的卷积层和瓶颈层进行迁移;然后在瓶颈层后接上全链接层,从而构建出迁移学习的模型;最后利用公开数据集和公开场景的交通标志图像进行实验训练模型验证。实验结果表明,与现有主流的交通标志识别方法相比,所提方法在微量数据集下有较高的识别率,预测准确率达96%以上。     

一种基于误差放大的快速BP学习算法

针对目前使用梯度下降原则的BP学习算法,受饱和区域影响容易出现收敛速度趋缓的问题,提出一种新的基于误差放大的快速BP学习算法以消除饱和区域对后期训练的影响．该算法通过对权值修正函数中误差项的自适应放大,使权值的修正过程不会因饱和区域的影响而趋于停滞,从而使BP学习算法能很快地收敛到期望的精度值．对3-parity问题和Soybean分类问题的仿真实验表明,与目前常用的Delta-bar-Delta方法、加入动量项方法、Prime Offset等方法相比,该方法在不增加算法的复杂度和额外的CPU机时的情况下能更快地收敛到目标精度值．     

基于深度学习的人脸妆容迁移算法

人脸妆容迁移是指将参考妆容迁移到素颜人脸上,在保持面部特征不变的同时尽可能展现参考妆容的风格的一种任务。为了进一步实现人脸妆容自动迁移技术,避免现有妆容迁移方法没有充分考虑人与人之间的五官差异而导致提取的人脸信息不足等问题,提出了一种基于深度卷积神经网络的人脸妆容迁移算法。该算法首先自动定位素颜人脸和参考妆容的五官,提取重要部位的特征信息。然后通过妆容传递网络和损失函数,经过深度卷积神经网络自主训练,最终实现了参考妆容向素颜人脸的自动迁移。仿真实验结果表明,与目前的主流算法进行对比,该算法耗时更短、运算性能更具优势,同时在不改变原图五官细节的基础上,妆容迁移效果更为自然。     

基于多层忆阻脉冲神经网络的强化学习及应用

人工神经网络（Artificial neural networks,ANNs）与强化学习算法的结合显著增强了智能体的学习能力和效率.然而,这些算法需要消耗大量的计算资源,且难以硬件实现.而脉冲神经网络（Spiking neural networks,SNNs）使用脉冲信号来传递信息,具有能量效率高、仿生特性强等特点,且有利于进一步实现强化学习的硬件加速,增强嵌入式智能体的自主学习能力.不过,目前脉冲神经网络的学习和训练过程较为复杂,网络设计和实现方面存在较大挑战.本文通过引入人工突触的理想实现元件——忆阻器,提出了一种硬件友好的基于多层忆阻脉冲神经网络的强化学习算法.特别地,设计了用于数据——脉冲转换的脉冲神经元;通过改进脉冲时间依赖可塑性（Spiking-timing dependent plasticity,STDP）规则,使脉冲神经网络与强化学习算法有机结合,并设计了对应的忆阻神经突触;构建了可动态调整的网络结构,以提高网络的学习效率;最后,以Open AI Gym中的CartPole-v0（倒立摆）和MountainCar-v0（小车爬坡）为例,通过实验仿真和对比分析,验证了方案的有效性和相对于传统强化学习方法的优势.     

基于SNN神经元重分布的NEST仿真器性能优化

为满足大规模脉冲神经网络（SNN）的计算需求,类脑计算系统通常需要采用大规模并行计算平台。然而随着节点数量的增多,通信在仿真中所占比例大幅增加,导致计算效率下降。类脑模拟器开源软件NEST采用缓冲区大小相等的策略,有效缩短了通信时间,但是由于缓冲区互相无交流,使得通信数据量持续增加,因此其在能耗方面表现较差。分析NEST集群的负载特性,针对其中的通信问题进行稀疏性优化,提出基于SNN子图跨节点优化的神经元重分布算法ReLOC。通过优化SNN子图的跨节点分布减少每一轮神经元到进程的数量,从而减少跨节点脉冲,使进程间通信更加稀疏,达到缩减每一轮通信进程的目的。在此基础上,以稀疏交换的思想对NEST本身的通信机制进行改进,使有脉冲交换的进程进行数据交换,从而在连接稀疏的情况下提升通信效率。以包含28个Xilinx PYNQ节点的计算集群作为实验平台,运行皮质微电路SNN模型和平衡随机网络模型,验证ReLOC算法的有效性。实验结果表明,相比循环分布算法,重分布算法能够使通信的平均稀疏性提高20%,同时配合稀疏交换最多可使通信能耗减少98.63%。     

An Improved Attention Parameter Setting Algorithm Based on Award Learning Mechanism

The setting of attention parameters plays a role in the performance of synergetic neural network based on PFAP model. This paper first analyzes the attention parameter setting algorithm based on award-penalty learning mechanism. Then, it presents an impro     

基于低时延和高精度脉冲神经网络的目标检测

人工神经网络(artificial neural network, ANN)在众多领域取得了显著进展, 但其对计算资源和能耗的高需求限制了其在硬件端的部署和应用. 脉冲神经网络(spiking neural network, SNN)因其低功耗和快速推理的特性, 在神经形态硬件上表现出色. 然而, SNN的神经元动态和脉冲发放机制导致其训练过程复杂, 目前主要研究集中在图像分类任务上, 本文尝试将SNN应用于更为复杂的计算机视觉任务. 本文以YOLOv3-tiny网络为基础, 提出了Spiking YOLOv3模型, 其符合SNN特性的网络模型, 在检测任务上实现了更高的准确度, 并将平均推理时间减少至约原来工作的1/4. 此外, 我们还分析了ANN-SNN转换过程中产生的转换误差, 并采用量化激活函数对Spiking YOLOv3模型进行了优化以减小转换误差. 优化后的模型平均推理时间减少至约原来的1/2, 并在VOC与UAV数据集上实现在ANN-SNN无损转换, 显著提升了基于该模型的检测效率.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于神经网络的Sarsa强化学习算法

标准的Sarsa算法对状态空间的要求是离散的且空间较小,而实际问题中很多的系统的状态空间是连续的或尽管是离散的但空间较大,这就要求有很大的空间来存储状态动作对(State-Action-Pair)。对此文中提出用BP网络队列保存SAPs,实验验证可以解决由于空间过大而带来的Q值表示问题。     

基于贝叶斯网络参数迁移学习的电熔镁炉异常工况识别

在贝叶斯网络(Bayesian network, BN)参数学习中, 如果数据不够充分, 将无法建立准确的BN模型来分析和解决问题. 针对电熔镁炉熔炼过程的异常工况识别建模, 提出一种新的BN参数迁移学习方法来改进异常工况识别精度. 该方法可以解决源域BN与目标域BN在结构不一致情况下的参数迁移学习问题. 在实验部分, 首先在著名的Asia网络上对该方法进行了验证, 然后将其应用于电熔镁炉熔炼过程排气异常工况识别BN模型的参数学习. 实验结果表明, 与小数据下建立的目标域BN模型相比, 该方法较大地提高了异常工况识别的准确性.     

基于相似历史信息迁移学习的进化优化框架

现有进化算法大都从问题的零初始信息开始搜索最优解, 没有利用先前解决相似问题时获得的历史信息, 在一定程度上浪费了计算资源.将迁移学习的思想扩展到进化优化领域, 本文研究一种基于相似历史信息迁移学习的进化优化框架.从已解决问题的模型库中找到与新问题匹配的历史问题, 将历史问题对应的知识迁移到新问题的求解过程中, 以提高种群的搜索效率.首先, 定义一种基于多分布估计的最大均值差异指标, 用来评价新问题与历史模型之间的匹配程度; 接着, 将相匹配的历史问题的知识迁移到新问题中, 给出一种基于模型匹配程度的进化种群初始化策略, 以加快算法的搜索速度; 然后, 给出一种基于迭代聚类的代表个体保存策略, 保留求解过程中产生的优势信息, 用于更新历史模型库; 最后, 将自适应骨干粒子群优化算法嵌入到所提框架, 给出一种基于相似历史信息迁移学习的骨干粒子群优化算法.针对多个改进的典型测试函数, 实验结果表明, 所提迁移策略可以加速粒子群的搜索过程, 显著提高算法的收敛速度和搜索效率.     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

基于网络表示学习与深度学习的推荐算法研究

针对传统基于协同过滤的推荐算法信息提取能力有限的问题,提出基于网络表示学习的卷积协同过滤推荐算法.将二分网络分成物品与用户同质网络,在各自的同质网络上使用GraphSAGE模型得到融合网络空间信息和用户与物品属性信息的矩阵.在此基础上,利用外积运算丰富用户和物品特征向量各维度的相关表示,通过卷积神经网络训练物品和用户的...