自学习神经元及自学习BP网络

本文针对现有人工神经元及BP网络的缺点,从 实现角度提出一种新型神经元及新型BP网络——自学习神经元及自学习BP网络．自学习神经 元的突出特点之一是它的内部有正向通道、反向通道及学习器,因而能够独立完成信息的正 向传播、误差的反向传播及神经元参数的修正．由自学习神经元组成的自学习BP网络可以真 正做到正向传播信息、反向传播误差及学习的并行化．本文还考虑了自学习BP网络的学习问 题,提出一种新的学习策略．我们的仿真结果表明这种学习策略有很好的学习效果．     

基于自适应学习速率的改进BP神经网络

BP神经网络自被提出以来,便作为非线性系统的辨识工具在模式识别、系统控制等多领域得到广泛应用。但BP算法仍存在缺陷,在学习时容易陷入局部极小。本文采用调整神经元转换函数的方法,并采用学习速率自适应调整来克服网络训练速度慢、不易收敛到全局最优等缺点。通过仿真实验表明,改进后的方法可行。     

一种量子神经网络模型及改进学习算法

提出一种量子BP网络模型及改进学习算法,该BP网络模型首先基于量子学中一位相移门和两位受控非门的通用性,构造出一种量子神经元,然后由该量子神经元构造隐含层,采用梯度下降法进行学习。输出层采用传统神经元构造,采用基于改进的带动量自适应学习率梯度下降法学习。在UCI两个数据集上采用该模型及算法,实验结果表明该方法比传统的BP网络具有较好的收敛速度和正确率。     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

多输入Sigmoid激励函数神经网络权值与结构确定法

结合伪逆直接计算得到神经元之间最优权值的方法,提出了一种双阶段自动搜索与确定最优网络结构的算法,克服了原有BP神经网络模型及其学习算法的固有缺陷。以函数逼近为例,计算机数值实验结果显示了算法有效且耗时短,证实了由该算法得到的网络对于多输入函数具有较优良的逼近(学习与校验)性能。     

一种功能分区的BP神经网络结构设计方法

针对全连接BP网络在解决大规模复杂问题时存在的收敛速度缓慢等问题,提出一种功能分区的BP网络结构模式.利用RBF神经元的物理特性对输入样本空间进行分解,并将分解后的样本送给不同的子BP网络学习.与全连接BP网络相比,降低了网络在学习过程中的权值搜索空间,提高了学习速度,改善了网络泛化性能,体现了人脑在学习过程中的知识积累特征.对三维墨西哥草帽函数逼近和双螺旋分类的实验结果表明,该网络能够解决全连接BP网络不能有效解决的问题.     

一种分式过程神经元网络及其应用研究

针对带有奇异值复杂时变信号的模式分类和系统建模问题,提出了一种分式过程神经元网络.该模型是基于有理式函数具有的对复杂过程信号的逼近性质和过程神经元网络对时变信息的非线性变换机制构建的,其基本信息处理单元由两个过程神经元成对偶组成,逻辑上构成一个分式过程神经元,是人工神经网络在结构和信息处理机制上的一种扩展.分析了分式过程神经元网络的连续性和泛函数逼近能力,给出了基于函数正交基展开的学习算法.实验结果表明,分式过程神经元网络对于带有奇异值时变函数样本的学习性质和泛化性质要优于BP网络和一般过程神经元网络,网络隐层数和节点数可较大减少,且算法的学习性质与传统BP算法相同.     

基于改进二进制萤火虫的BP神经网络并行集成学习算法*

针对传统BP神经网络的随机初始权值和阈值易导致网络学习速度慢、容易陷入局部解及运算精度低等缺陷,提出基于改进二进制萤火虫算法(IBGSO)的BP神经网络并行集成学习算法.首先构建以高斯变异函数作为概率映射函数的IBGSO,并从理论上分析算法的有效性.然后结合IBGSO与BP神经网络构建并行集成学习算法,并将算法应用于农业干旱灾害评估中.实验表明,相比传统算法,文中算法在计算速度及精度方面更优,可以提高旱情等级评估的准确性.     

BP神经网络在胸癌诊断中的应用研究

为了提高胸癌识别的识别精度,提出了应用反向传播网络(Back Propagation,BP)建立胸癌诊断.BP网络是一种典型的多层前馈型神经网络,采用有监督学习模式,利用均方误差和梯度下降来实现时网络连接权值的修正.应用BP网络建立的诊断模型是三层网络结构,输入层的9个神经元分别对应描述细胞的特征值;隐层设置4个神经元;输出层的一个单元是对该细胞诊断的类别.数据实验结果显示诊断模型具有较高的识别精度,表明BP网络是一种有效的诊断方法.     

基于局部权值阈值调整的BP算法的研究

文章针对BP算法收敛速度慢的问题,提出一种基于局部权值阈值调整的BP算法。该算法结合生物神经元学习与记忆形成的特点,针对特定的训练样本,只激发网络中的部分神经元以产生相应的输出,而未被激发的神经元产生的输出则与目标输出相差较大,那么我们就需要对未被激发的神经元权值阈值进行调整。所以该论文提出的算法是对局部神经元权值阈值的调整,而不是传统的BP算法需要对所有神经元权值阈值进行调整,这样有助于加快网络的学习速度。     

脉冲神经元脉冲序列学习方法综述

脉冲神经元是一种新颖的人工神经元模型,其有监督学习的目的是通过学习使得神经元激发出一串通过精确时间编码来表达特定信息的脉冲序列,故称为脉冲序列学习。针对单神经元的脉冲序列学习应用价值显著、理论基础多样、影响因素众多的特点,对已有脉冲序列学习方法进行了综述对比。首先介绍了脉冲神经元模型与脉冲序列学习的基本概念;然后详细介绍了典型的脉冲序列学习方法,指出了每种方法的理论基础和突触权值调整方式;最后通过实验比较了这些学习方法的性能,系统总结了每种方法的特点,并且讨论了脉冲序列学习的研究现状和进一步的发展方向。该研究结果有助于脉冲序列学习方法的综合应用。     

An efficient solder joint defects method for 3D point clouds with double-flow region attention network

In electronics mass-production, image-based methods are often used to detect the solder joint defects for achieving high-quality assurance with low labor costs. Recently, deep learning in 3D point clouds has shown an effective form of characterization for 3D objects. However, existing work rarely involves defect detection for PCBs based on 3D point clouds. In this paper, we propose a novel neural network named double-flow region attention network (DoubRAN) to detect defects of solder joints with 3D point clouds. On the one hand, a binocular lidar system is designed to efficiently capture 3D point clouds of solder joints. On the other hand, a fine-grained method named region attention network (RAN) is designed to detect defects, which attends on the region of interest directly by backpropagation without bounding box annotation. To evaluate the performance of our proposed network, we conduct extensive experiments on a unique dataset built by ourselves. The experimental results show that the region of interest extracted by RAN is consistent with the basis for human evaluation of solder joint quality. Besides, the defect detection results of DoubRAN meet factory requirements.     

基于非联合型学习机制的学习神经元模型

针对生物神经细胞所具有的非联合型学习机制,设计了具有非联合型学习机制的新型神经元模型——学习神经元。首先,研究了非联合型学习机制中习惯化学习机制和去习惯化学习机制的简化描述;其次,建立了习惯化和去习惯化学习机制的数学模型;最后,基于经典的M-P（McCulloch-Pitts）神经元模型,提出了具有习惯化和去习惯化学习能力的新型神经元模型——学习神经元。经仿真实验验证,学习神经元具有典型的习惯化和去习惯化学习能力,为构建新型神经网络提供良好的基础。     

多标记学习中基于交互表示的深度森林方法

在多标记学习中,每个样本都与多个标记关联,关键任务是如何在构建模型时利用标记之间的相关性.多标记深度森林算法尝试在深度集成学习的框架下使用逐层的表示学习来挖掘标记之间的相关性,并利用得到的标记概率表示提升预测精度.然而,一方面标记概率表示与标记信息高度相关,这会导致其多样性较低.随着深度森林的深度增加,性能会下降.另一方面,标记概率的计算需要我们存储所有层数的森林结构并在测试阶段逐一使用,这会造成难以承受的计算和存储开销.针对这些问题,提出基于交互表示的多标记深度森林算法(interactionrepresentation-based multi-label deep forest, iMLDF). iMLDF从森林模型的决策路径中挖掘特征空间中的结构信息,利用随机交互树抽取决策树路径中的特征交互,分别得到特征置信度得分和标记概率分布两种交互表示. iMLDF一方面充分利用模型中的特征结构信息来丰富标记间的相关信息,另一方面通过交互表达式计算所有的表示,从而使得算法无需存储森林结构,大大地提升了计算效率.实验结果表明:在交互表示基础上进行表示学习的i MLDF算法取得了更好的预测性能,...     

仿生型脉冲神经网络学习算法和网络模型

为解决脉冲神经网络训练困难的问题,基于仿生学思路,提出脉冲神经网络的权值学习算法和结构学习算法,设计一种含有卷积结构的脉冲神经网络模型,搭建适合脉冲神经网络的软件仿真平台。实验结果表明,权值学习算法训练的网络对MNIST数据集识别准确率能够达到84.12%,具备良好的快速收敛能力和低功耗特点;结构学习算法能够自动生成网络结构,具有高度生物相似性。     

基于单神经元的参数自学习模糊控制器的研究

为进一步改善永磁交流伺服系统的动静态性能,该文设计了一种基于单神经元的参数自学习模糊控制器,它在控制规则数与二维控制器相当的基础上,可实现三维模糊控制的效果。引入的单神经元采用改进的BP算法来实现比例因子的在线自学习。控制器具有结构及算法简单、易于解析实现的特点。为验证其有效性,该文通过仿真试验,将其与采用常规的PI调节器的控制系统进行比较,结果表明,这种模糊控制器具有较好的控制效果。     

基于模糊松弛约束的外观缺陷多核学习技术

为了满足当前工业生产中对产品外观缺陷检测的精度及实时的要求,提出一种基于模糊松弛约束多核学习的产品外观缺陷检测方法（FRC-MKL）。该方法对各类外观缺陷的样本图像进行特征提取,采用模糊约束理论求解组合核函数中各核函数的权重,通过给每个核函数划定一个模糊权重得到组合核函数,实现了将该组合核函数作为分类器的核函数进行缺陷的学习分类。实验结果表明,利用模糊松弛约束和多核技术可以提高产品外观缺陷的检测精度并且在实地检测中可以更好地满足外观缺陷的实时检测。     

基函数可递归的泛函神经元网络学习算法

将泛函神经元结构做了一个变形,给出了一种基函数可递归的泛函神经元网络学习算法,该算法借助于矩阵伪逆递归求解方法,完成对泛函神经元网络基函数的自适应调整,最终实现泛函网络结构和参数共同的最优求解。数值仿真实验结果表明,该算法具有自适应性、鲁棒性和较高的收敛精度,将在实时在线辨识中有着广泛的应用。     

基于机器学习的异构多核处理器系统在线映射方法

异构多核处理器（HMPs）平台已成为现代嵌入式系统的主流解决方案，其中在线映射或调度对充分发挥其高性能和低功耗的优势起着至关重要的作用。针对HMPs的应用任务动态映射问题，提出了一种基于机器学习预测模型的在线映射调度解决方案。一方面，构建了一个可以快速高效地预测和评估不同映射方案性能的机器学习模型，为在线调度提供支持；另一方面，将该机器学习模型整合到遗传算法中以高效地找到（接近）最优的资源分配方案。最后，通过一个M-JPEG解码器验证了所提方法的有效性。实验结果表明，该方法的平均执行时间相较于常见的轮询调度和抽样调度方法分别降低了28%和19%左右。     

在线参数优化的环境试验箱研究

提出了基于二次型性能指标学习算法的单神经元PID控制算法,应用在工业用环境试验箱设计,给出相应的软硬件设计。样机实验表明,这种新的控制策略学习速度快,动态响应时间短,实现了参数的在线优化,使系统具有良好的动态品质和稳态性能。