联想记忆网络的约束优化学习

本文提出了一种联想记忆网络的约束优化学习算法，学习算法是一个全局最小化过程，其初始解保证每个样本是系统的稳定状态，然后逐步增大样本的吸引域，使网络具有优化意义上的最大吸引域，在理论上，我们分析了样本的渐近稳定性和吸引域范围，以及学习算法的收敛性，大量计算机实验结果说明学习算法是行之有效的。     

讲座：人工神经网络：第四讲 反馈网络与联想记忆（续）

4基本学习规则Hopfield网络的学习，采用的是无导师学习。学习的过程相应于形成网络的连接权矩阵W。讨论的中心问题在于，如何使网络对于给定的问题进行学习，建立连接权矩阵，并使网络具有较强的联想记忆能力。假设需要存贮的记忆样本有P个X1，X2，…，XPXi∈{－1， 1}n（1）Hebb学习规则a．对一个模式的学习为了分析简便，首先考虑网络对一个模式的学习。这时需要存贮的记忆样本只有1个（设为X1），它将成为网络的稳定状态，并具有最大的吸引域，或者说具有最大的“纠错能力”。将记忆样本X1输入到网络，并作为网络的初始状态，经过…     

PLN网络吸引区域的定量分析

本文证明在ＰＬＮ网络中适当给定广义Ａ－学习律，可使网络满足如下条件：（１）所有训练样本都是稳定状态；（２）每个稳定状态具有最大的吸引域；（３）具有很快的收敛速度．由此可见，将这种ＰＬＮ网络作为联想记忆器是很理想的．     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

Madaline网络学习算法改进

根据Madaline网络工作原理，针对其网络特点和现有算法中存在的缺点，提出将MRⅡ算法与感知机学习规则相结合的改进的学习算法，使每个样本学习后权值的改动尽量小，从而减少它对其它样本学习产生的影响，达到提高网络学习能力的目的。     

多层反馈神经网络的FP学习和综合算法

本文给出多层反馈神经网络的ＦＰ学习和综合算法，并讨论此类网络的性质，指出将它应用于聚类分析能给出不粒度的聚类，且具有收敛速度快（是样本个数的线性函数）、算法计算量少（是样本个数和输入、输出维数的双线性函数）、网络元件个数少、权系数简单（只取３个值）、网络容易硬件实现等优点．作为聚类器的神经网络的学习和综合问题已得到较圆满地解决.     

用于股指预测的自适应训练及删剪算法

提出了利用基于自适应训练及删剪算法的抽头延迟神经网络模型对股指这一非线性时间序列进行预测。首先采用基于递归最小方差的自适应学习算法对网络模型进行学习训练，由于该算法的学习步长能够自行调整，初始参数少，所以收敛速度很快；再利用删剪算法对学习后的网络结构进行删剪，优化网络的拓扑结构，降低网络的计算复杂度，提高网络的泛化能力；然后对优化后的网络进行再学习，使优化后的网络具有最佳参数；最后利用优化后的网络对未来的股指（测试样本）进行预测。仿真实验表明，与删剪前的网络结构相比，优化后的网络结构不但降低了计算复杂度而且提高了预测精度，运算复杂度降低到原来的0.0556，预测均方误差达到8.7961e-5。     

对图形识别具有平移、旋转、伸缩不变性的神经网络

本文讨论如何构造在平面刚体运动和伸缩变换下，具有不变性模式识别能力的神经网络，即建立一个前向多层的神经网络，它具有如下性质，若网络能识别某一样本，同同时也能识别该样本经刚体运动及伸缩之后的任一状态，按文中给出了的构造方法，得到的网络具有如下性质：网络对运动和伸缩变换具有不变性，拓扑结构简单，网络的元件个数为Ｏ（ｎ）连接复杂性低，每个元件的输入端只需Ｏ（ｎ）（其中ｎ是输入向量的维数）学习和识别的速度     

Madaline网络学习算法改进

根据Madaline网络工作原理,针对其网络特点和现有算法中存在的缺点,提出将MRⅡ算法与感知机学习规则相结合的改进的学习算法,使每个样本学习后权值的改动尽量小,从而减少它对其它样本学习产生的影响,达到提高网络学习能力的目的。     

基于极大极小准则的Hopfield联想记忆学习算法*

基于联想记忆各记忆模式的吸引域之间应保持大小平衡的思想．提出了设计Hopfield联想记忆网络的极大极小准则，即设计出的对称连接权阵应使得网络最小的记忆模式吸引域达到最大．首先提出了一种快速学习算法;再发展了一个启发性迭代学习算法，称为约束感知器优化学习算法．大量实验结果表明了本文学习算法的优越性．     

An optimized RBF neural network algorithm based on partial least squares and genetic algorithm for classification of small sample

Radial basis function (RBF) neural network can use linear learning algorithm to complete the work formerly handled by nonlinear learning algorithm, and maintain the high precision of the nonlinear algorithm. However, the results of RBF would be slightly unsatisfactory when dealing with small sample which has higher feature dimension and fewer numbers. Higher feature dimension will influence the design of neural network, and fewer numbers of samples will cause network training incomplete or over-fitted, both of which restrict the recognition precision of the neural network. RBF neural network has some drawbacks, for example, it is hard to determine the numbers, center and width of the hidden layer’s neurons, which constrain the success of training. To solve the above problems, partial least squares (PLS) and genetic algorithm(GA)are introduced into RBF neural network, and better recognition precision will be obtained, because PLS is good at dealing with the small sample data, it can reduce feature dimension and make low-dimensional data more interpretative. In addition, GA can optimize the network architecture, the weights between hidden layer and output layer of the RBF neural network can ease non-complete network training, the way of hybrid coding and simultaneous evolving is adopted, and then an accurate algorithm is established. By these two consecutive optimizations, the RBF neural network classification algorithm based on PLS and GA (PLS-GA-RBF) is proposed, in order to solve some recognition problems caused by small sample. Four experiments and comparisons with other four algorithms are carried out to verify the superiority of the proposed algorithm, and the results indicate a good picture of the PLS-GA-RBF algorithm, the operating efficiency and recognition accuracy are improved substantially. The new small sample classification algorithm is worthy of further promotion.     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.     

神经网络学习中“附加样本”的技术

本文将网络的先验知识和网络的样本集知识有机结合起来,提出“附加样本”的神经网络新学习算法,其计算复杂性仅为多项式(上界≤O(n⁴)),用该算法可以设计出性能更好的神经网络.本文第1节简单介绍FP算法以及FP覆盖算法,第2节提出FP统计附加样本算法.最后举一例子说明用该算法可以设计出性能良好的网络.     

构造型神经网络在故障诊断中的应用研究

提出一种新的故障诊断方法,以便更加有效地解决具有先验知识的故障分类问题。以先验样本点为中心,利用内积判断样本数据的相似度,从而进行聚类分析,在特征空间里作超平面与球面相交,得到一个球面覆盖领域,从而将神经网络训练问题转化为点集的覆盖问题。该算法以构造型神经网络为基础,其特点是直接对故障样本数据进行处理,由于覆盖中心确定,该算法构造出的是隐层元最少的网络结构,有效地克服了传统神经网络训练时间长、学习复杂的问题。计算机仿真实验结果证实了该算法的有效性。     

基于STM R-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度, 将深度学习研究领域的前沿技术应用于带钢表面缺陷检测. 提出了一种以Swin Transformer作为骨干特征提取网络, 级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法. 将Transformer结构应用于带钢表面缺陷检测领域, 与单纯基于卷积网络的深度学习目标检测算法相比, 能够达到更加精确的检测效果. 首先, 使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构, 增强特征网络对隐含在图像中的深层语义信息的摄取能力. 其次设计多级联检测结构, 设置逐级的IoU阈值, 实现检测精度与阈值提升的权衡. 最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能. 实验结果表明: 本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果, 在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、压入氧化铁皮(rolled-inscale, RS)、以及划痕(scratches, Sc)等表面缺陷检测中训练速度和检测精度都有显著的提升, 漏检率显著降低.     

A kind of BP neural network algorithm based on grey interval

In order to improve the learning ability of a forward neural network, in this article, we incorporate the feedback back-propagation (FBBP) and grey system theory to consider the learning and training of a neural network new perspective. By reducing the input grey degree we optimise the input of the neural network to make it more rational for learning and training of neural networks. Simulation results verified the efficiency of the proposed algorithm by comparing its performance with that of FBBP and classic back-propagation (BP). The results showed that the proposed algorithm has the characteristics of fast training and strong ability of generalisation and it is an effective learning method.     

基于多学位识别的学位决策机制的研究与实现

在以1∶1数字学习方式为主的自主学习模式下存在相关专业多学位识别的问题。针对该问题,建立了一种使用遗传算法和BP神经网络的多学位识别机制。该机制根据问题的特点,采用遗传算法产生样本群体,并用遗传算法确定神经网络模型的参数,通过神经网络自适应学习和训练,找出输入和输出的关系,从而达到多学位识别的目的。实验验证了该方法的有效性。     

AGENT-BASED APPROACH TO THE DESIGN OF RBF NETWORKS

This article proposes a novel approach to the radial basis function network (RBFN) design. Its main idea is to apply the agent-based population learning algorithm to the task of initialization and training RBFNs. The approach allows for an effective network initialization and estimation of its output weights. The initialization involves two stages, where in the first one initial clusters are produced using the similarity-based procedure and next, in the second stage, prototypes (centroids) from the thus-obtained clusters are selected. The agent-based population learning algorithm is used to select prototypes. In the proposed implementation of the algorithm, both tasks—RBFN initialization and RBFN training—are carried out by a team of agents executing various local search procedures and cooperating with a view to determine the solution to the RBFN design problem at hand. The performance of the RBFN constructed using the proposed agent-based approach is analyzed and evaluated. The proposed approach is also compared with different RBFN initialization and training procedures in the literature.     

一种新的基于构造型RBF神经元网络分类算法

依据RBF神经元模型的几何解释,提出一种新的构造型神经网络分类算法.首先从样本数据本身入手,通过引入一个密度估计函数来对样本数据进行聚类分析;然后在特征空间里构造超球面,以逼近样本点分布的几何轮廓,从而将神经网络训练问题转化为点集＂包含＂问题.该算法有效克服了传统神经网络训练时间长、学习复杂的缺陷,同时也考虑了神经网络规模的优化问题.实验证明了该算法的有效性.