Understanding convolutional neural networks with a mathematical model

This work attempts to address two fundamental questions about the structure of the convolutional neural networks (CNN): (1) why a nonlinear activation function is essential at the filter output of all intermediate layers? (2) what is the advantage of the two-layer cascade system over the one-layer system? A mathematical model called the “REctified-COrrelations on a Sphere” (RECOS) is proposed to answer these two questions. After the CNN training process, the converged filter weights define a set of anchor vectors in the RECOS model. Anchor vectors represent the frequently occurring patterns (or the spectral components). The necessity of rectification is explained using the RECOS model. Then, the behavior of a two-layer RECOS system is analyzed and compared with its one-layer counterpart. The LeNet-5 and the MNIST dataset are used to illustrate discussion points. Finally, the RECOS model is generalized to a multilayer system with the AlexNet as an example.     

基于Keras手写数字识别模型的改进

针对结构设计不合理的卷积神经网络导致MNIST识别的准确率低、收敛速度慢和训练参数多等问题,提出卷积神经网络结构的改进模型.改进的模型采用2次卷积、2次池化和3次全连接、采用Relu激活函数和Softmax回顾函数相结合,加入Dropout层防止过拟合,加入Flatten层优化结构.为了缩减代码量,采用API功能强大的Keras模型替代Tensorflow.对MNIST的训练集和测试集数据的准确率进行仿真实验,实验结果表明:采用改进的结构在MNIST的训练中不仅收敛速度快、训练参数少、损失率低,而且在测试集上的准确率达到99.54％、高于改进前的99.25％,对后续手写数字的研究具有重要意义.     

基于脉冲神经网络的迁移学习算法与软件框架

使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络训练存在收敛困难的问题。利用反向传播网络具有学习算法成熟和训练速度快的特点,设计一种迁移学习算法。基于反向传播网络完成训练过程,并通过脉冲编码规则和自适应的权值映射关系,将训练结果迁移至脉冲神经网络。实验结果表明,在多层脉冲神经网络中,迁移学习算法能够有效解决训练过程中收敛困难的问题,在MNIST数据集和CIFAR-10数据集上的识别准确率分别达到98.56%和56.00%,且具有微瓦级别的低功耗特性。     

基于雅克比稀疏自动编码机的手写数字识别算法

由于手写数字边缘轮廓差异大造成书写风格的不同,为了提高识别准确度,通过在自动编码机中加入稀疏约束项和雅克比正则项,提出一种雅克比稀疏自动编码机(JSAE)的算法进行手写数字识别。加入稀疏约束项能够有效提取数据中的隐藏结构,而雅克比正则化可以描述数据点的边缘特征,提高自动编码器算法的学习能力,从而更准确地抽取样本的本质特征。实验结果表明,JSAE在分类准确率上要高于自动编码机（AE）和稀疏自动编码机（SAE）算法。     

多分支结构强化表征能力的CapsNet方法

CapsNet是一种新的目标识别模型,通过动态路由和capsule识别已知目标的新形态.针对CapsNet的解码器输入层规模随类别数增加而增加,可延展性较弱的问题,本文提出多分支自编码器模型.该模型将各个类别的编码分别传递给解码器,使解码器规模独立于类别数,增强了模型的可延展性.针对单类别图像训练多类别图像识别任务,本文增加新的优化目标降低非标签类别的编码向量对解码器的激励,强化了模型的表征能力.MNIST数据集的实验结果表明,多分支自编码器具有良好的识别能力且重构能力明显优于CapsNet,因而具有更全面的表征能力.     

Combining additive input noise annealing and pattern transformations for improved handwritten character recognition

Two problems that burden the learning process of Artificial Neural Networks with Back Propagation are the need of building a full and representative learning data set, and the avoidance of stalling in local minima. Both problems seem to be closely related when working with the handwritten digits contained in the MNIST dataset. Using a modest sized ANN, the proposed combination of input data transformations enables the achievement of a test error as low as 0.43%, which is up to standard compared to other more complex neural architectures like Convolutional or Deep Neural Networks.     

动态特征空间的超球体分类算法

在模式识别中,样本在特征空间被直接用作分类或被核函数映射至更高维空间分类。为了提高分类效果,一般使用更好的分隔面和更有效的特征空间。提出了一种使用神经网络寻找到更有效特征空间的动态超球体算法（Dynamic Hypersphere Algorithm,DHA）。DHA采用了动态的特征变换,通过满足优化超球体的条件获得更有效的特征空间,最终通过欧氏距离得到分类结果。在标准数据集上实验证明了DHA能够通过动态的特征变换寻找到有效特征空间,从而获得更好的分类效果。为了进一步证明特征空间的有效性,将DHA应用到MNIST手写体,通过减少训练样本并且将原样本由784维降至10维获得了90.18%的识别率,在不平衡手写体中也获得了较好的效果。     

基于AgInSbTe忆阻器的高效MLP神经网络

忆阻器自被制造出来以后在神经形态计算方面展现了巨大的应用潜力,然而众多神经形态计算算法的基于忆阻器的神经网络往往无法处理负突触权重或者需要引入非常复杂的控制电路,从而无法获得较高的处理效率.为了克服这一困难,提出一种结合忆阻器参考行和流控电压源(CCVS)的结构,实现了正负权重在单个忆阻器件上的高效映射.以双层的MLP...     

卷积神经网络数字识别系统的FPGA实现

数字识别所依靠的经典网络模型主要为BP神经网络和卷积神经网络。相比较，卷积神经网络的识别效果更好，更适合处理图像识别问题。目前，卷积神经网络多为软件实现，而硬件有着并行性与速度快的优点。因此，意图以硬件描述语言（Verilog）实现卷积神经网络，在保证在高识别率的情况下，充分挖掘硬件实现的优点。通过研究网络的工作原理及结构，构造完整电路模型，给出了现场可编程门阵列（Field-Programmable Gate Array，FPGA）的实现方案。卷积神经网络通过反向传播训练MNIST数据库中60?000幅数字样本图片，提取准确率最高的权重与偏置，再进行网络的前向传播，完成数字识别。完整过程借助ModelSim和Quartus II仿真工具实现。仿真结果表明，全部样本在100?MHz时钟下训练耗时50?ms，相较软件实现而言，速度明显提高，满足硬件设计的实时性，且准确率较高，可达95.4%。该研究为应用于嵌入式设备的图像识别提供了方法和策略，具有实际应用价值。     

一种改进池化模型对卷积神经网络性能影响的研究

池化模型作为卷积神经网络模型中至关重要的一部分,具有降维、提高模型泛化能力等作用。为了进一步提高卷积神经网络模型的准确率,优化模型的学习性能,提出了一种基于最大池化和平均池化的改进池化模型,并在全球手写数字数据集MNIST和CIFAR-10上分别对改进池化模型的有效性进行了验证。通过与常见池化模型的对比实验发现,采用改进池化模型的卷积神经网络的学习性能较优,一次迭代情况下,在MNIST和CIFAR-10数据集上,错误率分别下降了4.28%和2.15%。