基于多尺度分块卷积神经网络的图像目标识别算法

针对图像在平移、旋转或局部形变等复杂情况下的识别问题,提出一种基于非监督预训练和多尺度分块的卷积神经网络(CNN)目标识别算法。算法首先利用不含标签的图像训练一个稀疏自动编码器,得到符合数据集特性、有较好初始值的滤波器集合。为了增强鲁棒性,同时减小下采样对特征提取的影响,提出一种多通路结构的卷积神经网络,对输入图像进行多尺度分块形成多个通路,每个通路与相应尺寸的滤波器卷积,不同通路的特征经过局部对比度标准化和下采样后在全连接层进行融合,从而形成最终用于图像分类的特征,将特征输入分类器完成图像目标识别。仿真实验中,所提算法对STL-10数据集和遥感飞机图像的识别率较传统的CNN均有提高,并对图像各种形变具有较好的鲁棒性。     

数据驱动的ADS-B干扰源信号类型识别

传统干扰源信号类型识别方法在提取干扰信号的细微特征时,存在干扰信号调制类型分类精度低、识别效果差等缺点。对此,本文提出一种基于深度神经网络的ADS-B干扰信号调制类型识别算法。首先将ADS-B信号和干扰波形进行叠加混合,通过控制矢量信号发生器(VSG)进行仿真信号发射,并在接收端进行采集;接着对接收的基带I、Q数据进行人为添加随机噪声,并据此构造各种信噪比场景下的张量训练样本数据集;最后,利用训练样本数据对本文设计的神经网络进行训练,并在样本数据集上将传统分类算法和本文所提出的神经网络算法两者的识别性能进行对比分析。实验结果表明本文所提的神经网络算法相比于现有的传统识别算法,具有更好的识别性能。     

基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于遗传BP算法的手写体识别

神经网络具有模拟人类的大脑活动、良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力.本文阐述了BP神经网络基本原理以及BP网络手写体识别模型,研究分析了BP神经网络手写体识别模型的缺陷并提出了优化策略.在此基础上,提出一种基于改进结构的BP神经网络来实现手写体数字识别方案,除了改进BP网的结构外,还对网络学习算法进行了改进,采用了BP和GA相结合的算法,提高了网络的学习训练速度和识别效果.     

一种基于球邻域模型的神经网络算法

手写体汉字识别问题属于一种大规模的模式识别问题.本文基于球邻域模型的几何意义解释,即将神经网络的训练转化为几何的点集覆盖问题,通过对神经网络分界面的分析提出了一种改进的前馈神经网络训练算法,并且引入神经网络集成的思想,用以解决手写体汉字的识别问题.实验结果表明该算法可以用来解决大规模的模式识别问题且具有较好的效果.     

边缘智能背景下的手写数字识别

随着边缘智能的快速发展,现有手写数字识别卷积网络模型的发展已越来越不适应边缘部署、算力下降的要求,且存在小样本泛化能力较差和网络训练成本较高等问题。借鉴卷积神经网络（CNN）经典结构、Leaky_ReLU算法、dropout算法和遗传算法及自适应和混合池化思想构建了基于LeNet-DL改进网络的手写数字识别模型,分别在大样本数据集MNIST和小样本真实数据集REAL上与LeNet、LeNet+sigmoid、AlexNet等算法进行对比实验。改进网络的大样本识别精度可达99.34%,性能提升约0.83%;小样本识别精度可达78.89%,性能提升约8.34%。实验结果表明,LeNet-DL网络相较于传统CNN在大样本和小样本数据集上的训练成本更低、性能更优且模型泛化能力更强。     

基于CNN 的银行卡数字识别方法

在拍摄银行卡时,由于受拍摄角度的不确定性、光照条件的复杂性及卡背景的多 样性等众多因素的干扰,使得自然拍摄场景的银行卡数字识别算法存在较大挑战。为此,提出 一种基于卷积神经网络(CNN)的银行卡数字识别框架。首先,通过投影矫正、边缘检测和形态 学等一系列图像处理算法获取目标数字区域;其次,通过增强的数据集训练一个CNN,使用该 网络通过滑窗识别获取上述目标数字区域,输出初始银行卡号序列,生成为一个数字曲线图; 最后,提出了滑窗优化算法,该平滑算法输入上述初始的银行卡号曲线图,对其进行优化,继 而分割出单个数字并输出最终结果。实验结果表明算法显著提高了银行卡数字识别和分割的准 确率,同时针对较复杂的银行卡图像仍然具有较好的鲁棒性。     

基于改进Inception卷积神经网络的手写体数字识别

手写体数字识别风格变化大,而传统手写体数字识别的准确率又严重依赖于人工特征设计,一旦提取的特征不理想,识别效果就会收到非常大的影响。针对手写体识别正确率无法满足高精度的问题,设计一种高精度的手写体数字分类网络。首先使用连续非对称卷积提取图像的初步特征同时减少计算所需参数,其次使用深度可分离卷积改进Inception结构,并结合残差网络以防止梯度弥散,最后进行softmax分类。通过MNIST数据集实验,得到99.45%的识别率。为进一步提高网络识别率,在分类层使用支持向量机(SVM)代替传统卷积神经网络(CNN)的全连接层与softmax层,经交叉验证得到99.78%的识别率。结果表明,改进Inception结构能够获得更大的网络宽度,同时SVM对于CNN提取的特征的分类能力也有较好效果。     

基于卷积神经网络的双行车牌分割算法

随着智能化交通的迅速发展,自动车牌识别技术不断提高.现有大多数车牌识别技术能较好识别单行车牌字符信息,但双行车牌识别准确率较低且支持中文双行车牌的识别算法更少.为了有效地将原本仅支持单行车牌识别的算法扩展到双行车牌识别,提出一种基于卷积神经网络(CNN)的双行车牌分割算法,首先利用CNN提取车牌图像特征;然后利用特征训练多标签分类模型,将双行车牌分割为2个单行车牌.文中还构建了一个包含20多万幅中国车牌图像的数据集.基于此数据集的实验结果表明,文中算法对双行车牌自动分割准确率较高,有效地提高了双行车牌识别准确率.     

卷积神经网络RLeNet加速器设计

针对卷积神经网络(CNN)对运算的需求,现场可编程逻辑门阵列(FPGA)可以充分挖掘CNN内部并行计算的特性,提高运算速度。因此,本文基于FPGA开发平台,从模型优化、参数优化,硬件加速以及手写体数字识别四个方面对CNN的FPGA加速及应用进行研究。提出一种数字识别网络RLeNet,并对网络进行参数优化,卷积运算加速采用脉冲阵列与加法树结合的硬件结构实现,同时使用并行技术和流水线技术优化加速,并使用microblaze IP通过中断控制CNN加速器IP接收串口发送的图片数据进行预测,输出结果。最后在Xilinx Nexys 4 DDR:Artix-7开发板上实现了MNIST数据集手写体数字识别预测过程,当系统时钟为200MHz时,预测一张图片的时间为36.47us。     

组合结构特征的自由手写体数字识别算法研究

自由手写体因其书写风格差异大、上下文无关及识别准确度要求高等原因导致其识别难度大的问题。针对手写体数字识别的特点及要求,提出一种新的基于组合结构特征的自由手写体数字识别算法。通过扩展的字符结构特征识别算法自动、鲁棒地提取手写体数字字符端点、分叉点、横线等多种结构特征,并组合应用这些结构特征构造决策树完成手写体字符的自动识别。实验结果表明基于组合结构特征的自由手写体数字识别算法的鲁棒性和识别率明显优于传统方法。     

深度EM胶囊网络全重叠手写数字识别与分离EI北大核心CSCD

基于胶囊网络的向量神经元思想和期望最大算法(Expectation-maximization,EM),设计了一种以EM为向量聚类算法的深度胶囊网络(Deep capsule network,DCN),实现了重叠手写数字的识别与分离.该网络由两部分组成,第1部分是“识别网络”,将EM算法改为EM向量聚类算法,以替换原胶囊网络CapsNet中的迭代路由部分,这一改动优化了网络的运算过程,实现了重叠数字识别.第2部分是“重构网络”,由结构完全相同的两个并行网络组成,对双向量进行并行重构,实现了重叠数字的分离.实验结果显示,对于100%全重叠手写数字图片本网络识别率达到了96%,对比CapsNet在80%的重叠率下95%的识别率,本文网络在难度提升的情况下,识别率有明显提高,能够将完全重叠的两张手写数字进行图片进行准确地分离.     

Farsi/Arabic handwritten digit recognition based on ensemble of SVD classifiers and reliable multi-phase PSO combination rule

The problem of handwritten digit recognition has long been an open problem in the field of pattern classification and of great importance in industry. The heart of the problem lies within the ability to design an efficient algorithm that can recognize digits written and submitted by users via a tablet, scanner, and other digital devices. From an engineering point of view, it is desirable to achieve a good performance within limited resources. To this end, we have developed a new approach for handwritten digit recognition that uses a small number of patterns for training phase. To improve the overall performance achieved in classification task, the literature suggests combining the decision of multiple classifiers rather than using the output of the best classifier in the ensemble; so, in this new approach, an ensemble of classifiers is used for the recognition of handwritten digit. The classifiers used in proposed system are based on singular value decomposition (SVD) algorithm. The experimental results and the literature show that the SVD algorithm is suitable for solving sparse matrices such as handwritten digit. The decisions obtained by SVD classifiers are combined by a novel proposed combination rule which we named reliable multi-phase particle swarm optimization. We call the method “Reliable” because we have introduced a novel reliability parameter which is applied to tackle the problem of PSO being trapped in local minima. In comparison with previous methods, one of the significant advantages of the proposed method is that it is not sensitive to the size of training set. Unlike other methods, the proposed method uses just 15 % of the dataset as a training set, while other methods usually use (60–75) % of the whole dataset as the training set. To evaluate the proposed method, we tested our algorithm on Farsi/Arabic handwritten digit dataset. What makes the recognition of the handwritten Farsi/Arabic digits more challenging is that some of the digits can be legally written in different shapes. Therefore, 6000 hard samples (600 samples per class) are chosen by K-nearest neighbor algorithm from the HODA dataset which is a standard Farsi/Arabic digit dataset. Experimental results have shown that the proposed method is fast, accurate, and robust against the local minima of PSO. Finally, the proposed method is compared with state of the art methods and some ensemble classifier based on MLP, RBF, and ANFIS with various combination rules.     

Automatic feature generation for handwritten digit recognition

An automatic feature generation method for handwritten digit recognition is described. Two different evaluation measures, orthogonality and information, are used to guide the search for features. The features are used in a backpropagation trained neural network. Classification rates compare favorably with results published in a survey of high-performance handwritten digit recognition systems. This classifier is combined with several other high performance classifiers. Recognition rates of around 98% are obtained using two classifiers on a test set with 1000 digits per class     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

基于PCA初始化卷积核的CNN手写数字识别算法

针对卷积神经网络对手写数字识别训练在卷积核随机初始化情况下收敛速度慢和识别率低的问题，提出一种主成分分析（PCA）初始化卷积核的卷积神经网络（CNN）手写数字识别算法。算法首先选取训练样本集并将其送入CNN，在相应层对Feature Map进行全覆盖取图像块处理，然后进行分层PCA学习，将学习到的特征向量做为对应卷积层的卷积核参数进行初始化，最后再用这些卷积核对原始图像进行卷积操作。实验结果表明，与随机初始化卷积核的CNN手写数字识别算法相比，改进的算法在应用MNIST数据库训练时不仅收敛，而且在产生相同均方误差的情况下迭代次数少，识别率高。     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

Segmentation and recognition system for unknown-length handwritten digit strings

The segmentation of handwritten digit strings into isolated digits remains a challenging task. The difficulty for recognizing handwritten digit strings is related to several factors such as sloping, overlapping, connecting and unknown length of the digit string. Hence, this paper aims to propose a segmentation and recognition system for unknown-length handwritten digit strings by combining several explicit segmentation methods depending on the configuration link between digits. Three segmentation methods are combined based on histogram of the vertical projection, the contour analysis and the sliding window Radon transform. A recognition and verification module based on support vector machine classifiers allows analyzing and deciding the rejection or acceptance each segmented digit image. Moreover, various submodules are included leading to enhance the robustness of the proposed system. Experimental results conducted on the benchmark dataset show that the proposed system is effective for segmenting handwritten digit strings without prior knowledge of their length comparatively to the state of the art.