卷积网络样本数和迭代数与识别结果关系研究

针对训练样本数量和迭代次数对卷积神经网络识别率的影响,本文以经典LeNet卷积神经网络为研究对象,以Mnist样本集为样本,利用Matlab软件研究了样本数量和迭代次数与网络识别率的关系。通过调整训练样本数量和迭代次数,对比不同训练结果对网络错误率的影响,得出在迭代次数、学习率及批数据大小不变的情况下,训练样本数目对网络识别错误率的影响存在阈值,当训练样本数目大于阈值时,样本数目增加,错误率降低很小;在训练样本数目、学习率及批数据大小不变的情况下,随着迭代次数的逐渐增加,网络识别的总体错误率呈现先缓慢下降后快速下降,之后又缓慢下降的趋势,在迭代次数少的情况下,迭代次数和误差率变化规律具有随机性。该研究对中小样本数量的卷积神经网络提供了理论参考。     

基于深度卷积自编码网络的小样本光伏热斑识别与定位

针对传统卷积神经网络训练需要大量数据、而热斑效应图像样本量较少的现状,构建一种深度卷积自编码网络模型用于小样本光伏热斑识别与定位.首先对原始光伏红外图像做预处理得到小样本数据集,然后构建一种以卷积神经网络为基础、结合自编码器的深度卷积自编码网络模型.该模型能自动学习并提取小样本图像中的有效特征,提高识别准确率.实验结果...     

基于扩展卷积神经网络与度量学习的指静脉识别

针对在传统卷积神经网络(Convolutional neural networks, ConvNet)算法中由于提取的静脉特征信息不足而导致指静脉识别准确率不高的问题,提出了一种基于扩展卷积神经网络与度量学习的指静脉识别算法。该算法通过扩展卷积神经网络的宽度与深度来提高ConvNet的学习能力,并使用难样本采样三元组(Triplet hard loss with batch hard mining, TriHard)度量学习函数作为网络损失函数训练网络。此外,针对常用距离度量方法不能有效度量静脉特征之间的相似度的问题,在指静脉识别阶段采用了Wasserstein距离度量方法,以提高同源静脉间的相似度,降低异源静脉间的相似度。仿真实验结果表明:在FV-USM数据集上,指静脉识别准确率达98.33%,较使用ConvNet和常用距离度量方法准确率提高了3.56%;在MMCBNU_6000数据集上,指静脉识别准确率达98.02%,较使用ConvNet和常用距离度量方法准确率提高了2.01%。     

基于深度残差网络的皮肤癌黑色素瘤识别

作为皮肤癌黑色素瘤主要检查手段的皮肤镜图像存在显著性低、类内差异大和样本数据量少等问题,难以采用传统算法实现高准确的识别。深度学习算法引入皮肤癌症检测,提出了一种基于深度残差网络的黑色素瘤识别算法。该算法通过构建深度残差网络提取皮肤镜图像的高维特征,使用残差学习防止网络梯度退化、降低网络训练的难度,实现了黑色素瘤的有效识别。相关仿真实验结果表明:所提出的基于深度残差网络的黑色素瘤识别算法性能明显优于基于卷积神经网络传统的算法,具有更高的准确性、敏感性、特异性和鲁棒性。     

基于稀疏滤波神经网络的智能调制识别

针对传统调制识别中特征提取依赖人工经验的问题,该文提出了一种基于抗噪预处理及稀疏滤波卷积神经网络的智能通信调制识别算法。该算法将调制信号的循环谱作为卷积神经网络的输入图像,并引入低秩表示算法去除循环谱图中的噪声及干扰。在有监督训练卷积神经网络之前,该文设计了一种新型的稀疏滤波准则对网络进行无监督的逐层预训练,从而提升了泛化性能。仿真表明算法在信噪比为0 dB时仍可达94.2%的识别准确率,优于传统方法及相关深度学习方法。     

结合卷积神经网络和迁移学习的电机轴承故障诊断方法

针对轴承故障在变工况下有效数据样本不足时故障诊断效果不佳的问题，提出了一种基于卷积神经网络和迁移学习的电机轴承故障诊断方法。首先，将采集到的原始振动信号进行小波变换，得到有利于卷积神经网络训练的彩色二维时频图；其次，构建卷积神经网络，通过训练确定结构和参数，利用数据增强和Dropout机制抑制过拟合；最后，引进迁移学习，冻结训练好后的网络底层结构，用不同工况的小样本数据对网络的顶层结构进行微调。实例分析证明，小波变换和卷积神经网络结合的方式能实现特征自动提取并高度有效地利用样本，迁移学习的引入能实现其他工况下小样本的准确分类，解决实际工程应用中样本不足时故障诊断效果不佳的问题。     

基于深度卷积神经网络的车型识别方法

针对现有车辆车型视觉识别技术中的检测精度不高、难以适应天气环境变化、难以从视频图像中准确提取出用于识别的车辆图像、难以对车辆车型子类进行识别分类、难以兼顾识别精度和检测效率等不足,将深度卷积神经网络引入车辆目标定位、识别和分类（子类）问题中.利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从道路复杂背景中提取出感兴趣区域;利用softmax分类器训练特征实现车型识别;为了优化softmax在深度卷积神经网络分类过程中出现的类内间距大的问题,引入中心损失函数对softmax损失函数进行优化,提高类间分散性与类内紧密性.在BIT-Vehicle车型数据集中的实验结果显示,提出方法的平均精度为89.67%,检测和识别时间为159 ms;与传统的分类方法相比,识别精度提高约20%,效率提高10倍以上,检测鲁棒性有明显提升;与未改进前的深度卷积神经网络相比,检测精度提高0.6%,速度提高0.29倍.     

自适应权值卷积特征的鲁棒目标跟踪算法

针对传统基于固定权值卷积特征的深度学习跟踪算法在部分视频跟踪失败的问题,提出一种新颖的基于响应图和熵函数的评估各卷积神经网络层跟踪性能的方法. 该方法能根据评估结果自动调整各层的权值系数;同时引入边界框检测机制,当跟踪响应最大值小于给定阈值时,采用滑动窗口采样一定数量的边界框,并对边界框进行评估,生成初始建议边界框;最后在初始建议边界框的基础上进行相关滤波跟踪,并给出模型更新策略。 将文中算法与其他9种算法在OTB-2013视频数据库上进行跟踪仿真,实验结果表明,所提算法具有较高的中心点距离准确率和跟踪成功覆盖率。     

一种高效的基于初始聚类中心优化的K-means算法

为解决传统K-means算法初始质心的随机选取以及聚类过程中每个数据样本到聚类中心距离的重复计算问题,提出了一种高效的基于初始聚类中心优化的K-means算法,采用最小方差优化初始质心,通过存储每次迭代中所有数据点的簇标志和到最近聚类中心的距离并用于下一次迭代,避免了重复计算数据点到每个中心的距离。在UCI数据库中五个不同的数据集上进行了测试,对各个算法在聚类准则函数,运行时间以及迭代次数上进行实验结果比较,表明在不降低聚类性能的前提下,减少了迭代次数,缩短了聚类时间,证明了改进算法的有效性和高效性。     

AdaBoost算法的推广——一组集成学习算法

针对AdaBoost算法只适合于不稳定学习算法这一不足,基于增加新分类器总是希望降低集成分类器训练错误率这一思想,提出了利用样本权值来调整样本类中心的方法,使AdaBoost算法可以与一些稳定的学习算法结合成新的集成学习算法,如动态调整样本属性中心的集成学习算法、基于加权距离度量分类的集成学习算法和动态组合样本属性的集成学习算法,大大拓展了AdaBoost算法适用范围。针对AdaBoost算法的组合系数和样本权值调整策略是间接实现降低训练错误率目标,提出了直接面向目标的集成学习算法。在UCI数据上的实验与分析表明,提出的AdaBoost推广算法不仅有效,而且部分算法比AdaBoost算法效果更好。     

NRCNN与角度度量融合的人脸识别方法

常见的卷积神经网络通常使用分类损失来进行可分离的特征学习,在某些情况下存在特征的可区分性不足的问题,而一些改进的方法复杂度较高．为了在较低的复杂性下仍能保证较高的准确率,提出了一种基于嵌套残差卷积神经网络与角度度量的人脸识别方法．首先,设计了一种新颖的基于嵌套残差模块的人脸特征提取网络,通过多特征图融合的方式提取更丰富的特征;其次,使用了一种基于权值标准化的角度度量方法,通过对最后一个全连接层的权值进行标准化的操作来增强特征区分性．在网络训练时,结合上述两种方法使得学习到的特征满足最大类内距离小于最小类间距离的原则。实验表明,该方法在人脸标记数据库上测试准确率达到99.03%,相较于使用分类损失和其他度量学习的方法,该方法仅使用了单个网络并能在保证较高准确率的情况下付出更小的计算代价．     

基于半监督学习的脑电信号特征提取及识别

针对有监督学习容易造成未标记样本的浪费和手动特征提取容易导致信息丢失的问题,提出一种基于深层堆叠网络（DSN）的半监督特征学习方法,无监督特征学习的过程由多个受限玻尔兹曼机（RBM）的并行训练完成,将训练得到的参数用于DSN的输入权值初始化,再采用批量模式的梯度下降法进行监督微调。将所提方法用于运动想象脑电信号特征提取及识别,实验结果表明本文方法能够充分利用未标记样本中的隐含信息,有效提取脑电信号特征,识别结果优于共同空间模式（CSP）和深度信念网络（DBN）等算法,该方法可用于提高BCI系统中脑电信号的识别准确率。     

基于连续非对称卷积结构的手写体数字识别

为了提高手写体数字识别的准确率,设计并提出了一种基于连续非对称卷积结构的手写体数字识别的深度学习算法.以连续非对称卷积结构为基础,结合极限学习机和MSRA初始化设计网络结构.在识别输入图像时,利用CUDA并行计算与Cudnn神经网络GPU加速库对手写体数字识别进行加速.在MNIST手写体数字数据库上进行实验,提出的网络结构识别准确率达到99.62%,单张图像识别速度为0.005 8 s.经实验结果对比表明,该网络结构在识别准确率和识别速度上得到有效提升.     

自适应深度卷积神经网络模型构建方法

针对传统卷积神经网络(CNN)模型构建过度依赖经验知识、参数多、训练难度大等缺点,同时鉴于复杂多类问题的CNN模型构建策略的重要价值,提出一种自适应深度CNN模型构建方法.首先,将初始网络模型的卷积层和池化层设置为仅含一幅特征图;然后,以网络收敛速度为评价指标,对网络进行全局扩展,全局扩展后,根据交叉验证样本识别率控制网络展开局部扩展,直到识别率达到预设期望值后停止局部网络学习;最后,针对新增训练样本,通过拓展新支路实现网络结构的自适应增量学习.通过图像识别实验验证了所提算法在网络训练时间和识别效果上的优越性.     

Research on biomimetic pattern recognition for object adaptive tracking algorithm

A new method for image object recognition and tracking based on Biomimetic Pattern Recognition (BPR), which can automatically change the size of the object, is proposed. To accomplish the learning process of the sample objects with different sizes, an artificial neural network model is used to cover the training sample. The curve fitting method based on the Radial Basis Function (RBF) neural network is presented to approximate the size of the objects in the coverage of the network formed by BPR theory in order to change the size of the object automatically. The Quadratic Minimum Distance algorithm based on the Euclidean distance is applied to search the target in the process of object recognition and tracking. Experimental results and theoretical analysis show that the algorithm proposed in this paper is more effective and robust in object recognition and tracking of video image sequences than the BP neural network.     

基于深度卷积和自编码器增强的微表情判别

为了判别微表情种类,提出基于深度卷积神经网络和迁移学习的微表情种类判别网络MecNet.为了提高MecNet在CASME Ⅱ、SMIC和SAMM联合数据库上的微表情种类判别准确率,提出基于自编码器的微表情生成网络MegNet,以扩充训练集.使用CASME Ⅱ亚洲人的微表情样本,生成欧美人的微表情样本.设计卷积结构实现图像编码,设计基于子像素卷积的特征图上采样模块实现图像解码,设计基于图像结构相似性的损失函数用于网络优化.将生成的欧美人的微表情样本加入MecNet训练集.实验结果表明,使用MegNet扩充训练集能够有效地提高MecNet微表情种类判别准确率.结合MegNet、MecNet的算法在CASME Ⅱ、SMIC和SAMM组成的联合数据库上的表现优于大部分现有算法.     

基于深度学习的微博命名体识别

针对微博用语不规范,噪声多,更新快,缩略语多,且数据量大等相关特点,本文提出基于深度学习的方法进行微博命名体的识别。本文首先利用大量的未标注的微博信息对自动编码器训练,获得抽象特征,随后将这些特征作为深度学习网络的输入,最后得出句子中每个字的类标。在进行自动编码器训练的过程中,本文提出卷积方法替代窗口移动方法,以此获取句子中的长依赖信息。通过对新浪微博数据的实验结果表明,本文所给出的深度学习方法能够提高微博中命名体识别的F1值,说明了本文算法的有效性。     

基于深度学习的手绘草图识别

现有的手绘草图识别方法严重依赖于费时费力的手工特征提取,而经典的深度学习模型主要是为彩色多纹理自然图像设计,用于识别手绘草图时效果不甚理想。本文提出了一种基于深度学习的手绘草图识别方法(Deep-Sketch) ,该算法根据手绘草图缺失颜色、纹理信息的特点,使用大尺寸的首层卷积核取代自然图像识别中常使用的小尺寸首层卷积核,获得更多的空间结构信息。利用训练浅层模型获得的模型参数来初始化深层模型对应层的模型参数,以加快收敛,减少训练时长。加入不改变特征大小的卷积层来加深网络深度等方法以减小错误率。实验结果表明,本文所提出的方法较之其它几种主流的手绘草图识别方法具有良好的正确率,对250类手绘草图识别正确率达到69.2%。     

基于非监督预训练的结构优化卷积神经网络

针对典型卷积神经网络卷积核由经验设置且网络结构固定不变难以后期再学习的问题,基于稀疏自编码器（Sparse Autoencoder, SAE）和卷积神经网络（Convoutional Neural Network, CNN）,提出新的CNN模型。该模型通过SAE预训练CNN网络的卷积核,提取有效特征;并在典型CNN结构基础上增加一条网络支路,使得后续再学习时只更新支路权值,记忆已有特征并增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字,中等字,复杂字及相似字上的测试正确率能达93%以上;50个训练样本,250个测试样本时,相似字识别率可达80.36%;比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提出方法可有效应用于手写字等图像识别应用中。     

虹膜与眼周深度特征融合网络模型

虹膜识别虽然识别率很高,但单模态识别时存在环境、欺骗攻击等影响,并且对于远距离或移动端、较少约束等场景下,虹膜识别率会大大下降。为解决此问题,采用虹膜和眼周双模态融合识别是较好的思路。为实现精确自适应的融合识别,本文提出新颖的虹膜与眼周深度特征融合网络模型（MultipleFusionNet）。根据特征通道注意力和通道分组注意力的思想,设计出自动权值生成网络,通过网络学习自动获得虹膜与眼周的权值。权值与卷积神经网络生成的虹膜与眼周深度特征加权计算,实现两个模态的深度特征动态精确地融合,从而提高识别准确率。本文网络模型中融合部分可作为通用的深度特征融合模块使用,该模块可灵活地嵌入在任何的CNN主干网络中,轻便且易于实现。在中科院公开的远距离虹膜库图像库CASIA-Iris-Distance和近距离光照变化虹膜图像库CASIA-Iris-Lamp进行了实验验证,实验结果显示,本文的特征融合模型准确率最高为99.56%,采用余弦距离度量的EER值最低为0.0027,优于单模态方法和相关的特征融合方法。计算复杂度方面,参数量和计算量比单模型的两倍少1.5%,计算量只比基准融合方法高1%,表明该融合模型计算复杂度低,具有良好的性能。