自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

自适应混合卷积神经网络的雾图能见度识别

为充分利用高速公路沿线视频监控,实现高速公路大雾天气能见度全程监测,提出一种自适应混合卷积神经网络（Convolutional Neural Network,CNN）算法。在CNN算法输入层使用ResNet、VGG19预训练模型进行迁移学习,防止训练结果出现过拟合现象;在算法前向与反向传播过程之间构建参数自适应调整模块,根据卷积神经网络训练周期数和训练误差增强参数系数,实现权值自适应更新,有效地提高模型训练的收敛速度和能见度识别正确率。基于高速公路视频图像样本库进行实验,对算法的收敛性、时间复杂性以及识别正确率进行评价。实验结果显示,自适应混合卷积神经网络算法能够加快模型训练,模型综合识别准确率达到0.80以上。     

自适应动量项BP神经网络盲均衡算法

为了消除数字信号在传输过程中产生的码间串扰,使得接收端能够正确解调,对信道畸变进行有效补偿,在基于动量项BP神经网络盲均衡算法的基础上,提出一种能够自适应调节BP神经网络动量项的盲均衡算法.该算法根据盲均衡过程中误差函数的变化情况,自适应调节BP神经网络的动量项,充分发挥动量项在避免网络训练陷于较浅的局部极小点的优势.仿真实验结果表明,该算法在稳定性及收敛性能上均优于固定动量BP神经网络盲均衡算法.     

带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■.最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.     

CT影像识别的卷积神经网络模型

针对传统分类方法分割精度低、特征提取耗时等问题,构建一个适用于CT肺结节良恶性分类的卷积神经网络模型.首先确定网络深度、卷积核数目和卷积核大小等参数,构建卷积神经网络初始模型;然后选择激活函数类型、学习率和学习率衰减策略等训练参数;最后提出对感兴趣区域划分局部子区域的方式增强样本进行训练.在LIDC-IDRI数据集上进行实验的结果表明,准确率、特异性、敏感性及AUC值分别达到92.50%,0.91,0.94和0.93;对恶性结节的识别能力明显优于其他网络模型.     

基于小样本学习的图像分类技术综述

图像分类的应用场景非常广泛, 很多场景下难以收集到足够多的数据来训练模型, 利用小样本学习进行图像分类可解决训练数据量小的问题. 本文对近年来的小样本图像分类算法进行了详细综述, 根据不同的建模方式, 将现有算法分为卷积神经网络模型和图神经网络模型两大类, 其中基于卷积神经网络模型的算法包括四种学习范式: 迁移学习、元学习、对偶学习和贝叶斯学习; 基于图神经网络模型的算法原本适用于非欧几里得结构数据, 但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务, 有关的研究成果目前相对较少. 此外, 本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较. 最后, 讨论了小样本图像分类技术的难点及未来研究趋势.     

基于误差模型的自适应鲁棒主成分分析

研究了改善主成分分析(PCA)算法鲁棒性的一种实现途径.通过对误差函数的建 模分析,得到一种改进的目标函数.提出一种新的在线自适应式的鲁棒PCA运算规则.该方 法基于单层线性神经网络(NN)结构,但是权值的训练算法是非线性的.从而在迭代训练中对 "劣点"样本加以适当处理来排除对运算精度和收敛性的影响.     

自适应边距损失用于车辆外观分割方法

车辆外观分割是计算机视觉在交通场景中的一个重要应用。得益于近几年深度学习技术的火热兴起，以深度卷积神经网络为主的分割方法在诸多领域内取得了突破进展。针对车辆外观分割中的样本不均衡问题，提出一种新的自适应损失函数，替换了原始的softmax损失，并且训练一个新的卷积神经网络模型，实现了端到端的像素级语义分割。同时构建了一个车辆外观分割数据集，用以模型的训练和测试。实验结果表明，该网络对比同类算法拥有较高的分割准确率，对于面积较小的类别有更好的效果。     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

一种结构自适应径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该网络中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于半监督特征融合的监控视频场景识别研究

针对单模态特征条件下监控视频的场景识别精度与鲁棒性不高的问题,提出一种基于特征融合的半监督学习场景识别系统。系统模型首先通过卷积神经网络预训练模型分别提取视频帧与音频的场景描述特征;然后针对场景识别的特点进行视频级特征融合;接着通过深度信念网络进行无监督训练,并通过加入相对熵正则化项代价函数进行有监督调优;最后对模型分类效果进行了仿真分析。仿真结果表明,上述模型可有效提升监控场景分类精度,满足针对海量监控视频进行自动化结构化分析等公安业务需求。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于改进CNN的宫颈细胞自动分类算法

本文采用深度学习算法中的卷积神经网络对细胞图像进行识别, 实现对宫颈细胞图像的自动分类. 首先对宫颈细胞进行预处理, 通过细胞核裁剪解决图像输入尺寸不一的问题, 对图像进行翻转平移, 对数据集进行扩充, 并解决样本量不均衡的问题; 接着选取VGG-16网络进行改进, 使用改进后的VGG-16网络进行特征提取, 以及细胞分类; 并采用迁移学习的方法加载预训练网络参数, 进而加快参数收敛速度, 提高分类准确率; 最终通过对网络的训练, 得到了较好的分类结果, 将分类结果与人工提取特征设计分类器的方法相比, 分类的准确率有所提高, 二分类的准确率达97.3%, 七分类的准确率达89%. 实验结果表明: 卷积神经网络对宫颈细胞图像进行自动分类, 分类准确率相比较人工提取特征分类器效果较好, 且分类结果不受分割图像准确率的影响.     

基于迁移学习及气象卫星云图的台风等级分类研究

针对传统卫星云图特征提取方法复杂且深度卷积神经网络（Deep Convolutional Neural Network, DCNN）模型开发困难的问题,提出一种基于参数迁移的台风等级分类方法。利用日本气象厅发布的近40 a 10 000多景台风云图数据,构建了适应于迁移学习的台风云图训练集和测试集。在大规模ImageNet源数据集上训练出3种源模型VGG16,InceptionV3和ResNet50,依据台风云图低层特征与高层语义特征的差异,适配网络最佳迁移层数并冻结低层权重,高层权重采用自适应微调策略,构建出了适用于台风小样本数据集的迁移预报模型T-typCNNs。实验结果表明:T-typCNNs模型在自建台风数据集上的训练精度为95.081%,验证精度可达91.134%,比利用浅层卷积神经网络训练出的精度高18.571%,相比于直接用源模型训练最多提高9.819%。     

Research on Transfer Learning Methods for Classification of Typhoon Cloud Image

Aiming at the complexity of traditional methods for feature extraction about satellite cloud images, and the difficulty of developing deep convolutional neural network from scratch, a parameter-based transfer learning method for classifying typhoon intensity is proposed. Take typhoon satellite cloud images published by Japan Meteorological Agency, which includes 10 000 scenes among nearly 40 years to construct training and test typhoon datasets. Three deep convolutional neural networks, VGG16, InceptionV3 and ResNet50 are trained as source models on the large-scale ImageNet datasets. Considering the discrepancy between low-level features and high-level semantic features of typhoon cloud images, adapt the optimal number of transferable layers in neural networks and freeze weights of low-level network. Meanwhile, fine-tune surplus weights on typhoon dataset adaptively. Finally, a transferred prediction model which is suitable for small sample typhoon datasets, called T-typCNNs is proposed. Experimental results show that the T-typCNNs can achieve training accuracy of 95.081% and testing accuracy of 91.134%, 18.571% higher than using shallow convolutional neural network, 9.819% higher than training with source models from scratch.     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

Land-use scene classification based on a CNN using a constrained extreme learning machine

ABSTRACT

Classifying land-use scenes from high-resolution remote-sensing imagery with high quality and accuracy is of paramount interest for science and land management applications. In this article, we proposed a new model for land-use scene classification by integrating the recent success of convolutional neural network (CNN) and constrained extreme learning machine (CELM). In the model, the fully connected layers of a pretrained CNN have been removed. Then, CNN works as a deep and robust convolutional feature extractor. After normalization, deep convolutional features are fed to the CELM classifier. To analyse the performance, the proposed method has been evaluated on two challenging high-resolution data sets: (1) the aerial image data set consisting of 30 different aerial scene categories with sub-metre resolution and (2) a Sydney data set that is a large high spatial resolution satellite image. Experimental results show that the CNN-CELM model improves the generalization ability and reduces the training time compared to state-of-the-art methods.     

基于改进的卷积神经网络的道路井盖缺陷检测研究

道路井盖缺陷检测对于道路维护与安全至关重要,论文提出了一种改进的卷积神经网络算法,可实现井盖缺陷的快速、准确检测。算法对卷积神经网络的激活函数模型进行了改进,针对Relu激活函数在输入小于零时输出设为零,导致部分缺陷信息丢失问题,设计了MReLu和BReLu两种改进激活函数。在此基础上,为了增强神经网络模型的特征表达能力,提出了双层激活函数模型。最后,在公共数据集MNIST,CIFAR-10上进行了比较实验,网络主要参数有批处理大小(batch size)为32,最大迭代次数为1000次,学习率为0.0001,每经过5000次迭代衰减50%。实验结果表明,基于改进后的激活函数和应用双层激活函数所构造的卷积神经网络,大大减少了训练参数,不仅收敛速度更快,而且可以更加有效地提高分类的准确率。     

无人机目标分类的深度卷积网络设计与优化

针对传统无人机目标分类方法效率低、特征提取能力不足和适应性差等问题,通过对无人机自身特点和现有分类方法的分析,提出了引入注意力机制优化深度卷积神经网络的无人机分类方法.设计多组对比实验,根据实验效果设计出模型结构为3层卷积层、3层池化层、2层全连接层的卷积神经网络进行训练,得到最优的无人机目标分类模型,再引入卷积注意力模块对特征图元素进行加强和抑制,引入批归一化层加速模型收敛,提升泛化能力.实验结果表明:引入卷积注意力模块和批归一化层优化后的无人机目标分类模型的识别率达到92.44％,较优化前提升1.5％,相比于其它神经网络模型具有识别率高、收敛速度快的优点,可以基本满足实际场景中无人机目标分类的要求.     

联合结构相似性与类信息的图像分类

针对卷积神经网络训练收敛速度慢的问题，提出了一种加权的联合结构相似性和类信息监督训练的方法。首先，针对小图像，设计一个能有效提取图像高级别信息的卷积神经网络。其次，建立加权的联合结构相似性和类信息损失函数训练卷积神经网络。最后，通过mnist手写数字和cifar10图像分类实验验证所设计网络的有效性。实验结果表明，所设计的网络在mnist手写数字和cifar10数据集上的图像分类错误率分别为0.33%和11%。在未进行扩增mnist数据集的前提下，所设计的网络的性能超过了该数据集上所有单网络的性能；在cifar10数据集上，所设计的网络能以较少的计算量获得较高的图像分类准确率。同时，联合结构相似性和类信息损失的监督训练能加快网络的训练速度。