基于深度卷积网络的图像分类算法研究

卷积神经网络在有大量训练数据的基础上,其分类精度已经可以超过支持向量机(SVM)分类精度。将图像分类算法应用于标准数据集CIFAR-10是测试算法性能和精度的一种方法,在此数据集中分别以3k批次和100k批次的数据训练深度卷积网络,可以分别达到70%和80%以上的分类精度。     

基于三流卷积神经网络模型的图像分类方法

为了提高卷积神经网络在提取图像特征的充分性与有效性,提出了一种基于三流卷积神经网络模型的图像分类方法.第一个和第二个网络流的特征提取部分采用交叉"间隔"的方式训练提取图像的不同特征,第三个网络流的特征提取部分采用初始参数,以此来构建三流卷积神经网络模型,提取到更充分有效的图像特征.同时针对每个网络流训练一个分类器,然后运用分类器融合算法对每个网络流的分类器赋予不同权重,得到3个网络流的融合输出,实现最终的分类.在CIFAR-100、Stanford Dogs和UEC FOOD-100和数据集上的实验结果验证了该方法的有效性和鲁棒性.     

基于特征融合的卷积神经网络乳腺癌图像分类

传统乳腺癌图像分类方法需要从医学图像中人工提取特征,不仅需要具备专业医学知识,而且存在耗时费力、提取高质量特征困难等问题.因此,提出了一种基于特征融合的卷积神经网络乳腺癌图像分类方法.首先预训练了两个不同结构的卷积神经网络,然后利用卷积神经网络自动提取特征的特性,将两个结构提取到的特征进行融合,最后利用分类器对融合的特征进行分类;同时,为避免卷积神经网络模型受小样本量限制出现过拟合现象,通过乳腺病变区域提取、区域细化和数据增强等方法对图像进行适当预处理,并通过过采样方法解决了正负样本不平衡的问题.实验结果显示,该方法在乳腺癌图像数据集BCDR-F03上分类AUC达到89%,对乳腺癌图像的分类精度较传统方法有明显提高.     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

基于卷积神经网络的电子鼻分类识别

在混合气体识别的研究中,针对目前电子鼻应用于化工污染物种类监测时难以达到理想精度的问题,提出了一个基于卷积神经网络的气体分类识别算法.首先利用卷积神经网络的自适应特征提取能力,有效降低原始数据对后续操作的影响;其次进行多次实验训练,对卷积神经网络进行参数优化,提高网络模型性能;最后将提出的卷积神经网络算法与BP神经网络算法分别应用于加州大学公开数据集中一氧化碳和乙烯混合气体的实验数据中.实验结果表明,卷积神经网络算法对此数据集的气体种类检测准确率达到93%,比BP神经网络算法应用于气体识别时精度更高、误差更小,为电子鼻系统气体种类检测提供了一种新的方法.     

基于改进生成对抗网络的图像数据增强方法

为了提高机器学习模型的精确度，提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练，克服了在生成模型中传统图像噪声输入随意的问题；采用逐层训练方式生成高分辨率图像，改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例，验证所提方法的有效性.研究结果表明，所提方法生成的图像质量更优，相比传统方法生成的图像峰值信噪比提高13.07%，结构相似性提高32.40%，弗雷歇初始距离降低37.58%，且数据增强后的模型平均精确度提升7.89%.     

采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型（AT-DouCNN）.该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明：所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.     

基于二维卷积神经网络高层数据特征学习的过程故障检测

针对化工生产过程中高维数据故障特征难以学习和提取的缺点,提出一种基于二维卷积神经网络的化工过程故障检测方法.首先,采集化工过程不同故障的数据构成训练集和测试集;然后,对训练集和测试集中对应的正常样本和故障样本标注标签;最后,将训练集中的样本数据作为卷积神经网络的输入来训练、优化模型.方法应用于田纳西-伊斯曼化工过程,数据结果表明：二维卷积神经网络能够提取出原始数据中样本与样本、变量与变量之间更为抽象的高层数据特征,通过特征提取和学习后的重构特征数据输入到全连接层BP神经网络进行故障分类,比单独使用全连接BP神经网络的检测率提高了14.42 %,误报率降低了2.55 %.     

基于深度卷积神经网络的高光谱遥感图像分类

传统的高瀑布图像分类模型只考虑光谱特征信息,忽略了图像空间结构信息在分类中的重要作用。为提高高光谱遥感图像的分类精度,提出一种同时利用高瀑布图像的光谱信息和空间信息的深度卷积神经网络分类模型。通过对低层特征自动分层地学习来提取更加抽象的高层特征,提取的特征具有平移、缩放及其他形式扭曲等高度不变性;基于学习到的深度特征,用logistic回归分类器进行分类训练。高光谱数据实验结果表明,深度卷积神经网络模型能够提高高光谱遥感图像的分类精度,从而验证了深度卷积神经网络进行高瀑布图像分类的可行性和有效性。     

一种融合CBAM注意力机制和金字塔卷积的经济鱼类识别方法

海洋经济鱼类图像资源相对较少,导致神经网络训练效果较差,难以对海洋经济鱼类形成有效监管。通过网络抓取并通过数据增广增加图像数量,以ResNet50为基础网络框架,引入卷积块模块注意力机制(CBAM)并且将基础网络中普通卷积替换成金字塔卷积(PyConv)。利用该模型对比目鱼、马鲛鱼、鲻鱼、海鲈鱼、黑鲷鱼和金枪鱼6种常见的海洋经济鱼类进行分类识别,实验结果表明,对于比目鱼、鲻鱼、海鲈鱼和金枪鱼的分类精确率达到了100%,对于马鲛鱼的分类精确率为98.4%,黑鲷鱼的分类精确率为98.3%。实验证明改进后的模型具有较高的识别精度。     

基于双尺度长短期记忆网络的交通事故量预测模型

为了降低交通事故的发生、减少财产损失,建立新型交通事故量预测模型. 该模型利用双尺度分解方程将原始交通事故时间序列分解为多个子层,并利用长短期记忆（LSTM）网络对得到的低频子层进行预测;利用双尺度重构方程将低频子层的预测结果进行重构. 分别构建LSTM预测模型、门控循环单元(GRU)预测模型、自编码(SAEs)预测模型和双尺度长短期记忆网络(DS-LSTM)预测模型,利用这4个预测模型对2个数据集进行预测. 结果表明,本研究模型相较其他模型能够有效预测交通事故时间序列,且具有较强的鲁棒性. 对于2个数据集,相较于原始的LSTM模型,DS_LSTM预测模型预测准确度分别提高6%、28%;对2个不同数据库(利兹和UK)的测试表明本研究模型具有较好的泛化性能.     

基于改进MobileNet v2的垃圾图像分类算法

针对现有的垃圾图像分类模型实时性能差和分类精度低的问题,提出基于改进MobileNet v2的垃圾图像分类方法,构建以MobileNet v2为核心的轻量级特征提取网络. 通过调整宽度因子降低模型的参数量;在模型中嵌入通道和空间注意力模块,增强网络对特征的细化能力;设计多尺度特征融合结构,增强网络对尺度的适应性;利用迁移学习的方式优化模型参数,进一步提高模型精度. 实验结果表明,算法在自建数据集上的平均准确率为94.6%,分别高于MobileNet v2、VGG16、GoogleNet、ResNet50、ResNet101模型2.0%、3.4%、3.2%、2.3%、1.2%;所提算法在2种公共图像分类数据集CIFAR-100和tiny-ImageNet中均取得不错表现;模型参数量仅为0.83 M,体积约为基础模型的2/5,在边缘设备JETSON TX2上的单次推理耗时68 ms,实现了推理速度和预测准确率的提升.     

一种集成卷积神经网络和深信网的步态识别与模拟方法

针对高斯过程的条件受限玻尔兹曼机(Gaussian-based conditional restricted Boltzmann machine, GCRBM)时序模型可以对单一种类的步态时序数据进行很好的预测,但对多类步态时序数据难以识别和预测的问题,提出一种集成卷积神经网络(convolutional neural network, CNN)和深信网(deep belief network, DBN)的步态识别与模拟方法。利用所有类步态数据训练多个不同结构的CNNs模型,利用多类数据训练多个DBNs模型学习低维特征,并通过低维特征训练多个GCRBMs模型。在步态识别与模拟时,CNNs分类器通过投票法确定步态数据的类别;通过识别到的类所对应的DBNs模型低维特征作为对应GCRBMs模型的输入预测目标数据的后期时序低维特征;利用DBNs重构阶段将后期时序低维特征模拟出步态图像。在CASIA系列步态数据集上的试验结果表明:与支持向量机(support vector machine, SVM)、集成DBN和CNN等方法相比,本研究方法的识别率有一定的提高,提出的模型能够根据步态时序预测结果模拟出真实的步态序列图像,证实了模型的有效性。     

Instance reduction for supervised learning using input-output clustering method

A method that applies clustering technique to reduce the number of samples of large data sets using input-output clustering is proposed.The proposed method clusters the output data into groups and clusters the input data in accordance with the groups of output data.Then,a set of prototypes are selected from the clustered input data.The inessential data can be ultimately discarded from the data set.The proposed method can reduce the effect from outliers because only the prototypes are used.This method is applied to reduce the data set in regression problems.Two standard synthetic data sets and three standard real-world data sets are used for evaluation.The root-mean-square errors are compared from support vector regression models trained with the original data sets and the corresponding instance-reduced data sets.From the experiments,the proposed method provides good results on the reduction and the reconstruction of the standard synthetic and real-world data sets.The numbers of instances of the synthetic data sets are decreased by 25%-69%.The reduction rates for the real-world data sets of the automobile miles per gallon and the 1990 census in CA are 46% and 57%,respectively.The reduction rate of 96% is very good for the electrocardiogram(ECG) data set because of the redundant and periodic nature of ECG signals.For all of the data sets,the regression results are similar to those from the corresponding original data sets.Therefore,the regression performance of the proposed method is good while only a fraction of the data is needed in the training process.     

基于深度卷积神经网络的睡眠分期模型

针对现阶段数据和特征决定睡眠分期模型的分类精度上限的问题,提出深度卷积神经网络模型. 在模型主体构建方面,并行卷积网络可以自动学习原始信号的时域特征和频域特征,特征融合网络通过空洞卷积和残差连接进行多特征融合,分类网络基于融合后的特征进行睡眠分期. 利用生成少数类过采样技术（SMOTE）减少类别不平衡对分类效果的影响,结合两步训练法对模型进行优化. 实验使用Sleep-EDF数据集的原始单导脑电信号（Fpz-Cz通道）对模型进行20折交叉验证,得到总体精度和宏F₁分别为86.73%和81.70%. 提出的深度卷积模型在没有任何先验知识的情况下,对脑电信号进行端到端的学习,分类准确率优于传统的深度学习模型.     

Fault Attribute Reduction of Oil Immersed Transformer Based on Improved Imperialist Competitive Algorithm

基于改进型帝国竞争算法的变压器故障属性约简

边莉¹,何辉²,孙洪娜²,刘文静³

（1.广东海洋大学 电子与信息工程学院,广东 湛江 524088;2.黑龙江科技大学 电气与控制工程学院,哈尔滨 150022;3.国网邯郸供电公司,河北 邯郸 056002）

创新点说明：

通过利用改进型帝国竞争算法与粗糙集和神经网络相结合的方式,对油浸式变压器的故障数据集进行了优化,并验证了该方法具有较好的性能。

研究目的：

电力系统的运行与人们的工作生活和工业生产有着非常密切的联系,其安全稳定的运行具有重要的意义,而油浸式变压器作为电网运行的重要组成部分,它的安全可靠运行对整个电力系统具有重要的影响。由于原始的变压器故障数据具有相当大的冗余,这就对进一步的故障判断增加了难度,其结果就是运行速度慢,且诊断正确率较低。所以本文针对原始数据集过于繁杂的问题,优化原始数据,避免大量无意义的计算,并提高其准确率。

研究方法：

利用改进型帝国竞争算法对粗糙集进行优化后,对离散化的油浸式变压器原始故障数据进行属性约简,得到最终决策表,为了验证该方法得到的决策表是否具有优越性,将其带入神经网络中进行验证,并与遗传算法、粒子群算法和模拟退火算法进行了对比。

结果：

改进型帝国竞争算法在第27次迭代时已经趋于稳定,约简率为56.25%,约简精度为98%。采用BP神经网络对故障数据集最终决策表进行诊断验证,准确率为86.25%,总体效果优于原始数据和其他算法。因此,对油浸式变压器的故障属性进行约简是非常有效的。

结论：

1） 本文将改进型帝国竞争算法应用到油浸式变压器故障属性约简问题中,通过对算法进行介绍,并建模、仿真,最后与其他智能算法进行比较分析,得出该算法具有较强的可行性和适用性。

2）该方法实现了变压器故障属性的最优约简。与遗传算法、粒子群算法和模拟退火算法相比,帝国竞争算法优化粗糙集属性约简具有迭代次数少、约简率高、精度高等优点,降低了对数据存储的要求,提高了分类精度。

3）在保持判别关系不变的前提下,去掉一些无意义的属性,可大大降低后续操作的难度。当样本集数据量较大时,宜采用改进的帝国竞争算法优化粗糙集的方法来进行属性约简。

关键词：变压器故障;改进型帝国竞争算法;粗糙集;属性约简;BP神经网络

     

基于滤波器裁剪的卷积神经网络加速算法

针对卷积神经网络（CNN）模型的压缩和加速问题,提出基于滤波器裁剪的新型卷积神经网络模型加速算法. 通过计算卷积层中滤波器的标准差值衡量该滤波器的重要程度,裁剪对神经网络准确率影响较小的滤波器及对应的特征图,可以有效地降低计算成本. 与裁剪权重不同,该算法不会导致网络稀疏连接,不需要应用特殊的稀疏矩阵计算库. 基于CIFAR-10数据集的实验结果表明,该滤波器裁剪算法能够对VGG-16和ResNet-110模型加速30%以上,通过微调继承的预训练参数可以使结果接近或达到原始模型的精度.     

用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元“坏死”以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign. 分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验. 实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆“坏死”现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.     

基于改进三体训练法的半监督专利文本分类方法

针对信息增益算法只能考察特征对整个系统的贡献、忽略特征对单个类别的信息贡献的问题,提出改进信息增益算法,通过引入权重系数调整对分类有重要价值的特征的信息增益值,以更好地考虑一个词在类别间的分布不均匀性. 针对传统专利自动分类中训练集标注瓶颈问题,提出基于改进三体训练算法的半监督分类方法,通过追踪每次更新后的训练集样本类别分布来动态改变3个分类器对同一未标记样本类别的预测概率阈值,从而在降低噪音数据影响的同时实现对未标记训练样本的充分利用. 实验结果表明,本研究所提出的分类方法在有标记训练样本较少的情况下,可以取得较好的自动分类效果,并且适当增大未标记样本数据可以增强分类器的泛化能力.     

基于核映射的无相关鉴别矢量集算法

针对人脸识别这一非线性分类问题,提出了一种基于核的无相关鉴别矢量集算法。应用了支持向量机中核函数的思想,通过核映射将原空间的非线性分类问题转化为特征空间的线性分类问题,然后在特征空间进行无相关鉴别矢量集的求取。其优势在于:利用核函数不但可以将非线性问题转化为线性问题,而且可以提取样本图像的高阶统计特征。在ORL人脸库中的测试结果表明,与传统的全局正交鉴别矢量集算法及传统的无相关鉴别矢量集算法相比,基于核映射的无相关鉴别矢量集算法有更高的识别率,最高识别率可达到99%。