基于多尺度特征和元学习的智能预测找矿靶区实验研究

当前智能找矿靶区预测方法大多依赖于人工采样和专家的知识经验,然而,对于现实世界中区域小、数量少的矿区区域,这些方法将面临巨大的挑战。为了迎接这个挑战,提出一种新颖的深度智能找矿靶区预测框架——多尺度特征交互框架。具体地,首先定义两个网络,即多尺度特征映射网络和多尺度特征分类网络;在此基础上,通过膨胀卷积捕获多尺度特征映射网络中不同地球化学元素的特征,并且利用多尺度分类网络处理这些特征;其次,使用元网络为多尺度分类网络生成卷积权重;最后使用自蒸馏挖掘多尺度分类网络中的隐知识用于预测。整个模型采用端到端的训练方式,大量的实验结果表明,多尺度特征交互框架与当前最先进的方法比较具有显著的竞争力。     

基于全卷积网络和自编码的高光谱图像分类

针对高光谱图像空间信息利用不足、标记样本数量较少的问题,提出一种基于全卷积网络和堆栈稀疏自编码的高光谱图像分类算法.基于迁移学习的思想,利用预训练好的全卷积网络FCN-8s,挖掘图像潜在的多尺度几何结构特征;选取其特征的像素邻域信息,采用拼接融合的方法与原光谱信息进行融合;利用堆栈稀疏自编码网络完成最终的多尺度空谱特征...     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

Two-level hierarchical feature learning for image classification

In some image classification tasks, similarities among different categories are different and the samples are usually misclassified as highly similar categories. To distinguish highly similar categories, more specific features are required so that the classifier can improve the classification performance. In this paper, we propose a novel two-level hierarchical feature learning framework based on the deep convolutional neural network (CNN), which is simple and effective. First, the deep feature extractors of different levels are trained using the transfer learning method that fine-tunes the pre-trained deep CNN model toward the new target dataset. Second, the general feature extracted from all the categories and the specific feature extracted from highly similar categories are fused into a feature vector. Then the final feature representation is fed into a linear classifier. Finally, experiments using the Caltech-256, Oxford Flower-102, and Tasmania Coral Point Count (CPC) datasets demonstrate that the expression ability of the deep features resulting from two-level hierarchical feature learning is powerful. Our proposed method effectively increases the classification accuracy in comparison with flat multiple classification methods.     

基于参数迁移和卷积循环神经网络的语音情感识别

在语音情感识别研究中,已有基于深度学习的方法大多没有针对语音时频两域的特征进行建模,且存在网络模型训练时间长、识别准确性不高等问题。语谱图是语音信号转换后具有时频两域的特殊图像,为了充分提取语谱图时频两域的情感特征,提出了一种基于参数迁移和卷积循环神经网络的语音情感识别模型。该模型把语谱图作为网络的输入,引入AlexNet网络模型并迁移其预训练的卷积层权重参数,将卷积神经网络输出的特征图重构后输入LSTM（Long Short-Term Memory）网络进行训练。实验结果表明,所提方法加快了网络训练的速度,并提高了情感识别的准确率。     

基于多尺度卷积神经网络的立体匹配算法研究

针对传统障碍物检测中的立体匹配算法存在特征提取不充分，在复杂场景和光照变化明显等区域存在误匹配率较高，算法所获视差图精度较低等问题，提出了一种基于多尺度卷积神经网络的立体匹配方法。首先，在匹配代价计算阶段，建立了一种基于多尺度卷积神经网络模型，采用多尺度卷积神经网络捕获图像的多尺度特征。为增强模型的抗干扰和快速收敛能力，在原有损失函数中提出改进，使新的损失函数在训练时可以由一正一负两个样本同时进行训练，缩短了模型训练时间。其次，在代价聚合阶段，构造一个全局能量函数，将二维图像上的最优问题分解为四个方向上的一维问题，利用动态规划的思想，得到最优视差。最后，通过左右一致性检测对所得视差进行进一步精化，得到最终视差图。在Middlebury数据集提供的标准立体匹配图像测试对上进行了对比实验，经过实验验证算法的平均误匹配率为4.94%，小于对比实验结果，并提高了在光照变化明显以及复杂区域的匹配精度，得到了高精度视差图。     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

多尺度融合注意力机制的番茄叶病识别网络

针对普通神经卷积网络对番茄叶病的识别精准度, 先提出一种新型的多尺度融合注意力机制的网络(MIPSANet), 在该网络中采用轻量级网络作为主要框架, 减少了网络的参数, 为了增加网络的深度和宽度, 加入了Inception结构, 用于提取数据的多尺度特征信息, 同时, 在这个过程中使用更加精细的双重注意力机制, 极化自注意力(polarized self-attention, PSA), 作为一个即插即用的模块, 将其嵌入整个模型中, 提高了重要特征点的表达能力, 同时PSA模块的轻量化也符合本模型的使用. 在卷积后加入全连接层, 进行分类. 使用提出的网络在Kaggle公开数据集tomato leaves dataset 上进行实验, 对其进行30批次的训练, 取得了91.05%的准确率, 与其他方法进行对照, 取得良好的效果. 试验结果表明该网络对番茄叶病的分类有很好的效果, 为分类网络的网络结构和参数配置方面提供一些参考价值.     

Growing random forest on deep convolutional neural networks for scene categorization

Breakthrough performances have been achieved in computer vision by utilizing deep neural networks. In this paper we propose to use random forest to classify image representations obtained by concatenating multiple layers of learned features of deep convolutional neural networks for scene classification. Specifically, we first use deep convolutional neural networks pre-trained on the large-scale image database Places to extract features from scene images. Then, we concatenate multiple layers of features of the deep neural networks as image representations. After that, we use random forest as the classifier for scene classification. Moreover, to reduce feature redundancy in image representations we derived a novel feature selection method for selecting features that are suitable for random forest classification. Extensive experiments are conducted on two benchmark datasets, i.e. MIT-Indoor and UIUC-Sports. Obtained results demonstrated the effectiveness of the proposed method. The contributions of the paper are as follows. First, by extracting multiple layers of deep neural networks, we can explore more information of image contents for determining their categories. Second, we proposed a novel feature selection method that can be used to reduce redundancy in features obtained by deep neural networks for classification based on random forest. In particular, since deep learning methods can be used to augment expert systems by having the systems essentially training themselves, and the proposed framework is general, which can be easily extended to other intelligent systems that utilize deep learning methods, the proposed method provide a potential way for improving performances of other expert and intelligent systems.     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

多尺度3D胶囊网络高光谱图像分类

为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题,该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类.相比传统的卷积神经网络,所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值,有助于获取物体之间的空间关系及特征之间的相关性,且在有限训练样本下能避免过拟合等问题.该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征.然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联.最后将3个分支得到的结果融合在一起,采用局部连接并通过间隔损失函数得到分类结果.实验结果表明,该方法在开源的高光谱遥感数据集上具有很好的泛化性能,且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.     

基于多模态的在线序列极限学习机研究

单一模态包含的物体信息有限,导致在物体材质识别分类中表现不佳,而传统多模态融合方法在样本训练过程中需要输入所有数据。提出一种多模态的多尺度局部感受野在线序列极限学习机方法。对物体不同模态样本运用改进的特征提取框架,利用多尺度局部感受野感知样本信息提取特征,并将不同模态特征融合后通过在线序列极限学习机进行训练学习。在线序列极限学习机在训练过程中增量式地输入样本进行训练,当有新数据需要训练时无需对所有数据重新训练。在TUM触觉纹理数据库上进行验证,实验结果表明,多模态融合的分类精度高于单模态的分类精度,且改进的特征提取框架可以显著提升分类性能。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于改进CNN的年龄和性别识别

人脸图像的年龄和性别识别是人脸分析的重要任务,在真实多变场景下完成识别依然面临挑战。改进深度卷积神经网络（Convolutional Neural Network,CNN）,将首层大尺寸卷积核替换为级联3[×]3卷积核;采用跨连卷积层融合中层和高层抽象特征;加入Batch Normalization（BN）层,设置较高的学习率和较小的Dropout比率;采用1[×]1卷积核与全局平均池化（Global Average Pooling）取代全连接层。实验表明,所提方法与主流的年龄性别识别方法比较具有较好的识别率,在Adience数据集上,年龄识别精度达到89.8%,性别识别精度达到93.3%。     

融合多层特征的多尺度行人检测

目的 行人检测在自动驾驶、视频监控领域中有着广泛应用,是一个热门的研究话题。针对当前基于深度学习的行人检测算法在分辨率较低、行人尺度较小的情况下存在误检和漏检问题,提出一种融合多层特征的多尺度的行人检测算法。方法 首先,针对行人检测问题,删除了深度残差网络的一部分,仅采用深度残差网络的3个区域提取特征图,然后采用最邻近上采样法将最后一层提取的特征图放大两倍后再用相加法,将高层语义信息丰富的特征和低层细节信息丰富的特征进行融合;最后将融合后的3层特征分别输入区域候选网络中,经过softmax分类,得到带有行人的候选框,从而实现行人检测的目的。结果 实验结果表明,在Caltech行人检测数据集上,在每幅图像虚警率（FPPI）为10%的条件下,本文算法丢失率仅为57.88%,比最好的模型之一——多尺度卷积神经网络模型（MS-CNN）丢失率（60.95%）降低3.07%。结论 深层的特征具有高语义信息且感受野较大的特点,而浅层的特征具有位置信息且感受野较小的特点,融合两者特征可以达到增强深层特征的效果,让深层的特征具有较为丰富的目标位置信息。融合后的多层特征图具有不同程度的细节和语义信息,对检测不同尺度的行人有较好的效果。所以利用融合后的特征进行行人检测,能够提高行人检测性能。     

基于显著性特征和角度信息的遥感图像目标检测

遥感图像中的目标具有密集性、多尺度和多角度等特性,这使得遥感图像多类别目标检测成为一项具有挑战性的课题。因此,文中提出了一种新的端到端的遥感图像目标检测框架。该框架通过提取显著性特征和不同卷积通道之间的相互关系来增强目标信息,抑制非目标信息,从而提高特征的表示能力。同时,在不增加模型参数的情况下,在卷积模块中添加多尺度特征模块来捕获更多的上下文信息。为了解决遥感图像中目标角度多变这一问题,该框架在区域建议网络中加入了角度信息,得到有角度的矩形候选框,并在训练过程中添加注意力损失函数来引导网络学习显著性特征。该框架在公开的遥感图像数据集上进行了相关验证,在水平任务框和方向任务框上的实验结果证明了所提方法的有效性。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

A cost-effective manufacturing process recognition approach based on deep transfer learning for CPS enabled shop-floor

The rapid development of the industrial Internet of Things has promoted manufacturing to develop towards the cyber-physical system, of which highly accurate process recognition plays an important role in achieving proactive monitoring of intelligent manufacturing process. Compared to the traditional handcrafted feature-based method, deep model owns convenience in terms of extracting feature automatically for the recognition. However, training a deep model is time-consuming and also requires large-scale training samples. To solve these problems and obtain high accuracy in the meanwhile, a deep transfer learning-based manufacturing process recognition approach is proposed in this study. A pre-trained model based on a convolutional neural network is used to extract low dimensional features followed by a fine-tuning process to target the specific process recognition task. Experimental verification of two datasets was conducted to demonstrate this cost-effective method. The results showed the proposed method can get better accuracy with less training time and fewer training samples.