基于迁移学习与多标签平滑策略的图像自动标注

针对图像标注数据集标签分布不平衡问题,提出了基于标签平滑策略的多标签平滑单元（MLSU）。MLSU在网络模型训练过程中自动平滑数据集中的高频标签,使网络适当提升了低频标签的输出值,从而提升了低频标注词的标注性能。为解决图像标注数据集样本数量不足造成网络过拟合的问题,提出了基于迁移学习的卷积神经网络（CNN）模型。首先利用互联网上的大型公共图像数据集对深度网络进行预训练,然后利用目标数据集对网络参数进行微调,构建了一个多标签平滑卷积神经网络模型（CNN-MLSU）。分别在Corel5K和IAPR TC-12图像标注数据集上进行实验,在Corel5K数据集上,CNN-MLSU较卷积神经网络回归方法（CNN-R）的平均准确率与平均召回率分别提升了5个百分点和8个百分点;在IAPR TC-12数据集上,CNN-MLSU较两场K最邻近模型（2PKNN_ML）的平均召回率提升了6个百分点。实验结果表明,基于迁移学习的CNN-MLSU方法能有效地预防网络过拟合,同时提升了低频词的标注效果。     

基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

基于卷积神经网络中层特征学习的交通标志图像识别

为解决目前方法不能有效对交通标志进行检测定位,定位交通标志效率低下,存在误检漏检的问题,提出基于卷积神经网络中层特征学习的交通标志图像识别。计算图像的显著度并输出感兴趣区域;提取底层图像特征,构建优化目标函数并训练视觉词典,使用PCA方法提取交通标志图像特征并与视觉词典进行卷积,通过空间金字塔池化提取多层次特征;使用SoftMax分类器进行分类。结果表明：该方法的召回率为96%,准确率为97%,取得良好效果,小标志的召回率为94.5%,准确率为95.5%,有利于远距离交通标志识别,标志的平均定位时间为0.006 s,实时性强。     

融合深度特征和语义邻域的自动图像标注*

传统图像标注方法中人工选取特征费时费力,传统标签传播算法忽视语义近邻,导致视觉相似而语义不相似,影响标注效果.针对上述问题,文中提出融合深度特征和语义邻域的自动图像标注方法.首先构建基于深度卷积神经网络的统一、自适应深度特征提取框架,然后对训练集划分语义组并建立待标注图像的邻域图像集,最后根据视觉距离计算邻域图像各标签的贡献值并排序得到标注关键词.在基准数据集上实验表明,相比传统人工综合特征,文中提出的深度特征维数更低,效果更好.文中方法改善传统视觉近邻标注方法中的视觉相似而语义不相似的问题,有效提升准确率和准确预测的标签总数.     

基于生成式对抗网络的图像自动标注

针对基于深度学习的图像标注模型输出层神经元数目与标注词汇量成正比，导致模型结构因词汇量的变化而改变的问题，提出了结合生成式对抗网络（GAN）和Word2vec的新标注模型。首先，通过Word2vec将标注词汇映射为固定的多维词向量；其次，利用GAN构建神经网络模型--GAN-W模型，使输出层神经元数目与多维词向量维数相等，与词汇量不再相关；最后，通过对模型多次输出结果的排序来确定最终标注。GAN-W模型分别在Corel 5K和IAPRTC-12图像标注数据集上进行实验，在Corel 5K数据集上，GAN-W模型准确率、召回率和F1值比卷积神经网络回归（CNN-R）方法分别提高5、14和9个百分点；在IAPRTC-12数据集上，GAN-W模型准确率、召回率和F1值比两场K最邻近（2PKNN）模型分别提高2、6和3个百分点。实验结果表明，GAN-W模型可以解决输出神经元数目随词汇量改变的问题，同时每幅图像标注的标签数目自适应，使得该模型标注结果更加符合实际标注情形。     

基于双线性CNN与DenseBlock的导光板标记线缺陷检测

导光板标记线检测是导光板制造品控中的一个重要步骤, 但在使用传统图像算法进行检测的过程中, 有大量的气泡、严重污染和无标记线的情况存在. 因有大量气泡, 严重污染和无标记线的情况造成人工特征难以设计, 因此, 使用基于卷积网络的方法来代替人工特征设计进行缺陷检测. DenseNet 卷积神经网络较其他分类神经网络具有参数较少, 梯度收敛稳定等特点. 因DenseNet 卷积神经网络中使用特征融合的思想, 保证了图片分类准确率. 通过迁移学习的方法, 将训练得到的DenseNet 网络权重迁移到Bilinear-CNN算法进行训练, 提升卷积神经网络局部注意力, 提高图像分类准确率. 通过实现结果表明, 所提方法具有可行性, 相比于V2-ResNet-101网络结构, 准确率提升至95.53%, 参数减少了97.2%, 平均单张图像检测时间减少25%.     

基于Faster R-CNN的灵武长枣图像检测方法

基于机器视觉技术自动采摘地方特色林果灵武长枣时,自然变化的环境会极大地影响检测的准确率。为适应时时变化的自然环境,提出基于双损失函数的区域卷积神经网络（Faster R-CNN）集成学习模型。建立图像数据集,包括训练集和测试集;根据特征搭建Faster R-CNN模型,在RPN层利用softmax作为基础分类器得到感兴趣区域;以此为特征图再结合一层损失函数,分别利用Large Marge Softmax Loss（L-softmax）、Angular Softmax Loss（A-softmax）做损失计算,取各类最大值;加载训练集进行图像训练得到检测器,将已训练好的检测器通过测试集得出结果图像,完成图像检测。同单一损失函数网络、标准的ResNet101以及ResNet50网络结构进行对比,该图像检测网络方法的精确率为0.982 6,召回率为0.921 3,平均精度为0.9。     

一种面向表情识别的ROI区域二级投票机制

针对如何更有效地使用卷积神经网络从训练图像中学习到的分布式特征进行研究,提出了一种面向人脸表情识别的ROI区域二级投票机制。将图像划分成一系列感兴趣区域（ROI）图像输入到卷积神经网络中进行训练;然后将测试图像的ROI图像输入到卷积神经网络中,统计所有ROI图像的判别结果;最后采用二级投票机制确定测试图像的最终类别,得到最终判别结果。针对卷积神经网络不能从人脸图像中学习到旋转等空间位置信息,引入了STN（spatial transformer network）,提高算法在解决复杂情况下的表情识别问题的能力。实验表明,ROI区域二级投票机制能够更有效地使用卷积神经网络从训练图像中学习到的分布式特征,比直接使用ROI图像进行投票的方法准确率提升了1.1%,引入STN能够有效提升卷积神经网络的鲁棒性,比未引入STN的方法准确率提升了1.5%。     

基于生成对抗网络的地面新增建筑检测

针对传统的基于地物纹理和空间特征的方法很难精确识别地面新增建筑的问题，提出了一种基于生成对抗网络的新增建筑变化检测模型（CDGAN）。首先，使用Focal损失函数改进传统图像分割网络（U-net），并以此作为模型的生成器（G），用于生成遥感影像的分割结果；然后，设计了一个16层的卷积神经网络（VGG-net）作为鉴别器（D），用于区分生成的结果和人工标注（GT）的真实结果；最后，对生成器和判别器进行对抗训练，从而得到具有分割能力的生成器。实验结果表明，CDGAN模型的检测准确率达到92%，比传统U-net模型的平均区域重合度（IU）提升了3.7个百分点，有效地提升了遥感影像中地面新增建筑物的检测精度。     

结合深度学习和支持向量机的海马子区图像分割

目的 由于海马子区体积很小且结构复杂,传统的分割方法无法达到理想的分割效果,为此提出一种基于卷积神经网络和支持向量机的海马子区分割方法。方法 该方法构建一种新模型,将卷积神经网络和支持向量机结合起来,使用支持向量机分类器替换卷积神经网络的输出层,通过训练深层网络自动提取图像块特征,利用所提取的图像特征训练支持向量机实现图像的像素级分类。结果 实验选取美国旧金山CIND中心的32位实验者的脑部磁共振图像（MRI）进行海马子区分割测试,在定性和定量方面分别对比了本文方法与支持向量机（SVM）、卷积神经网络（CNN）和基于稀疏表示与字典学习方法的分割结果。所提方法对海马子区CA1、CA2、DG、CA3、Head、Tail、SUB、ERC和PHG的分割准确率分别为0.969、0.733、0.967、0.837、0.981、0.920、0.972、0.968和0.976。本文方法优于现有的基于稀疏表示与字典学习、支持向量机和卷积神经网络的方法,各海马子区分割准确率均有较大提升,对较大子区如Head,准确率较现有最优方法提升10.2%,对较小子区如CA2、CA3,准确率分别有36.2%和52.7%的大幅提升。结论 本文方法有效提升了海马子区的分割准确率,可用于大脑核磁共振图像中海马及其子区的准确分割,为诸多神经退行性疾病的临床诊断与治疗提供依据。     

基于深度卷积神经网络的油罐目标检测研究

油罐是用于储存油品的工业设施，常用在炼油厂等工业园中，通过卫星或航空遥感图像实现油罐目标的快速检测，可以实现对侵占生态保护红线的疑似工业园区的快速查找，为自然资源监管和生态环境保护提供科学技术支持。探讨了基于深度卷积神经网络在高分辨率遥感影像目标检测中的有效性，基于深度学习目标检测算法中具有代表性的Faster R-CNN（Convolutional Neural Network）和R-FCN（Region-based Fully Convolutional Network）框架，通过对ZF、VGG16、ResNet-50 3种网络模型进行训练和测试，实现了遥感影像上油罐目标的快速检测；通过修改锚点尺度和数量，丰富了候选框类型和数量，提升了油罐的目标检测精度，最优召回率接近80%。研究表明：深度卷积神经网络能够实现对高分辨率遥感影像中油罐目标的快速检测，为深度学习技术在遥感小目标的快速检测提供了实例和新的思路。     

基于深度卷积神经网络的油罐目标检测研究

油罐是用于储存油品的工业设施,常用在炼油厂等工业园中,通过卫星或航空遥感图像实现油罐目标的快速检测,可以实现对侵占生态保护红线的疑似工业园区的快速查找,为自然资源监管和生态环境保护提供科学技术支持。探讨了基于深度卷积神经网络在高分辨率遥感影像目标检测中的有效性,基于深度学习目标检测算法中具有代表性的Faster R-CNN（Convolutional Neural Network）和R-FCN（Region-based Fully Convolutional Network）框架,通过对ZF、VGG16、ResNet-50 3种网络模型进行训练和测试,实现了遥感影像上油罐目标的快速检测;通过修改锚点尺度和数量,丰富了候选框类型和数量,提升了油罐的目标检测精度,最优召回率接近80%。研究表明：深度卷积神经网络能够实现对高分辨率遥感影像中油罐目标的快速检测,为深度学习技术在遥感小目标的快速检测提供了实例和新的思路。     

数据异常情况下遥感影像时间序列分类算法

针对时序遥感图像数据异常时卷积神经网络对其分类性能较差的问题,提出了一种端到端的多模式与多单模架构相结合的网络结构。首先,通过多元时序模型和单变量时间序列模型对多维时间序列进行多尺度特征提取;然后,基于像素空间坐标信息,通过自动编码形式完成遥感图像的时空序列特征的构建;最后,通过全连接层和softmax函数实现分类。在数据异常（数据缺失和数据扭曲）的情况下,提出的算法和一维卷积神经网络（1D-CNN）、多通道深度神经网络（MCDNN）、时序卷积神经网络（TSCNN）和长短期记忆（LSTM）网络等通用时间序列遥感影像分类算法进行分析比较。实验结果表明,所提的利用端到端的多模式与多单模式架构融合的网络在数据异常的情况下分类精度最高,F1值达到了93.40%。     

基于深度学习的垃圾图片处理与识别

针对城市环境卫生提出的对市民生活垃圾进行分类回收的要求,考虑计算机卷积神经网络在图片分类中的强大表现,提出了基于深度学习中卷积神经网络对垃圾图片处理以及输出识别的新模型与方法。针对目前图像局部特征表达存在的复杂性,模糊性等不足,采用特征多层池化以及系统神经网络学习的方式进行优化。同时在ResNet101模型的基础上设计并构建了基于CNN(Convolutional Neural Network)算法的新模型框架,此系统模型也能实现端与端的实时识别。新模型提高了对训练样本图像信息提取的精确度以及图片识别的准确率,实验表明识别准确率平均提高了10%。为未来实现人工智能垃圾分类提供图像识别模型基础。     

基于频带特征融合的GL-CNN遥感图像场景分类

高分辨率卫星遥感图像场景信息的分类对影像分析和解译具有重要意义,传统的高分辨卫星遥感图像场景分类方法主要依赖于人工提取的中、低层特征且不能很好的利用图像丰富的场景信息,针对这一问题,提出一种基于频带特征融合与GL-CNN(Guided Learning Convolutional Neural Network,指导学习卷积神经网络)的分类方法。首先通过NSWT（Non-Subsampled Wavelet Transform,非下采样小波变换）提取出图像的高低频子带,将高频子带进行频带特征融合得到融合高频子带,然后联合频谱角向能量分布曲线的平稳区间分析实现融合高频子带与低频子带的样本融合,最后指导卷积神经网络自动提取图像的高低频子带包含的高层特征来实现场景分类。通过对UCM_LandUse 21类数据进行试验表明,本文方法的分类正确率达到94.52%,相比以往算法有显著提高。     

基于频带特征融合的GL-CNN遥感图像场景分类

高分辨率卫星遥感图像场景信息的分类对影像分析和解译具有重要意义，传统的高分辨卫星遥感图像场景分类方法主要依赖于人工提取的中、低层特征且不能很好的利用图像丰富的场景信息，针对这一问题，提出一种基于频带特征融合与GL-CNN(Guided Learning Convolutional Neural Network，指导学习卷积神经网络)的分类方法。首先通过NSWT（Non-Subsampled Wavelet Transform，非下采样小波变换）提取出图像的高低频子带，将高频子带进行频带特征融合得到融合高频子带，然后联合频谱角向能量分布曲线的平稳区间分析实现融合高频子带与低频子带的样本融合，最后指导卷积神经网络自动提取图像的高低频子带包含的高层特征来实现场景分类。通过对UCM_LandUse 21类数据进行试验表明，本文方法的分类正确率达到94.52%，相比以往算法有显著提高。     

基于混合神经网络的图像复原方法

针对传统图像复原方法对先验知识的依赖性问题,提出一种基于混合神经网络的图像复原方法。混合神经网络由卷积神经网络（Convolutional Neural Network）与BP神经网络组成。首先,通过训练卷积神经网络初步建立退化图像与真实图像之间的非线性映射关系,再利用训练好的卷积网络模型提取特征向量作为BP神经网络的输入。最后,通过训练BP神经网络实现图像复原。实验表明,该方法具有较高可行性,在小尺度的模糊核上的复原效果优于现有方法。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于加权密集连接卷积网络的深度强化学习方法

针对深度强化学习中卷积神经网络（CNN）层数过深导致的梯度消失问题，提出一种将密集连接卷积网络应用于强化学习的方法。首先，利用密集连接卷积网络中的跨层连接结构进行图像特征的有效提取；然后，在密集连接卷积网络中加入权重系数，加权密集连接卷积网络中的每一层都接收到前面几层产生的所有特征图，且之前所有层在跨层连接中被赋予不同的初始权重；最后，在训练中动态调整每层的权重，从而更加有效地提取特征。与常规深度强化学习方法相比，在GridWorld仿真实验中，在相同训练步数内的平均奖励值提升了85.67%；在FlappyBird仿真中，平均奖励值提升了55.05%。实验结果表明所提方法能在不同难度的游戏仿真实验中获得更好的性能。