图像深度层次特征提取算法*

完成众多视觉任务的关键是提取具有较强表达能力的图像特征,传统的图像特征仅描述图像某一方面的信息,表达能力受到很大限制.文中基于卷积神经网络提出图像深度层次特征（DHF）提取算法,通过对图像的层层抽象表达,可以有效挖掘隐藏在图像内部的本质信息.首先基于卷积神经网络产生图像特征图,选取卷积输出层的特征图构建图像阶层结构.然后基于匹配实验选择最佳的层级组合,采用信息熵描述低层级特征图,采用区域平均的方法描述高层级特征图,最终构建具有较强表达能力的DHF特征.实验表明,相比已有特征,DHF特征优势明显,可以高效准确地完成图像匹配任务.     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

卷积网络和SIFT特征融合的图像自动标注研究

近年来,图像自动标注成了当下机器学习最热门的研究方向之一.图像自动标注技术能够将互联网上海量的图像信息转换为文本信息,方便进行图像检索、图像分类等应用.现在主流的图像自动标注模型大部分都采用基于编码器—解码器框架的深度学习网络构建而成.本文主要是在编码器的基础上进行研究改进,从而提出了将卷积网络和SIFT特征进行融合的...     

弱标签环境下基于语义邻域学习的图像标注

图像语义自动标注是实现图像语义检索与管理的关键,是具有挑战性的研究课题.传统的图像标注方法需要具有完整、准确标签的数据集才能取得较好的标注性能.然而,在现实应用中获得数据的标签往往是不准确、不完整的,并且标签分布不均衡.对于Web图像和社会化图像尤其如此.为了更好地利用这些弱标签样本,提出了一种基于语义邻域学习的图像自动标注方法(semantic neighborhood learning from weakly labeled image, SNLWL).首先在邻域标签损失误差最小化意义下,填充训练集样本标签.通过递进式的邻域选择过程,保证建立的语义一致邻域内样本具有全局相似性、部分相关性和语义一致性,并且语义标签分布平衡.在邻域标签重构误差最小化意义下进行标签预测,降低噪声标签对性能的影响.多个数据集上的实验结果表明,与已知的具有较好标注效果的方法相比,此方法更适用于处理弱标签数据集,标准评测集上的测试也表明了此方法的有效性.     

图像自动语义标注技术综述

近年来,随着对基于内容图像检索技术研究的深入,图像自动语义标注已成为了该领域的研究热点。针对目前广泛研究的图像语义标注技术,从其分类、关键技术、存在问题及发展方向进行了进行了论述,以期为从事该方向研究的人员提供一定的借鉴意义和参考价值。     

基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

基于卷积神经网络和关键词策略的实体关系抽取方法*

针对传统的实体关系抽取方法在定义特征过程中费时且容易造成错误传播,及现有深度学习方法依靠单一词向量学习特征的不足,文中提出基于卷积神经网络和关键词策略的实体关系抽取方法.在原始词向量的基础上,通过基于句子级的关键词抽取算法(TP-ISP)获得类别关键词特征.类别关键词的加入提高类别区分度,同时弥补网络自动学习特征的不足.在网络训练阶段,采用分段最大池化策略,减少传统最大池化策略的信息丢失.实验表明,文中方法有利于提升实体关系抽取结果.     

融合全局与局部特征的深度卷积神经网络算法

为进一步提高人脸表情识别的准确率,提出一种融合全局与局部特征的深度卷积神经网络算法(GL-DCNN).该算法由两个改进的卷积神经网络分支组成,全局分支和局部分支,分别用于提取全局特征和局部特征,对两个分支的特征进行加权融合,使用融合后的特征进行分类.首先,提取全局特征,全局分支基于迁移学习,使用改进的VGG19网络模型...     

特征互补的图像美学质量评分方法*

深度卷积神经网络(DCNN)难以针对性地分析图像的特定区域及其相互关系.文中将深度特征与人工设计的特征进行互补结合,提出对图像美学质量评分的方法.首先确定并抽取对美感起主导作用的特定区域,针对该区域及其与其它区域的关系,选择和设计5组美学相关的人工特征,特别是提出线条角度特征和清晰度对比特征.基于Siamese网络结构获取深度特征.选用支持向量回归(SVR)对上述两类特征进行回归预测,并设计基于spearman秩相关系数的权值调节最终的分数.实验表明,文中方法效果较优,与图像美学质量的主观评价具有较好的一致性.     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU...     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

基于多特征融合的深层网络图像语义识别方法

图像是一种用来传达情感的重要工具,人类的情感会因不同的视觉刺激而异。采用了一种基于小数据集的数据扩充方式,并将图像的手工提取的低级特征（颜色特征、纹理特征）和网络自动提取到的高级特征（图像对象类别特征和图像深层情感特征）融合的方法,识别图像的复合情感。最终输出包含图像和对象在内的高级语义描述性短语。在公共数据集IAPS和GAPED上进行了实验,并与传统手工提取方法和VGG16、Fine-tune Alexnet两种已有模型进行了比较,该方法在测试性能上优于其他的识别方法,情感识别准确率能达到66.54%。     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

非对称内核卷积结合语义置信嵌入的模糊人脸图像重建

受异构卷积原理的启发,在深度学习框架下提出非对称内核卷积结合语义置信嵌入的模糊人脸图像重建网络.针对对称方形卷积内核在进行特征提取时对重要特征表达的不足,使用非对称内核替代,增强方形卷积内核特征的表达能力.在重建阶段,结合非对称内核卷积与语义置信网络,进一步提取每类语义信息在重建中最利于重建效果的特征,结合置信度引导网络向更利于重建的方向训练.在CelebA、Helen数据集上的实验证实文中网络重建效果较优.     

基于本体的图像自动标注

提出一种新的图像本体标注的框架,结合领域本体中概念的关系,通过层次概率标注来获得图像高层语义概念的标注,实现待标注图像语义的自动标注。我们将图像的语义可以定义为属性概念和高层抽象概念,采用二次标注方法实现对于图像语义的自动标注。实验证明,本文的方法可以使图像获得丰富的高层抽象语义概念标注,从而缩小"语义鸿沟",有效提高了检索的效率和精确度。     

融合超像素和CNN的CT图像分割方法

提出了一种融合超像素和CNN的CT图像器官主动轮廓分割方法。用超像素SLIC方法将CT图像网格化并分配标签;将网格化后图像作为数据集训练CNN网络分割出器官（如肝脏、肺部等）边界超像素,并将这些超像素的种子点连接成为粗分割边界;将粗分割边界作为初始轮廓,进行模糊主动轮廓分割得到CT图像中器官的边界。经过实验对比,该方法对肺部CT图像的分割平均DC系数达到97%、平均ASD系数达到1.23 mm。在肝脏CT图像方面与参考算法进行相比,在保证分割精度的前提下,VOE系数平均减少1%,切片图像的分割时间平均提高10 s。     

深度学习在农作物图像识别中的应用研究

深度学习在语音识别、视觉识别以及其他领域都引起了很多研究者越来越多的关注.在图像处理领域,采用深度学习方法可以获得较高的识别率.本文以玻尔兹曼机和卷积神经网络作为深度学习的研究模型应用于农业方面,从病虫破坏农作物图像识别的角度,结合上述研究模型,并分别结合不同应用场景对模型进行改进.针对病虫破坏农作物的图像识别采用玻尔...     

基于图像云模型语义标注的条件生成对抗网络

在图像补全技术中,当图像丢失较多信息时,仅凭自身已有的信息很难补全图像.因此,文中使用条件生成对抗网络(CGAN)和多粒度认知相结合的方式研究图像的降噪和补全.首先借助云模型中高斯云变换算法提取无标签图像的多层语义信息,并根据不同层次的语义信息对图像进行不同粒度的分割,同时对已分割图像进行自动语义标注.然后将各粒层图像和其对应的语义信息分别作为CGAN的训练数据,得到图像生成对抗网络模型.最后依据此模型补全图像的缺失信息.实验表明,对于Caltech-UCSD Birds和Oxford-102flowers数据集的图像降噪和图像补全,文中算法取得较好效果.     

基于结构感知双编码器的代码注释自动生成

在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模型的基础上,利用代码抽象语法树将源代码的结构信息嵌入到编码器解码器翻译模型中,提出一种基于结构感知的双编码器解码器模型,该模型综合考虑源代码的序列信息与代码内部的结构特性。在真实数据集上的实验结果表明,相比PBMT、Seq2seq模型,该模型的BLEU得分较高,且生成的注释更准确和易读。