基于手绘轮廓图的移动端图像检索

针对传统利用图像特征信息进行图像检索中难以从语义层次上理解图像相似性的问题,基于深度学习框架,提出一种结合类别分类和精确特征匹配的基于手绘轮廓图的移动端图像检索方法.首先在预处理阶段建立具有输入层、隐藏层以及Softmax输出层的神经网络分类模型,并利用训练数据集对模型进行训练,使其不断优化网络结构权值,实现输入图像的分类预测并提取分类图像标签;然后利用VGG16模型与ResNet50模型分别提取各个分类图像集下的精确特征,得到精确特征向量;最后将归一化并经组合后的特征向量与各个分类图像标签建立映射关系,实现移动端图像检索.采用移动端-服务器架构,用户在移动端输入手绘轮廓图后,系统进行自动预处理并与图像服务器实现交互,图像服务器进行分类预测和精确特征匹配得到检索结果,移动端展示最终检索结果.基于Keras深度学习开发框架,结合VGG16模型与ResNet50模型,实验结果表明,该方法能够根据手绘轮廓图高效、便捷地检索得到目标图像.     

图像数据库分类的自组织技术

本文采用 Kohoenmap自组织神经网络技术 ,提出一种依据检索特征对图像数据库进行预分类的方法 .在文中利用这种预分类实现按类别浏览图像数据库 (image browsing by category)的功能 ,提出一种层次化的类 SS- tree的二分索引结构 .实现建立在预分类基础上的示例查询 .这种查询方法与穷搜索方法相比 ,具有更高的检索效率 ,检索次数随着库规模的增加不会显著增多 .基于图像库的实验验证了分类算法和检索算法的有效性     

结合注意力机制的跨域服装检索

针对跨域服装检索中服装商品图像拍摄严格约束光照、背景等条件,而用户图像源自复杂多变的日常生活场景,难以避免背景干扰以及视角、姿态引起的服装形变等问题.提出一种结合注意力机制的跨域服装检索方法.利用深度卷积神经网络为基础,引入注意力机制重新分配不同特征所占比重,增强表述服装图像的重要特征,抑制不重要特征;加入短连接模块融合局部重要特征和整幅图像的高层语义信息,提取更具判别力的特征描述子;联合分类损失函数和三元组损失共同约束网络训练过程,基于类别信息缩小检索范围.采用标准的top-k检索精度作为评价指标,选择DeepFashion数据集与当前跨域服装检索常用方法进行对比,文中方法在top-20检索精度对比中取得了最好的检索性能(0.503).实验结果表明,该方法能有效地处理视角、姿态引起的服装形变和复杂背景的干扰,同时不需要大量的样本标注信息,有效地提高了跨域服装检索的精度.     

基于度量学习的服装图像分类和检索

在服装图像分类和检索问题上,由于服装花纹样式的多样性和图像中不同环境背景的影响,普通卷积神经网络的辨识能力有限。针对这种情况,提出一种基于度量学习的卷积神经网络方法,其中度量学习基于triplet loss实现,由此该网络有参考样本、正样本和负样本共三个输入。通过度量学习可以减小同类别特征间距,增大不同类别特征间距,从而达到细分类的目的。此外把不同背景环境下的图像作为正样本输入训练网络以提高抗干扰能力。在服装检索问题上,提出融合卷积层特征和全连接层特征的精细检索方法。实验结果表明,度量学习的引入可以增强网络的特征提取能力,提高分类准确性,而基于融合特征的检索可以保证结果的精确性。     

基于渲染图像角度结构特征的三维模型检索方法

为了充分利用三维模型的颜色、形状、纹理等特征,提出以三维模型渲染图像为数据集,利用渲染图像角度结构特征实现三维模型检索。首先,该方法以三维模型渲染图像为测试集,利用已有类别标记的自然图像作为训练集,通过骨架形状上下文特征对渲染图像进行分类,提取角度结构特征,建立特征库;然后,对输入的自然图像提取角度结构特征,与特征库中的角度结构特征进行相似度匹配计算,实现三维模型检索。实验结果表明, 充分利用 渲染图像的颜色、形状和空间信息是实现三维模型检索的有效方法。     

类别约束下自适应主题建模的图像场景分类

提出一种基于类别约束的主题模型用于实现场景分类.不同于现有方法,本文将图像场景类别信息引入模型参数推导过程中,采用与其类别相关的类主题集描述图像的语义内容.针对各场景类图像中潜在主题数量变化,提出了一种ATS-LDA(自适应主题数的潜在狄里克雷分布)模型实现中层语义的建模算法.该模型依据各场景类训练样本关于视觉词语表示的变化估计所需主题数,体现了各类场景中间语义的繁简变化.根据各类模型下的图像概率分布,采用最大似然估计实现测试样本的场景语义分类.改变了现有主题模型需要依赖于其它分类器完成场景分类的现状.通过多个图像数据集分类任务证明该模型能够在不需要太多训练的情况下取得较好地性能.     

级联层叠金字塔网络模型的服装关键点检测

服装关键点的检测对服饰分类、推荐和检索效果具有重要的作用,然而实际服装数据库中存在大量形变及背景复杂的服饰图片,导致现有服装分类模型的识别率和服装推荐、检索的效果较差.为此,本文提出了一种级联层叠金字塔网络模型CSPN （Cascaded Stacked Pyramid Network）,将目标检测方法与回归方法相结合,首先采用Faster R-CNN结构对服装目标区域进行识别,然后基于ResNet-101结构生成的多层级特征图,构建级联金字塔网络,融合服饰图像的多尺度高低层信息,解决图片形变及复杂背景下服装关键点识别准确度不高等问题.实验结果表明,CSPN模型在DeepFashion数据集上较其他三种模型对服装关键点具有较高识别度.     

基于多特征融合的多尺度服装图像精准化检索

为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."     

深度多模态融合服装风格检索

目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet（residual network）进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM（long short-term memory）设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。     

后验概率改进Fisher向量的高性能图像检索算法

提出了一种高性能的图像检索方法,结合纹理分类和改进的Fisher向量实现图像检索。首先,将图像划分为互不重叠的图像子块,对每一图像子块依据纹理复杂度进行分类,对不同类别的图像子块提取不同的特征。其次,采用基于后验概率改进的Fisher向量进行特征编码,依据乘积量化和非对称距离计算方法,分段计算两特征向量之间的距离,快速求取相似度指标,据此进行图像检索。在Holidays数据集上进行图像检索的实验结果表明,该方法的查准率和召回率高,且耗费的查询时间少。     

结合深度多标签解析的哈希服装检索

目的 服装检索对于在线服装的推广和销售有着重要的作用。而目前的服装检索算法无法准确地检索出非文本描述的服装。特别是对于跨场景的多标签服装图片,服装检索算法的准确率还有待提升。本文针对跨场景多标签服装图片的差异性较大以及卷积神经网络输出特征维度过高的问题,提出了深度多标签解析和哈希的服装检索算法。方法 该方法首先在FCN（fully convolutional network）的基础上加入条件随机场,对FCN的结果进行后处理,搭建了FCN粗分割加CRFs（conditional random fields）精分割的端到端的网络结构,实现了像素级别的语义识别。其次,针对跨场景服装检索的特点,我们调整了CCP（Clothing Co-Parsing）数据集,并构建了Consumer-to-Shop数据集。针对检索过程中容易出现的语义漂移现象,使用多任务学习网络分别训练了衣物分类模型和衣物相似度模型。结果 我们首先在Consumer-to-Shop数据集上进行了服装解析的对比实验,实验结果表明在添加了CRFs作为后处理之后,服装解析的效果有了明显提升。然后与3种主流检索算法进行了对比,结果显示,本文方法在使用哈希特征的条件下,也可以取得较好的检索效果。在top-5正确率上比WTBI（where to buy it）高出1.31%,比DARN（dual attribute-aware ranking network）高出0.21%。结论 针对服装检索的跨场景效果差、检索效率低的问题,本文提出了一种基于像素级别语义分割和哈希编码的快速多目标服装检索方法。与其他检索方法相比,本文在多目标、多标签服装检索场景有一定的优势,并且在保持了一定检索效果的前提下,有效地降低了存储空间,提高了检索效率。     

一种改进残差网络的服装图像识别模型

传统的服装多类别分类方法主要是人工提取图像的颜色、纹理、边缘等特征,这些人工选取特征方法过程繁琐且分类精度较低。深度残差网络可通过增加神经网络的深度获得较高的识别精度被广泛地应用于各个领域。为提高服装图像识别精度问题,提出一种改进深度残差网络模型：改进残差块中卷积层、调整批量归一化层与激活函数层中的排列顺序;引入注意力机制;调整网络卷积核结构。该网络结构在标准数据集Fashion-MNIST和香港中文大学多媒体实验室提供的多类别大型服装数据集（DeepFashion）上进行测试,实验结果表明,所提出的网络模型在服装图像识别分类精度上优于传统的深度残差网络。     

基于Xception改进的卷积神经网络服装分类算法

针对服装图像分类模型的参数量过大, 时间复杂度过高和服装分类准确度不高等问题. 提出了一种利用网络剪枝方法和网络稀疏约束, 减少卷积神经网络Xception中从卷积层到全连接层的冗余参数, 增加网络的稀疏性和随机性, 减轻过拟合现象, 在保证不影响精度的前提下尽可能降低模型的时间复杂度和计算复杂度. 此外在卷积层引入了注意力机制SE-Net模块, 提升了服装图像分类的准确率. 在DeepFashion数据集上的实验结果表明, 使用网络剪枝方法缩减的网络模型在空间复杂度上和时间复杂度上均有所降低, 服装图像分类准确率和运行效率与VGG-16, ResNet-50和Xception模型相比均有所提升, 使得模型对设备的要求更低, 深度卷积神经网络在移动端、嵌入式设备中使用成为可能, 在实际服装领域的电商平台的应用中有比较高的使用价值.     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

Toward Fine-grained Image Retrieval with Adaptive Deep Learning for Cultural Heritage Image

Fine-grained image classification is a challenging research topic because of the high degree of similarity among categories and the high degree of dissimilarity for a specific category caused by different poses and scales. A cultural heritage image is one of the fine-grained images because each image has the same similarity in most cases. Using the classification technique, distinguishing cultural heritage architecture may be difficult. This study proposes a cultural heritage content retrieval method using adaptive deep learning for fine-grained image retrieval. The key contribution of this research was the creation of a retrieval model that could handle incremental streams of new categories while maintaining its past performance in old categories and not losing the old categorization of a cultural heritage image. The goal of the proposed method is to perform a retrieval task for classes. Incremental learning for new classes was conducted to reduce the re-training process. In this step, the original class is not necessary for re-training which we call an adaptive deep learning technique. Cultural heritage in the case of Thai archaeological site architecture was retrieved through machine learning and image processing. We analyze the experimental results of incremental learning for fine-grained images with images of Thai archaeological site architecture from world heritage provinces in Thailand, which have a similar architecture. Using a fine-grained image retrieval technique for this group of cultural heritage images in a database can solve the problem of a high degree of similarity among categories and a high degree of dissimilarity for a specific category. The proposed method for retrieving the correct image from a database can deliver an average accuracy of 85 percent. Adaptive deep learning for fine-grained image retrieval was used to retrieve cultural heritage content, and it outperformed state-of-the-art methods in fine-grained image retrieval.     

基于目标检测算法的FashionAI服装属性识别

随着网络上服装图片数量的快速增长,对于大量的服装进行分类的需求与日俱增.传统的使用手工进行服装图像的语义属性标注并不能完全的表达服装图像中的丰富信息,并且传统的手工设计的特征已经不能满足现实的精度和速度的需求.近年来,深度学习已经应用到计算机视觉方方面面,为基于深度学习的服装分类识别技术奠定了坚实的基础.本文根据已有的数据集DeepFashion构建了三个新的子数据集,进行分类训练的deepfashionkid数据集和进行Faster R-CNN训练的deepfashionVoc数据集和进行Mask R-CNN训练的deepfashionMask数据集.使用deepfashionkid数据集在VGG16上进行预训练得到clothNet模型,进而改进Faster R-CNN的损失函数.并且各自对比了这两种算法使用clothNet预训练的模型与不使用的区别.另外,本文了采用一种新的类似嫁接学习的预训练策略.实验表明,这些训练技巧对于检测精度的提高具有一定的帮助.     

利用模型选择确定视觉词袋模型中词汇数目

视觉词袋（Visual Bag-of-Words）模型在图像分类、检索和识别等计算机视觉领域有了广泛的应用,但是视觉词袋模型中词汇数目往往是根据经验确定或者采用有监督的交叉学习选取。提出一种确定视觉词袋模型中词汇数目的无监督方法,利用模型选择的思想来解决问题。使用高斯混合模型描述具有不同词汇数目的视觉词袋,计算各模型贝叶斯信息准则的值,选取贝叶斯信息准则最小值对应的词汇数目。与交叉验证的监督学习在图像分类实验的对比结果说明该方法准确有效。