基于空间注意力下边缘图融合的草图图像检索

基于草图的图像检索任务根据用户提供的手绘草图,从图像数据库中检索得到与该草图对应的自然图像.与传统基于内容的图像检索不同,草图和自然图像间存在明显的域差异,这使得二者的特征难以直接进行比较.针对自然图像边缘图和草图的相似性,提出了空间注意力下的边缘图融合模型,将自然图像和对应的边缘图分别编码到各自的特征空间,再通过空间注意力掩膜进行加权融合,进而用于草图图像检索.所提模型可以更有效地编码物体边缘轮廓的特征,分别在Sketchy和Flickr15K数据集的草图图像检索任务上取得了比前人方法更高的Recall@1和MeanAP指标.     

基于二维手绘草图的三维形状检索

随着互联网上三维模型数量的迅猛增多,需要发展便捷、可靠的基于内容的三维形状(模型)检索引擎。手绘草图具有以视觉形象表达概念的能力,符合人类传递信息的习惯,因而成为三维形状检索的重要交互手段。然而,直接表达人类意识的二维手绘草图与标准的三维形状表达之间常常存在较大的语义鸿沟,这给基于手绘草图的三维形状检索带来很多技术难题。文章对基于手绘草图的三维形状检索相关背景以及技术进展进行了介绍,重点介绍了用上下文信息填补语义鸿沟的最新方法。     

基于联合特征映射的端到端三维模型草图检索

在草图-三维模型检索任务中,草图具有类内多样性,三维模型具有复杂性,且草图-三维模型之间存在巨大的域间的差异性,这些特点的相互作用使得基于草图的三维模型检索任务变得特别困难.针对这一问题,提出一种基于联合特征映射的端到端三维模型草图检索框架.首先将三维模型转化为一组二维视图,建立跨域数据的共享数据空间;然后通过网络权值共享,建立端到端的三元度量学习网络,实现跨域数据草图和视图的联合特征映射;最后基于联合特征分布,提出4种草图-三维模型相似评价算法来实现草图-三维模型的检索.在大型公共数据集SHREC2013和SHREC2014上的检索精度分别为81.8%和75.6%,比现有算法在7项检索指标PR曲线, NN, FT, ST, E,DCG和MAP上都有所提升,检索性能突出.     

基于球体投影的三维模型检索

针对草图检索三维模型时存在的域不匹配和如何选取视图等问题,提出一种基于球体投影的三维模型检索方法。针对域不匹配问题,提出基于球体投影的二维视图获取方法,并使用高斯差分和贝塞尔曲线完成线图的提取;利用草图和投影图像之间的关系构建分类器,以获取模型的最优视图;通过两个Siamese网络获取草图和二维视图的特征,并用联合贝叶斯（Joint Bayesian）方法来融合二者的输出,从而获得最终结果。实验证明了该方法的可行性,与其他方法相比具有更好的检索效果。     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

基于卷积神经网络和投票机制的三维模型分类与检索

针对现有基于深度学习的三维模型多视图分类算法利用最大池化、平均池化等像素级运算完成视图信息的融合,可能造成模型有益信息淹没和混淆的问题,提出一种基于卷积神经网络和投票机制的三维模型分类检索算法.首先将三维模型转化为一组二维视图,然后基于丰富的数字图像库ImageNet和成熟的图像深度学习模型CaffeNet完成二维视图的分类,最后利用加权投票的方式完成三维模型的分类;同时基于投票机制,提出4种三维模型距离度量算法,支持三维模型的检索.将文中算法应用于刚性三维模型库ModelNet10,ModelNet40,非刚性三维模型库SHREC10, SHREC11和SHREC15中,分类准确率分别为93.18%, 93.07%, 99.5%, 99.5%和99.4%,检索性能突出;并通过实验验证该算法的有效性.     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于轮廓的手绘草图检索研究

利用傅利叶形状描述方法来统一描述手绘草图图像库和用户输入的手绘草图形状信息,该方法解决了基于笔划描述的计算效率和输入顺序敏感性问题。实验表明所提出的方法不仅能得到较好的检索结果,且具有较好的用户适应性。     

基于深度学习的人体动作草图到三维骨骼模型重建方法的研究

为了提高三维人体骨骼模型的建模效率并简化交互规则,提出了一种基于深度学习的手绘人体动作草图到三维骨骼模型的重建方法。首先将三维骨骼模型渲染为二维图像来建立维度映射关系,进而使用图像分类方法识别手绘草图动作并根据维度映射实现三维骨骼模型重建。在实验中使用基于深度卷积神经网络对图像分类模型进行构建,使用浅层卷积网络作为训练单元,并使用逐级分类与分块训练策略加速网络收敛速度来提高训练效率。最后实验结果验证了该方法的可行性与有效性。     

基于结构图的手绘草图检索

提出一种基于结构图的草图检索方法,在保持图像大致形状的基础上对图像的轮廓数据进行有效的降维处理,解决了轮廓的起点选择、旋转、平移以及缩放等不变性,形成了图像的标准化形状描述子,并生成相应的结构图,提取结构图的四种特征,分别进行形似性度量。实验表明文中方法能够用来有效地进行草图检索。     

字典重建和空间分布关系约束下的特征选择与图像拼接

目的 针对大型图像检索领域中,复杂图像中SIFT特征描述子的冗余和高维问题,提出了一种基于字典重建和空间分布关系约束的特征选择的方法,来消除冗余特征并保留最具表现力的、保留原始空间结构性的SIFT特征描述子。方法 首先,实验发现了特征选择和字典学习方法在稀疏表示方面的内在联系,将特征选择问题转化为字典重构任务;其次,在SIFT特征选择问题中,为了保证特征空间中特征的鲁棒性,设计了新型的字典学习模型,并采用模拟退火算法进行迭代求解;最后,在字典学习的过程中,加入熵理论来约束特征的空间分布,使学习到的特征描述子能最大限度保持原始SIFT特征空间的空间拓扑关系。结果 在公开数据集Holiday大型场景图片检索数据库上,通过与国际公认的特征选择方法进行实验对比,本文提出的特征选择方法在节省内存空间和提高时间效率（30%~ 50%）的同时,还能保证所筛选的特征描述子的检索准确率比同类特征提高8%~ 14.1%;在国际通用的大型场景图片拼接数据库IPM上,验证本文方法在图像拼接应用中特征提取和特征匹配上的有效性,实验表明本文方法能节省（50% ~70%）图像拼接时间。结论 与已有的方法比较,本文的特征选择方法既不依赖训练数据集,也不丢失重要的空间结构和纹理信息,在大型图像检索、图像拼接领域和3D检索领域中,能够精简特征,提高特征匹配效率和准确率。     

Sketch-based 3D model retrieval by incorporating 2D-3D alignment

Sketch-based 3D model retrieval is very important for applications such as 3D modeling and recognition. In this paper, a sketch-based retrieval algorithm is proposed based on a 3D model feature named View Context and 2D relative shape context matching. To enhance the accuracy of 2D sketch-3D model correspondence as well as the retrieval performance, we propose to align a 3D model with a query 2D sketch before measuring their distance. First, we efficiently select some candidate views from a set of densely sampled views of the 3D model to align the sketch and the model based on their View Context similarities. Then, we compute the more accurate relative shape context distance between the sketch and every candidate view, and regard the minimum one as the sketch-model distance. To speed up retrieval, we precompute the View Context and relative shape context features of the sample views of all the 3D models in the database. Comparative and evaluative experiments based on hand-drawn and standard line drawing sketches demonstrate the effectiveness and robustness of our approach and it significantly outperforms several latest sketch-based retrieval algorithms.     

A Data‐Driven Approach for Sketch‐Based 3D Shape Retrieval via Similar Drawing‐Style Recommendation

Sketching is a simple and natural way of expression and communication for humans. For this reason, it gains increasing popularity in human computer interaction, with the emergence of multitouch tablets and styluses. In recent years, sketch‐based interactive methods are widely used in many retrieval systems. In particular, a variety of sketch‐based 3D model retrieval works have been presented. However, almost all of these works focus on directly matching sketches with the projection views of 3D models, and they suffer from the large differences between the sketch drawing and the views of 3D models, leading to unsatisfying retrieval results. Therefore, in this paper, during the matching procedure in the retrieval, we propose to match the sketch with each 3D model from historical users instead of projection views. Yet since the sketches between the current user and the historical users can have big difference, we also aim to handle users' personalized deviations and differences. To this end, we leverage recommendation algorithms to estimate the drawing style characteristic similarity between the current user and historical users. Experimental results on the Large Scale Sketch Track Benchmark(SHREC14LSSTB) demonstrate that our method outperforms several state‐of‐the‐art methods.