基于结构图的手绘草图检索

提出一种基于结构图的草图检索方法,在保持图像大致形状的基础上对图像的轮廓数据进行有效的降维处理,解决了轮廓的起点选择、旋转、平移以及缩放等不变性,形成了图像的标准化形状描述子,并生成相应的结构图,提取结构图的四种特征,分别进行形似性度量。实验表明文中方法能够用来有效地进行草图检索。     

基于轮廓的手绘草图检索研究

利用傅利叶形状描述方法来统一描述手绘草图图像库和用户输入的手绘草图形状信息,该方法解决了基于笔划描述的计算效率和输入顺序敏感性问题。实验表明所提出的方法不仅能得到较好的检索结果,且具有较好的用户适应性。     

基于草图查询的语义对象图像检索

针对图像低层特征和高层语义之间存在的语义鸿沟问题,提出一种结合草图查询和相关反馈的语义对象图像检索系统.该系统首先根据用户输入的手绘草图,利用形状(轮廓、区域和骨架)特征从对象库中初步检索出语义对象并保存其区域组合;然后根据用户选择的反馈对象并结合查询草图提取用户检索对象的语义特征(形状、区域及拓扑特征),最后采用寻找最优区域配对的方法在系统特征库中进行检索.实验结果表明,本文方法不但对用户需求的语义对象有较好的检索效果,而且还能较准确地在结果图像中框选出用户感兴趣的语义对象.     

基于二维手绘草图的三维形状检索

随着互联网上三维模型数量的迅猛增多,需要发展便捷、可靠的基于内容的三维形状(模型)检索引擎。手绘草图具有以视觉形象表达概念的能力,符合人类传递信息的习惯,因而成为三维形状检索的重要交互手段。然而,直接表达人类意识的二维手绘草图与标准的三维形状表达之间常常存在较大的语义鸿沟,这给基于手绘草图的三维形状检索带来很多技术难题。文章对基于手绘草图的三维形状检索相关背景以及技术进展进行了介绍,重点介绍了用上下文信息填补语义鸿沟的最新方法。     

基于手绘轮廓图的移动端图像检索

针对传统利用图像特征信息进行图像检索中难以从语义层次上理解图像相似性的问题,基于深度学习框架,提出一种结合类别分类和精确特征匹配的基于手绘轮廓图的移动端图像检索方法.首先在预处理阶段建立具有输入层、隐藏层以及Softmax输出层的神经网络分类模型,并利用训练数据集对模型进行训练,使其不断优化网络结构权值,实现输入图像的分类预测并提取分类图像标签;然后利用VGG16模型与ResNet50模型分别提取各个分类图像集下的精确特征,得到精确特征向量;最后将归一化并经组合后的特征向量与各个分类图像标签建立映射关系,实现移动端图像检索.采用移动端-服务器架构,用户在移动端输入手绘轮廓图后,系统进行自动预处理并与图像服务器实现交互,图像服务器进行分类预测和精确特征匹配得到检索结果,移动端展示最终检索结果.基于Keras深度学习开发框架,结合VGG16模型与ResNet50模型,实验结果表明,该方法能够根据手绘轮廓图高效、便捷地检索得到目标图像.     

基于多尺度HOG的草图检索

草图检索是图像处理领域中的重要研究内容。提出了一种将高斯金字塔和局部HOG特征融合的特征提取改进方法,并将其用于草图检索。采用高斯金字塔将图像分解到多尺度空间,在所有尺度上进行兴趣点提取,获得基于兴趣点的多尺度HOG特征。利用图像的多尺度HOG特征集生成视觉词典,最终形成与视觉词典相关的特征描述向量,通过相似度匹配实现草图检索。将该算法与单一尺度下的HOG算法及其他几种算法比较,实验结果表明了其可行性和有效性。     

基于轮廓重构和特征点弦长的图像检索

轮廓描述法作为形状检索中最为关键的步骤,应体现目标的整体形状信息和重要特征点信息,并具备对噪声干扰的鲁棒性.提出一种基于轮廓重构和特征点弦长的图像检索算法,首先在目标轮廓提取的基础上分析轮廓的能量保持率,并进行轮廓的降维重构处理,从而减少了随机噪声造成的轮廓畸变.然后,通过新定义的支持域来计算轮廓点的特征强度,并分析了支持域半径与特征点提取结果的关系,从而筛选出有效的轮廓特征点.最后,根据轮廓点和相应特征点间的弦长关系构造轮廓特征函数,经相应处理后,最终得到的形状描述子满足不变性要求.大量实验结果表明,该算法无论是在常规样本库中,还是在噪声样本库中都具有更优的检索性能.     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

基于纹理谱描述子的图像检索

提出一种新的纹理谱描述子应用于基于内容的图像检索中.讨论了小波变换的思想和纹理谱概念的联系,根据纹理的视觉特性,提出纹理模式等价类的概念,设计出更合理的纹理谱描述子来描述图像的纹理特征.该纹理模式刻画了领域内像素灰度变化模式,以纹理谱直方图方式表示图像纹理内容.分析了纹理谱的对称不变性和旋转鲁棒性的特点.应用于图像检索,与G曲or纹理特征相比较,该纹理谱描述子特征提取速度快,检索准确率高.     

基于联合特征映射的端到端三维模型草图检索

在草图-三维模型检索任务中,草图具有类内多样性,三维模型具有复杂性,且草图-三维模型之间存在巨大的域间的差异性,这些特点的相互作用使得基于草图的三维模型检索任务变得特别困难.针对这一问题,提出一种基于联合特征映射的端到端三维模型草图检索框架.首先将三维模型转化为一组二维视图,建立跨域数据的共享数据空间;然后通过网络权值共享,建立端到端的三元度量学习网络,实现跨域数据草图和视图的联合特征映射;最后基于联合特征分布,提出4种草图-三维模型相似评价算法来实现草图-三维模型的检索.在大型公共数据集SHREC2013和SHREC2014上的检索精度分别为81.8%和75.6%,比现有算法在7项检索指标PR曲线, NN, FT, ST, E,DCG和MAP上都有所提升,检索性能突出.     

基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

基于事件图的在线事件检索

在线事件检索是针对事件查询,按时间序迭代返回小批量数据集中事件相关文档的检索任务。其目标是在时间轴上不断收集新鲜的事件文档,是进行一系列事件相关工作的重要基础。面对此任务,传统方法采用先进的检索模型来提升检索精度,然而却没有考虑事件本身的特性。针对这一问题,该文尝试使用两类图(事件关键词共现图、融合事件类型的二部图)对事件建模,提出了一种基于事件图的在线检索框架。案例分析与在两个公开的TREC数据集上的实验结果表明,该文方法显著提升了事件检索精度(P@10最高增幅达30%,平均增幅5.85%),且能自适应在线检索环境,支持事件的演变分析。     

基于加权关系图谱特征的图像检索

基于相似性度量的图像检索方法大多仅考虑检索图像与结果图像之间的距离,而不考虑结果之间的关系,使得检索精度受到影响。该文提出了基于加权关系图谱特征的图像检索算法,该算法利用检索图像与检索初始结果图像的距离构造加权关系图,利用该关系图的谱系数夹角特征确定最终输出的检索结果。对比检索实验表明,该方法可以提高检索的精度、具有较好的稳定性。     

基于非精确图匹配的CAD模型搜索方法

为了弥补现有的三维CAD模型搜索方法难以搜索到不同近似程度的相似模型的缺陷,提出一种基于面属性化邻接图非精确匹配的CAD模型搜索方法.首先提取CAD模型中的B-rep信息将CAD模型转化为面属性化邻接图;然后计算目标模型与被搜索模型的面属性化邻接图之间的顶点相容程度矩阵和边相容程度矩阵,并由此建立2个模型相似程度的度量作为选择不同顶点匹配矩阵M的优化目标函数;在对匹配矩阵M进行连续化松弛后,运用Sinkhorn行列交替规范化方法求解匹配优化问题.实验结果表明,采用该方法能够搜索到不同近似程度的相似模型;并且由于避免了具有NP复杂性的精确图匹配过程,检索效率也能满足实际要求.     

基于属性邻接图匹配的装配体模型搜索方法

为了重用装配体模型中包含的设计、制造和装配工艺等信息,需要在装配体模型数据库中搜索相似的装配体模型作为参考.为此提出一种基于属性邻接图匹配的装配体模型搜索方法.首先提取装配体模型中零件的接触面信息,将装配体模型及其零件模型分别转化为零件属性邻接图和接触面属性邻接图;然后计算用于零件模型匹配的成功匹配接触面数量、接触面关系编码数量以及用于装配体模型搜索的零件相似度矩阵,将其作为零件模型和装配体模型相似度度量;最后由最优匹配Kuhn-Munkres算法得到零件相似度矩阵最优匹配加权和,作为装配体模型相似度.实验结果表明,该方法能有效地搜索到相似的装配体模型,并且对模型的相似度进行了排序.     

基于词重要性的信息检索图模型

在信息检索建模中,确定索引词项在文档中的重要性是一项重要内容。以词袋(bag-of-word)的形式表示文档来建立检索模型的方法中大多是基于词项独立性假设,用TF和IDF的函数来计算词项的重要性,并未考虑词项之间的关系。该文采用基于词项图(graph-of-word)的文档表示形式来捕获词项间的依赖关系,提出了一种新的基于词重要性的信息检索图模型TI-IDF。根据词项图得到文档中词项的共现矩阵和词项间的概率转移矩阵,通过马尔科夫链计算方法来确定词项在文档中的重要性(Term Importance, TI),并以此替代索引过程中传统的词项频率TF。该模型具有更好的鲁棒性,我们在国际公开数据集上与传统的检索模型进行了比较。实验结果表明,该文提出的模型都要优于BM25,且在大多数情况下优于BM25的扩展模型、TW-IDF等模型。     

一种基于图嵌入维数约简的图像检索方法

通过将维数约简技术引入检索过程,提出了一种基于图嵌入维数约简的图像检索新方法。通过构建邻接图,引入监督信息,使得图像检索过程成为有粗糙监督的学习过程。降低特征向量维数,不仅节约存储空间,而且由于在目标函数的指导下,特征空间得到优化,从而提升了图像检索的性能。     

基于二分图的装配体检索研究

基于事例推理是解决DFA和装配工艺规划问题的有效方法,装配体检索是应用此方法的关键步骤．对装配体中的联结关系进行表达和分类,提出联结关系定量的比较方法,基于二分图理论建立了装配体之间的相似计算模型,给出了装配体检索过程和计算实例．