多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于t-SNE卷积编码的图像检索方法

为了提高基于内容图像检索系统的速度和精度,提出了一种基于t-SNE卷积编码的图像检索方法。该方法首先采用一个高精度卷积神经网络模型提取图像特征,然后通过定量分析模型不同层特征的检索性能,选择出最佳特征。其次将选择出的最佳特征使用t-SNE方法进行编码,降低特征维度的同时进一步减少图像特征中的噪声。最后,利用降维后的编码特征,实现基于内容的图像检索系统。实验结果表明：随着特征维度的降低,卷积编码方法不但不会降低检索精度,反而在某些情况下会提高检索精度。采用16维卷积编码特征,就可以超过传统方法128维编码特征的检索精度。而一旦特征维度降低8倍,可以使得特征的存储空间缩小8倍,图像检索效率大幅提高。因此,该方法可以有效提高基于内容图像检索系统的速度和精度。     

基于细节点柱形编码和深度卷积特征的指纹检索方法

指纹检索方法使用细节点柱形编码作为特征,充分考虑指纹细节点的局部结构特征,却忽略指纹的整体结构特征,限制指纹检索的准确率.基于此种问题,文中提出基于细节点柱形编码和深度卷积特征的指纹检索方法.使用深度卷积网络学习指纹的整体结构特征(深度卷积特征),并结合深度卷积特征和细节点柱形编码,提升指纹检索的准确率.在3个经典指纹检索数据库上通过实验分析深度卷积特征的特性.实验表明,文中方法有效提升指纹检索的准确率.     

基于纹理特征的图像检索方法的研究与实现

在研究与分析了纹理特征提取算法的基础上,设计并实现了一个图像检索实验系统。该系统相似性度量采用欧氏距离方法,特征提取算法为共生矩阵,并且利用UIUC图像库中五类536幅蝴蝶图像和Caltech101图像库中的barrel,dalmatian和sunflower三类等图像数据库验证了共生矩阵提取纹理特征的检索方法,并对不同测试图库所得到的实验结果进行比较。从实验结果可以看出,对于具有明显的纹理特征的图像数据库利用共生矩阵提取算法还是具有较好的检索性能,可以得到较好的检索效果。     

基于时空域深度特征两级编码融合的视频分类

针对已有深度特征用于视频分类精度较低的不足,提出了一种新的基于视频时空域深度特征两级编码融合的视频分类方法。首先基于两个深度卷积神经网络模型分别提取视频帧的深度空域信息和深度时域信息;然后依次采用Fisher向量和局部聚合对上述时空域的深度信息进行两级级联编码,实现对视频的高效表征;最后,基于两级编码后的时空域联合深度特征,利用支持向量机进行分类。在UCF101上的实验结果表明,和已有方法相比,该文算法具有更好的分类精度。     

基于内容的图像检索综述

本文简要介绍了基于内容的图像检索，给出了基于内容的图像检索系统的一般结构。对图像检索的发展进行了概述。对基于内容的图像检索的主要研究技术进行了详细和全面的论述，并介绍了几个典型的基于内容的图像检索系统。最后，指出了目前研究中存在的一些主要问题。     

基于串行编码校验的深度哈希图像检索

现有基于深度学习的哈希图像检索方法通常使用全连接作为哈希编码层,并行输出每一位哈希编码,这种方法将哈希编码都视为图像的信息编码,忽略了编码过程中哈希码各个比特位之间的关联性与整段编码的冗余性,导致网络编码性能受限.因此,本文基于编码校验的原理,提出了串行哈希编码的深度哈希方法——串行哈希编码网络(serial hashing network, SHNet).与传统的哈希编码方法不同, SHNet将哈希编码网络层结构设计为串行方式,在生成哈希码过程中对串行生成的前部分哈希编码进行校验,从而充分利用编码的关联性与冗余性生成信息量更为丰富、更加紧凑、判别力更强的哈希码.采用mAP作为检索性能评价标准,将本文所提方法与目前主流哈希方法进行比较,实验结果表明本文在不同哈希编码长度下的m AP值在3个数据集CIFAR-10、Image Net、NUS-WIDE上都优于目前主流深度哈希算法,证明了其有效性.     

基于关键点的服装检索

目前,同款或近似款式服装检索主要分为基于文本和基于内容两类。基于文本算法往往需要海量标注样本,且存在人工主观性带来的标注缺失和标注差异等问题;基于内容算法一般对服装图像的颜色、形状、纹理提取特征,进行相似性度量,但难以应对背景颜色干扰,以及视角、姿态引起的服装形变等问题。针对上述问题,提出一种基于关键点的服装检索方法。利用级联深度卷积神经网络为基础,定位服装关键点,融合关键点区域低层视觉信息以及整幅图像的高层语义信息。对比传统检索方法,所提算法能有效处理视角、姿态引起的服装形变和复杂背景的干扰;同时不需大量样本标定,且对背景、形变鲁棒。在Fashion Landmark数据集和BDAT-Clothes数据集上与常用算法进行对比实验。实验结果表明所提算法能有效提升检索的查准率和查全率。     

基于新的空间关系特征的图像检索方法

图像与图像之间没有清晰的空间结构,这样就不能有效利用图像间空间结构上的相关性信息,针对此问题提出一种基于新的空间关系特征的图像检索方法。首先,提取待查询图像在内的全部图像的特征向量。然后,计算特征向量每两个之间的相似性,形成相似性矩阵。将相似性矩阵的列集合作为新特征向量,命名为新的空间关系特征向量,从而将原来的特征向量映射到一个欧氏空间上。最后,在新特征空间上计算相似性,特征向量之间的相似性问题就转化为新的空间关系特征向量之间的相似性问题。在新特征空间上,图像与图像之间的空间结构变得清晰了,有利于图像检索准确度的提高。在Corel数据库上进行实验,所提方法在平均检索查准率、查全率-查准率和可视化评价指标上都优于基于颜色直方图的图像检索方法。结果表明,基于新的空间关系特征的图像检索方法有效利用了图像间空间结构上的相关性信息,具有更好的检索效果。     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于特征融合卷积神经网络的车型精细识别

为解决现有车型精细识别方法中存在识别精度低、模型参数规模大等问题,提出一种基于特征融合卷积神经网络的车型精细识别方法。设计两个独立网络(UpNet、DownNet)分别用于提取车辆正面图像的上部和下部特征,在融合网络(FusionNet)中进行特征融合,实现车型的精细识别。相较于现有的车型精细识别方法,该方法在提高识别精度的同时,有效压缩了模型参数规模。在基准数据集CompCars下进行大量实验的结果表明,该方法的识别精度可达98.94%,模型参数大小仅为4.9MB。     

基于深度特征分析的双线性图像相似度匹配算法

基于内容的图像检索一直面临"语义鸿沟"的难题,特征选择对语义学习结果有着直接的影响;而传统距离度量方法往往从单一角度进行相似性计算,不能很好地表示出图像之间的相似度。为了解决以上问题,提出基于深度特征分析的双线性图像相似度匹配的方法。首先,将图像数据集在卷积神经网络模型上进行微调训练,然后利用训练好的卷积神经网络对图像进行特征提取,获得全连接层输出的特征之后,通过双线性相似性度量方法得到图像间相似度的大小,通过对相似度的大小排序,返回最相似的图像实例。在Caltech101和Caltech256数据集上的对比实验显示,所提算法的平均查准率、TopK查准率和查全率均优于对比算法,验证了所提算法的有效性。     

基于深度学习的监控视频中多类别车辆检测

针对传统机器学习算法在交通监控视频的车辆检测中易受视频质量、拍摄角度、天气环境等客观因素影响,预处理过程繁琐、难以进行泛化、鲁棒性差等问题,结合空洞卷积、特征金字塔、焦点损失,提出改进的更快的区域卷积神经网络（Faster R-CNN）和单阶段多边框检测检测器（SSD）两种深度学习模型进行多类别车辆检测。首先从监控视频中截取的不同时间的851张标注图构建数据集;然后在保证训练策略相同的情况下,对两种改进后的模型与原模型进行训练;最后对每个模型的平均准确率进行评估。实验结果表明,与原Faster R-CNN和SSD模型相比,改进后的Faster R-CNN和SSD模型的平均准确率分别提高了0.8个百分点和1.7个百分点,两种深度学习方法较传统方法更适应复杂情况下的车辆检测任务,前者准确度较高、速度较慢,更适用于视频离线处理,后者准确度较低、速度较快,更适用于视频实时检测。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

基于CNN特征加权和区域整合的图像检索

相比传统特征,卷积神经网络提取的特征对图像具有更强的描述能力,其卷积层比全连接层更适合用来检索图像。然而卷积特征是高维特征,若直接用来匹配图像会消耗大量的时间和内存。提出了一种新的改善和整合卷积特征,形成单维特征向量,再将其用于图像匹配的方法。首先,提取最后一个卷积层的三维特征,再对该卷积特征重新加权,突显图像的边缘信息和位置信息;其次,用滑动窗口进行处理,形成多个区域特征向量,再相加整合成全局特征向量;最后,用余弦距离衡量查询图和测试图的相似性得出检索的初始排名,并且用拓展查询方法进行重排得出最终的平均精度均值mAP。分别在Paris6k和Oxford5k数据库以及用100k张图扩展的Paris106k和Oxford105k数据库上进行测试。相对于CroW方法在Paris数据库上获得的mAP性能指标,本文方法提升了约3个百分点;在Oxford数据库上提升了约1个百分点。实验结果表明,新方法提取的全局特征能够更好地描述图像。