非负局部Laplacian稀疏编码和上下文信息的图像分类

目的 稀疏编码是图像特征表示的有效方法,但不足之处是编码不稳定,即相似的特征可能会被编码成不同的码字。且在现有的图像分类方法中,图像特征表示和图像分类是相互独立的过程,提取的图像特征并没有有效保留图像特征之间的语义联系。针对这两个问题,提出非负局部Laplacian稀疏编码和上下文信息的图像分类算法。方法 图像特征表示包含两个阶段,第一阶段利用非负局部的Laplacian稀疏编码方法对局部特征进行编码,并通过最大值融合得到原始的图像表示,从而有效改善编码的不稳定性;第二阶段在所有图像特征表示中随机选择部分图像生成基于上下文信息的联合空间,并通过分类器将图像映射到这些空间中,将映射后的特征表示作为最终的图像表示,使得图像特征之间的上下文信息更多地被保留。结果 在4个公共的图像数据集Corel-10、Scene-15、Caltech-101以及Caltech-256上进行仿真实验,并和目前与稀疏编码相关的算法进行实验对比,分类准确率提高了约3%~18%。结论 本文提出的非负局部Laplacian稀疏编码和上下文信息的图像分类算法,改善了编码的不稳定性并保留了特征之间的相互依赖性。实验结果表明,该算法与现有算法相比的分类效果更好。另外,该方法也适用于图像分割、标注以及检索等计算机视觉领域的应用。     

结合Fisher判别分析和稀疏编码的图像场景分类

视觉词典法是当前广泛使用的一种图像表示方法,针对传统视觉词典法存在的表示误差大、空间信息丢失以及判别性弱等问题,提出一种基于Fisher判别稀疏编码的图像场景分类算法.首先利用近邻视觉词汇重构局部特征点,构建局部特征点的非负稀疏局部线性编码,从而有效地利用图像的空间信息;然后在非负稀疏局部线性编码的基础上引入Fisher判别约束准则,构建基于Fisher判别约束的非负稀疏局部线性编码模型,以获得图像的判别稀疏向量表示,增强图像稀疏表示的判别性;最后结合支持向量机(SVM)分类器实现场景分类.实验结果表明,该算法提高了图像稀疏表示的特征分类能力以及分类性能,更有利于场景分类任务.     

压缩感知下溃疡性结肠炎辅助诊断

目的 长期感染溃疡性结肠炎（ulcerative colitis,UC）的患者罹患结肠癌的风险显著提升,因此早期进行结肠镜检测十分必要,但内窥镜图像数量巨大且伴有噪声干扰,需要找到精确的图像特征,为医师提供计算机辅助诊断。为解决UC图像与正常肠道图像的分类问题,提出了一种基于压缩感知和空间金字塔池化结合的图像特征提取方法。方法 使用块递归最小二乘（block recursive least squares,BRLS）进行初始字典训练。提出基于先验知识进行观测矩阵与稀疏字典的交替优化算法,并利用压缩感知框架获得图像的稀疏表示,该框架改善了原来基于稀疏编码的图像分类方法无法精确表示图像的问题,然后结合最大空间金字塔池化方法提取压缩感知空间金字塔池化（compressed sensing spatial pyramid pooling,CSSPP）图像特征,由于压缩感知的引入,获得的图像特征比稀疏编码更加丰富和精确。最后使用线性核支持向量机（support vector machine,SVM）进行图像分类。结果 对Kvasir数据集中的2 000幅真实肠道图像的分类结果表明,该特征的准确率比特征袋（bag of features,BoF）、稀疏编码空间金字塔匹配（sparse coding spatial pyramid matching,SCSPM）和局部约束线性编码（locality-constrained linear coding,LLC）分别提升了12.35%、3.99%和2.27%。结论 本文提出的溃疡性结肠炎辅助诊断模型,综合了压缩感知和空间金字塔池化的优点,获得了较对比方法更加精确的识别感染图像检测结果。     

基于语义短语的空间金字塔词袋模型图像分类方法

针对空间金字塔词袋模型缺少对局部特征之间语义分布关系的表达,提出了一种基于语义短语的空间金字塔词袋模型图像表示方法.首先,将局部特征映射为具有一定语义信息的视觉单词,通过统计局部特征邻域范围内其他相关特征点的语义分布情况来构造语义短语.其次,将语义短语采用稀疏编码进行量化生成语义词典,图像则表示成基于语义词典的空间金字塔式稀疏统计直方图向量.最后,将图像表示向量代入分类器中进行训练和测试.实验结果表明,本文方法能够较大幅度地提高图像分类的准确率.     

基于稀疏编码的多模态信息交叉检索

目的 多模态信息交叉检索的根本问题是多模态数据的特征表示。稀疏编码是一种有效的数据特征表示方法,但是当查询数据和被检索数据来自不同模态时,数据间存在分布差异,相似的特征可能被编码为差异显著的稀疏表示,此时传统稀疏编码便不再适用。为此,提出了一种基于稀疏编码的多模态信息交叉检索算法。方法 采用最大均值差异(MMD)以及图拉普拉斯,并将二者加入到稀疏编码的目标函数中来充分利用多模态信息进行编码,模型求解采用特征符号搜索和离散线搜索算法逐个更新稀疏编码系数。结果 在Wikipedia的文本图像对数据上进行实验,并与传统稀疏编码进行比较,实验结果表明,本文算法使交叉检索的平均准确率(MAP)提高了18.7%。结论 本文算法增强了稀疏表示的鲁棒性,提高了多模态交叉检索的准确率,更适用于对多模态数据进行特征提取,并进行进一步的操作,如交叉检索、分类等。     

基于低秩稀疏分解与协作表示的图像分类算法

目前,大部分图像分类算法为了获取较高的性能均需要充分的训练学习过程,然而在实际应用中,往往存在训练样本不足及过拟合等问题。为了避免上述问题出现,在朴素贝叶斯最近邻分类算法的原理框架下,基于非负稀疏编码、低秩稀疏分解以及协作表示提出一种非参数学习的图像分类算法。首先,基于非负稀疏编码和最大值汇聚操作表示图像信息,并构建具有低秩性质的同类训练图像集的局部特征矩阵;其次,采用低秩稀疏分解结合别类标签信息构建两类视觉词典以充分利用同类图像的相关性和差异性;最后基于协作表示表征测试图像并进行分类决策,实验结果验证了所提算法的有效性。     

自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。     

基于双重L2稀疏编码的高光谱图像分类

目的 为了有效提高高光谱图像分类的精度,提出了双重L2稀疏编码的高光谱图像分类方法。方法 首先对高光谱图像进行预处理,充分结合图像的空间信息和光谱信息,利用像元的空间连续性,用L2稀疏编码重建图像中每个像元。针对重建的图像数据,依据L2稀疏编码的最小误差和编码系数实现分类。结果 在公开的数据库AVIRIS高光谱图像上进行验证,分类精度为99.44%,与支持向量机（SVM）、K最近邻（KNN）和L1稀疏编码方法比较,有效地提高了分类的准确性。结论 实验结果表明,提出的方法应用于高光谱图像分类具有较好的分类效果。     

面向视觉搜索的空间局部敏感哈希方法

目的 视觉检索需要准确、高效地从大型图像或者视频数据集中检索出最相关的视觉内容,但是由于数据集中图像数据量大、特征维度高的特点,现有方法很难同时保证快速的检索速度和较好的检索效果。方法 对于面向图像视频数据的高维数据视觉检索任务,提出加权语义局部敏感哈希算法（weighted semantic locality-sensitive hashing, WSLSH）。该算法利用两层视觉词典对参考特征空间进行二次空间划分,在每个子空间里使用加权语义局部敏感哈希对特征进行精确索引。其次,设计动态变长哈希码,在保证检索性能的基础上减少哈希表数量。此外,针对局部敏感哈希（locality sensitive hashing, LSH）的随机不稳定性,在LSH函数中加入反映参考特征空间语义的统计性数据,设计了一个简单投影语义哈希函数以确保算法检索性能的稳定性。结果 在Holidays、Oxford5k和DataSetB数据集上的实验表明,WSLSH在DataSetB上取得最短平均检索时间0.034 25 s;在编码长度为64位的情况下,WSLSH算法在3个数据集上的平均精确度均值（mean average precision,mAP）分别提高了1.2%32.6%、1.7%19.1%和2.6%28.6%,与几种较新的无监督哈希方法相比有一定的优势。结论 通过进行二次空间划分、对参考特征的哈希索引次数进行加权、动态使用变长哈希码以及提出简单投影语义哈希函数来对LSH算法进行改进。由此提出的加权语义局部敏感哈希（WSLSH）算法相比现有工作有更快的检索速度,同时,在长编码的情况下,取得了更为优异的性能。     

分层树结构字典编码的行为识别

目的 基于学习字典的稀疏编码能够自适应地表示信号。然而,传统学习字典的原子之间缺少关联,信号的相似性在编码后缺失。考虑到结构化稀疏表示的鲁棒性和判别性能力,结构化字典的构建成为一个重要的任务。方法 依据标准的凸优化字典学习算法,引入数据点编码路径的约束（由上层原子激活的索引规划下层的索引）,构思了一种树结构字典学习框架。结果 实验结果表明,局部描述符的稀疏表示具有较好的鲁棒性和判别性,同时在KTH数据库上人体行为识别实验与其他类似文献方法相比获得了较高的识别精度,其中,时空梯度方向直方图（HOG3D）的编码识别结果达到97.99%。结论 通过实验结果,观察到采用本文构建的字典编码信号具有较好的鲁棒性和判别性,更好的适合分类任务。     

增强成对旋转不变的共生扩展局部二值模式

目的 针对成对旋转不变的共生局部二值模式（PRICoLBP）算法对图像光照、旋转变化鲁棒性较差,且存在特征维度过大的问题,提出了一种可融合多种局部纹理结构信息的有效特征——增强成对旋转不变的共生扩展局部二值模式。方法 首先,对图像各像素点的邻域像素点灰度值进行二值量化得到二值编码序列,并不断旋转二值序列得到以不同邻域点作为编码起始点对应的LBP值;然后,分别利用极大、极小LBP值对应的邻域起始编码点和中心像素点确定两个方向矢量,并沿这两个方向矢量在两个不同尺度图像上选取上下文共生点;其次,利用扩展局部二值模式（ELBP）算法的旋转不变均匀描述子来提取上下文共生点对的中心像素灰度级、邻域像素灰度级及径向灰度差异特征间的相关性信息;最后,用上下文共生点对的特征直方图训练卡方核支持向量机,检测纹理图像类别。结果 通过对Brodatz、Outex （TC10、TC12）、Outex （TC14）、CUReT、KTH-TIPS和UIUC纹理库的分类实验,改进算法的识别率比原始的PRICoLBP算法识别率分别提高了0.32%、0.57%、5.62%、3.34%、2.1%、4.75%。结论 利用像素点LBP特征极值对应的起始编码序列来选取上下共生点对,并用ELBP算法提取共生点对局部纹理信息,故本文方法能更好描述共生点对间的高阶曲率信息及更多局部纹理信息。在具光照、旋转变化的Outex、CUReT、KTH-TIPS纹理库图像分类实验中,所提方法比原始PRICoLBP算法取得了更高的识别率。实验结果表明,改进算法相比于原始算法能在较低的特征维度下对图像光照、旋转变化具有较好的鲁棒性。     

Real-time SLAM relocalization with online learning of binary feature indexing

A visual simultaneous localization and mapping (SLAM) system usually contains a relocalization module to recover the camera pose after tracking failure. The core of this module is to establish correspondences between map points and key points in the image, which is typically achieved by local image feature matching. Since recently emerged binary features have orders of magnitudes higher extraction speed than traditional features such as scale invariant feature transform, they can be applied to develop a real-time relocalization module once an efficient method of binary feature matching is provided. In this paper, we propose such a method by indexing binary features with hashing. Being different from the popular locality sensitive hashing, the proposed method constructs the hash keys by an online learning process instead of pure randomness. Specifically, the hash keys are trained with the aim of attaining uniform hash buckets and high collision rates of matched feature pairs, which makes the method more efficient on approximate nearest neighbor search. By distributing the online learning into the simultaneous localization and mapping process, we successfully apply the method to SLAM relocalization. Experiments show that camera poses can be recovered in real time even when there are tens of thousands of landmarks in the map.     

基于多核学习的多特征融合图像分类研究

图像分类任务是计算机视觉中的一个重要研究方向。组合多种特征在一定程度上能够使得图像分类准确度得到提高。然而,如何组合多种图像特征是一个悬而未决的难题。提出了一种基于多类多核学习的多特征融合算法,并应用到图像分类任务。算法在有效地利用多核学习自动选取对当前任务有价值特征的优势的同时,避免了在多核学习中将多类问题分解为多个二分问题。在图像特征表示方面,使用字典自学习方法。实验结果表明,提出的算法能够有效地提高图像分类的准确度。     

基于PCA的哈希图像检索算法

图像哈希算法的步骤大致分为投影和量化两个阶段,为提高哈希编码的性能,分别对这两个阶段进行研究。在投影阶段,通过主成分分析算法将数据投影到新的特征子空间中,以降低原始特征之间的冗余性;在量化阶段,为减少量化所带来的损失,提出一种单双比特结合的量化方法;利用得到的哈希编码进行图像检索。在两个常用的图像数据集上的实验结果表明,提出的算法较现有的主流图像哈希算法在多个评价指标下均有所提高。     

融合局部性和非负性的Laplacian稀疏编码的图像分类*

稀疏编码在编码过程中忽略特征之间的局部关系,使编码不稳定,并且优化问题中的减法运算可能会导致特征之间相互抵消.针对上述2个问题,文中提出融合局部性和非负性的Laplacian稀疏编码的图像分类方法.引入局部特征附近的基约束编码,利用非负矩阵分解将非负性加到Laplacian稀疏编码中,利用空间金字塔划分和最大值融合表示最终的图像,并采用多类线性SVM分类图像.本文方法保留特征之间的局部信息,避免特征之间相互抵消,保留更多的特征,从而改善编码的不稳定性.在4个公共数据集上的实验表明,相比其它现有算法,本文方法分类准确率更高.     

基于多层非负局部Laplacian稀疏编码的图像分类

针对单层稀疏编码结构对图像特征学习能力的局限性问题,提出了一个基于图像块稀疏表示的深层架构,即多层融合局部性和非负性的Laplacian稀疏编码算法（MLLSC）。对每个图像平均区域划分并进行尺度不变特征变换（SIFT）特征提取,在稀疏编码阶段,在Laplacian稀疏编码的优化函数中添加局部性和非负性,在第一层和第二层分别进行字典学习和稀疏编码,分别得到图像块级、图像级的稀疏表示,为了去除冗余特征,在进行第二层稀疏编码之前进行主成分分析（PCA）降维,最后采用多类线性支持向量机进行分类。在四个标准数据集上进行验证,实验结果表明,MLLSC方法具有高效的特征学习能力,能够捕获图像更深层次的特征信息,相对于单层结构算法准确率提高了3%~13%,相对于多层稀疏编码算法准确率提高了1%~2.3%;并对不同参数进行了对比分析,充分展现了其在图像分类中的有效性。     

先验权重共享码本下内窥镜图像大肠病变分类

目的 大肠息肉和溃疡性结肠炎（ulcerative colitis,UC）是常见的大肠疾病,发病率高,检测需求大,且容易在临床中被漏诊和误诊。因此研究用于内窥镜大肠病变图像分类的计算机辅助诊断（computer-aided diagnosis,CAD）系统十分重要。局域约束线性编码（locality constrained linear coding,LLC）在图像分类领域展现了优异的性能,能够完成对内窥镜中病变图像的分类。但是由于肠胃内窥镜图像中存在的一些微小息肉等病理征状与肠壁十分相似,LLC在这一场景下的性能有待提高。方法 由于码本的设计对细微差别检测能力影响大,本文通过改进LLC中的码本来实现更精确的大肠病变分类,其中原始码本被改进为带有先验权重影响的共享码本。主要思想是尝试尽可能多地使用代表私有部分的码本。本文方法重新排列了码本的列,将较少使用的原子排列在码本的后面,成为共享码本。并利用原子使用的频率计算权重,通过在线字典学习的方法,获得具有先验权重的共享码本。利用这一新码本对特征进行编码能实现更为高效精确的图像分类。结果 为避免过拟合,将部分Kvasir数据集与部分医院合作数据集合并使用。实验在2 600幅内窥镜图像上进行正常、息肉和UC图像的三分类实验,与压缩感知空间金字塔池化（compressed sensing spatial pyramid pooling,CSSPP）方法、私有共享字典学习算法（category-specific dictionary and shared dictionary learning,CSDL）、环形空间金字塔模型方法（circular inner ring partitioning,CIRP）、显著性和自适应局部约束线性编码（saliency and adaptive locality constrained linear coding,SALLC）和AlexNet迁移学习的网络比较,本文方法的总体分类准确率为93.82%,较对比方法分别高了2.33%、2.21%、1.91%、0.8%、0.07%。结论 本文所提出的先验权重共享码本,综合了词汇袋模型和共享字典的思想,使得对内窥镜图像中相似图片的分类更加精确。