深度监督对齐的零样本图像分类方法

针对零样本图像分类中属性向量的类别区分性差及对可见类别产生分类偏好的问题,提出一种深度监督对齐的零样本图像分类（DSAN）方法. DSAN构造类语义的全局监督标记,与专家标注的属性向量联合使用以增强类语义间的区分性. 为了对齐视觉空间和语义空间的流形结构,采用视觉特征和语义特征分类网络分别学习2种空间特征的类别分布,并且无差异地对齐两者的分布. 利用生成对抗网络的原理消除特征间的本质差异,以按位加的方式合并视觉特征和类语义特征,并利用关系网络学习两者间的非线性相似度. 实验结果表明,DSAN在CUB、AWA1和AWA2数据集上对可见类别和未见类别的调和平均分类准确率比基线模型分别提高了4.3%、19.5%和21.9%;在SUN和APY数据集上,DSAN方法的调和平均分类准确率分别比CRnet方法高1.4%和2.2%,这些结果证明所提方法的有效性.     

基于组合零样本学习的接触网吊弦线缺陷识别

目前现场接触网吊弦缺陷图像严重不足，导致模型特征学习不充分，识别准确率难以得到有效提高，为此提出基于组合零样本学习的接触网吊弦线缺陷识别方法.采用以ResNet-50作为主干网络的视觉特征提取模块提取图像视觉特征；使用预训练的Word2Vec词向量对标签组合图中的节点特征进行初始化，并通过2层图卷积网络学习标签组合图中各节点之间的依赖关系，从而优化组合标签节点的语义特征，改善最终的识别效果；将提取到的视觉特征和优化后的组合标签节点的语义特征相对齐，构建相似度函数计算图像视觉特征与组合标签语义特征之间的相似度得分，并通过交叉熵损失完成图像组合标签的预测.仿真实验结果表明：所提方法对可见类样本的类平均检测准确率为93.5%，对不可见类样本的类平均检测准确率为86.5%.     

度量学习改进语义自编码零样本分类算法

为改善零样本图像分类中相似度度量方法的鲁棒性,引入了一种用于零样本分类的度量学习方法.该方法由自编码构成,能在特征对齐后的语义嵌入空间中学习到最优的度量函数,用于计算测试样本特征和类标签的语义特征的相似度;然后利用近邻思想预测类别标签,进而避免产生不合适距离函数导致的分类错误.实验结果表明,与传统距离度量的算法相比,所提出的方法降低了识别错误率,在公开数据集AWA、CUB和ImNet-2上的分类准确率分别达到94.7%、63.7%和28.59%;同时表明了语义-视觉的映射方向比相反方向的识别准确率高出2.5%~10.1%.     

基于统计学习的多层医学图像语义建模方法

提出一种在小样本的情况下,基于多层贝叶斯网络的医学图像语义建模方法.该方法采用支持向量机实现从低层视觉特征到对象语义的映射,使用贝叶斯网络融合对象语义,提取高级语义,从而建立一个多层医学图像语义模型,可支持多层次的医学图像语义自动标注及其检索.将该方法用于星形细胞瘤恶性程度的语义提取,并建立一个多层语义模型.实验表明,该模型与使用K近邻分类器或高斯混合模型取代SVM的语义模型相比,查全率有明显的提高.     

基于密度聚类和多示例学习的图像分类方法

针对图像的低级特征表示与高级概念之间的语义鸿沟,本文利用密度聚类获得的簇分布信息和多示例学习框架在区分歧义性对象上的特点,提出了一个基于区域特征密度聚类和多示例学习的图像分类方法(DCRF-MIL)。该方法首先将每个图像分割为多个区域,将所有区域组成一个集合,在这个区域集合上,使用密度聚类算法学习到区域特征的簇分布信息;然后,将图像看作包,区域看作包中的示例,基于区域特征的簇分布信息,将包映射为簇分布空间上的一个向量作为包的特征,使得包特征带有图像区域的语义信息;最后,使用支持向量机算法,在带有包特征的训练集上训练分类器,对测试图像进行分类。在Corel图像集和MUSK分子活性预测数据集上的实验表明,DCRF-MIL算法具有分类精度高和参数易于选择等特点。     

基于贝叶斯估计特征分布融合的目标分类方法

为研究雷达目标分类方法,对基于贝叶斯估计特征分布融合的目标分类方法进行了研究.根据目标点迹参数具有随机性特点,建立特征模型;然后对目标真假特征分布进行基于贝叶斯估计下的融合,融合后的多维分布在分类导向矢量的作用下得到分类界面的确定和特征降维处理,得到目标一维高斯概率分布;最后根据目标分布距离积分得到目标概率,以概率门限为准则完成目标分类.通过对二维、三维及多维特征下目标分类算法的分析、计算和仿真,验证了方法的有效性.     

三维模型库语义网构建及检索方法研究

为了实现三维模型语义检索,描述了一种基于本体来构建三维模型库语义网的方法,并在此基础上实现基于语义的三维模型检索。该方法首先建立三维模型库本体描述,根据模型库中的内容提取类,对象和属性。其次利用Word-Net英文本体查找本体原始结点的语义扩展结点,包括同义词,上位词,下位词和整体部分关系词,从而构建语义网络。在语义网的基础上实现基于SPARQL的三维模型检索。结果表明,该方法能有效地扩充一个分类粒度较粗的三维模型库的语义内容,扩大语义覆盖面,同时扩充词汇之间的语义相关性,从而提高基于关键词语义检索的准确性。     

基于改进解释树的三维物体分类

为了实现对未知三维物体的分类,提出了一种基于改进解释树的三维物体分类方法,将未知物体分到一组预先定义的物体类中.在该方法中,提出了一组新的、完善的三维物体形状特征及对应的约束,定义了有效的解释树约束搜索规则,能快速得到待分类物体和三维模型之间的匹配关系;设计了形状相似性度量计算算法,得到待分类物体与三维模型之间的形状相似度.该分类方法能实现多种类型的匹配计算,得到具有模型形状相似度排序的分类结果和未知物体所属的类别.大量的实验结果充分表明了该三维物体分类方法的良好性能.     

三维模型检索中的语义与形状异构特征融合

三维模型检索是多媒体信息检索领域的重要组成部分,由于"语义鸿沟"的存在使得当前基于内容的检索结果通常不十分令人满意。考虑到解决"语义鸿沟"的关键是将三维模型的底层形状特征与高层语义特征进行有效融合,为此提出一种三维模型的语义与形状异构特征融合方法,该方法将三维模型在基于内容的检索过程中用户反馈信息形成的语义关联作为模型的语义表达,并通过子空间学习方法将这种语义表达信息与模型的底层特征进行融合,最后将融合后的新特征应用于三维模型检索中。在Princeton shape benchmark上的测试表明,该方法的检索结果明显好于单纯形状特征的检索结果。     

一种新的用于三维检索的快速邻域搜索方法

在传统的层次聚类算法上,对孤立聚类进行特殊处理,并在此基础上提出了与传统内容检索方法不同的三维模型索引检索技术.首先提取三维模型的深度图像特征并将特征值存入数据库;其次利用改进的层次聚类算法对特征值进行聚类并计算聚类中心值;之后计算每个三维模型内容特征与其所在聚类中心的距离并保存到数据库中,查询时计算待查询模型特征与各个聚类中心的距离并排序;最后在每个聚类里面进行检索,与聚类中心的距离位于待检索模型与该聚类中心距离的邻域就是查询结果.在该方法中,将每个模型特征与其所在聚类中心的距离作为其索引.实验结果表明,该方法在保证检索质量的基础上大大提高了检索速度.     

基于兴趣区域特征融合的半监督图像检索算法

提出一种融合底层特征、基于兴趣区域的半监督学习图像检索方法,实现了图像内容的语义关联。该方法首先划分图像兴趣区域,提取图像的综合底层特征,然后将其作为训练数据,对图像类别进行半监督学习,建立图像和类别的语义映射,最后分别采用二次式距离和改进的Canberra距离对图像底层特征进行度量,特征空间中图像类的区域中心用正反馈进行迭代更新。通过实验对比,该图像检索算法具有较高的准确率,优于传统的基于内容的图像检索算法。     

一种基于实例学习的三维模型检索匹配方法

传统的基于内容的三维模型检索的相似性度量方法主要借鉴二维图像检索中所采用的距离度量算法,达到比较两三维模型相似度的目的,该做法限制了模型间匹配的广度.针对这种单核匹配的限制,提出了一种新的多核匹配方法.利用图论中两点间的最短距离的思想,得出两模型最相似那他们的距离最短,因此查询样本跟匹配的样本存在的通路上的模型节点能影响他们的相似度,这样就提高了匹配的广度和精度.同时在已有的特征提取基础上,把标签繁衍算法应用到最短距离求解中,并将基于实例学习的K近邻方法引入到模型匹配算法中,实现了半监督学习,提高了系统的查准率.     

基于双树复小波和广义高斯密度的纹理图像检索

提出了一种基于双树复小波变换结合广义高斯密度和Kullback-Leibler距离的纹理图像检索新方法。该方法运用双树复小波变换对检索图像和目标图像进行分解,在每层生成6个方向子带的小波系数,并对小波系数的边缘分布函数进行高斯建模,生成纹理特征,再通过计算相应子带间纹理特征的Kullback-Leibler距离度量图像的相似性。实验表明,该方法比基于能量特征和欧氏距离的检索方法以及在3层分解层数下比基于小波变换、Contourlet变换等结合广义高斯模型的检索方法有更高的检索率。     

图像检索中基于二次距离的相关反馈

在基于内容的图像检索方法中,图像的低级视觉特征和高级语义之间存在着较大的差异,导致检索性能不佳.为了提高检索性能,将相关反馈技术引入图像检索.利用支持向量机在相关反馈的过程中为图像建立语义模型,在建立语义信息后求出图像间的二次距离,增加图像间的语义区分能力,使被检索出的图像在语义上更加接近示例图像.试验表明,该方法使查全率和查准率得到较大提高.     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.     

基于支撑矢量机的自动视频分类方法

提出了一种基于支撑矢量机和中心距离比值的自动视频分类方法。它通过提取视频镜头中的颜色和运动特征,利用核支撑矢量机将视频的低级别特征映转到其高层的语义特征上,并在进行支撑矢量机训练算法之前使用了中心距离比值法进行支撑矢量的预选取,实现了语义内容上的自动视频分类。仿真结果表明,该算法能对视频进行比较准确的分类。     

基于流形学习的图像检索算法研究

流形学习以发现非线性高维数据的本质维数为目标,使其更适合数据分析和高维数据的降维。图像检索中“语义鸿沟”问题指的是高维数据空间与低维的语义子空间之间的鸿沟,虽然利用相关反馈机制可以缩小这种鸿沟提高准确率,但是因为反馈图像数目较少,图像特征维数相对较高,会容易产生维数灾难问题。流形学习的引入为解决这一难题带来了新的希望,因为通过流形学习的方法学习高维图像特征数据的本征维数用于图像检索,大大提高了检索性能。基于流形学习的图像检索算法都是半监督的流形学习,充分利用了反馈信息,学习查询图像的语义子空间,有效的实现了高维数据的降维。     

CNN特征与BOF相融合的水下目标识别算法

为了改善作为低级表示的尺度不变特征变换(scale invariant feature transform, SIFT)匹配常出现的没有足够特征来防止假匹配的问题,提出在传统方法“词袋”(bag of features, BOF)算法中融合具有较好语义分割能力的卷积神经网络(convolution neural network, CNN)特征来提高识别率的方法。利用ImageCLEF网站的LifeCLEF鱼类视频,制作目标图像数据库。在caffe平台的Alexnet模型进行卷积神经网络的训练,提取图像库和查询图像的特征。利用训练好的CNN特征在Matlab软件进行识别试验验证,计算汉明距离来验证匹配效果。改变参数值来观察不同汉明距离阈值对水下目标识别结果的影响。自制图像库的试验表明,融合深度学习的特征可以有效提高BOF算法的水下目标识别率,对汉明距离阈值的选择需要根据实际情况选择合适的参数。