融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

基于Gabor特征和支持向量引导字典学习的人脸识别

稀疏编码中的字典学习在稀疏表示的图像识别中扮演着重要的作用。由于Gabor特征对表情、光照和姿态等变化具有一定的鲁棒性,提出一种基于Gabor特征和支持向量引导字典学习（GSVGDL）的稀疏表示人脸识别算法。先提取图像的Gabor特征,然后用增广Gabor特征矩阵来构造初始字典。字典学习模型中综合了重构误差项、判别项和正则化项,判别项公式化定义为所有编码向量对平方距离的加权总和;通过字典学习同时得到字典原子与类别标签相对应的结构化字典和线性分类器。该字典学习方法能够自适应地为不同的编码向量对分配不同的权值,提高了字典的判别性能。实验结果表明该方法具有很好的识别精度和较高的识别效率。     

基于拓展稀疏表示模型和LC-KSVD的人脸识别

为了提高人脸的识别率和识别速度及其识别的鲁棒性,提出了基于拓展稀疏表示模型和LC-KSVD（Label Consist K-SVD）的人脸识别算法。针对字典学习中只包含表示能力没有包含类别信息的问题,在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展稀疏表示模型具有更强的鲁棒性;在字典学习中添加稀疏编码和分类器参数约束项,通过字典学习同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力。实验结果表明,基于拓展稀疏表示模型和LC-KSVD的人脸识别具有高识别率和低识别速度,并且有很好的鲁棒性。     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

基于多标签判别字典学习的图像自动标注

针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法（MSC）相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法（DCSC/DCGSC）相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。     

Gabor特征集结合判别式字典学习的稀疏表示图像识别

稀疏编码中字典的选择无论对图像重建还是模式分类都有重要影响,为此提出Gabor特征集结合判别式字典学习的稀疏表示图像识别算法.考虑到Gabor局部特征对光照、表情和姿态等变化的鲁棒性,首先提取图像对应不同方向、不同尺度的多个Gabor特征;然后将降维的增广Gabor特征矩阵作为初始特征字典,通过对该字典的学习得到字典原子对应类别标签的新结构化字典,新字典中特定类的子字典对相关的类具有好的表示能力,同时应用Fisher判别约束编码系数,使它们具有小的类内散度和大的类间散度;最后同时用具有判别性的重构误差和编码系数来进行模式分类.基于3个数据库的实验结果表明本文方法具有可行性和有效性.     

面向短文本的神经网络聚类算法研究

词汇个数少、描述信息弱的缺陷,导致短文本具有维度高、特征稀疏和噪声干扰等特点。现有的众多聚类算法在对大规模短文本进行聚类时,存在精度较低和效率低下的问题。针对该问题,提出一种基于深度学习卷积神经网络的短文本聚类算法。所提算法以大规模语料为基础,利用word2vec 模型学习短文本中词语之间潜在的语义关联,用多维向量表示单个词语,进而将短文本也表示成多维的原始向量形式;结合深度学习卷积神经网络,对稀疏高维的原始向量进行特征提取,以此得到特征更为集中、有效的低维文本向量;最后,利用传统的聚类算法对短文本进行聚类。实验结果表明,所提聚类方法对文本向量的降维是可行、有效的,并且取得了F值达到75%以上的文本聚类效果。     

基于深度特征字典学习和Largevis的遥感图像检索

提出了一种基于深度特征字典学习和Largevis的遥感图像检索方法。该方法以Inception v4为骨干网络,提取了第一个Reduction Block输出的特征图,并对其进行重组。然后利用K均值聚类算法对重组后的特征进行训练,构造深度特征字典。基于深度特征字典,对卷积特征图进行量化,得到紧凑的特征表示向量,将其与全连接层特征相结合,形成图像特征表示向量。为了避免“维度灾难”的问题,采用Largevis降维方法对图像特征表示向量进行降维。采用L2距离度量方法对降维后的特征进行相似性比对,实现了遥感图像的检索。在RS19、UCM和RSSCN7数据集上的实验结果表明,与现有的方法相比,该方法能获得更好的检索性能。     

一种基于联合学习的家庭日常工具功用性部件检测算法

对工具及其功用性部件的认知是共融机器人智能提升的重要研究方向.本文针对家庭日常工具的功用性部件建模与检测问题展开研究，提出了一种基于条件随机场（Conditional random field，CRF）和稀疏编码联合学习的家庭日常工具功用性部件检测算法.首先，从工具深度图像提取表征工具功用性部件的几何特征；然后，分析CRF和稀疏编码之间的耦合关系并进行公式化表示，将特征稀疏化后作为潜变量构建初始条件随机场模型，并进行稀疏字典和CRF的协同优化:一方面，将特征的稀疏表示作为CRF的随机变量条件及权重参数选择器；另一方面，在CRF调控下对稀疏字典进行更新.随后使用自适应时刻估计（Adaptive moment estimation，Adam）方法实现模型解耦与求解.最后，给出了基于联合学习的工具功用性部件模型离线构建算法，以及基于该模型的在线检测方法.实验结果表明，相较于使用传统特征提取和模型构建方法，本文方法对功用性部件的检测精度和效率均得到提升，且能够满足普通配置机器人对工具功用性认知的需要.     

基于改进字典学习算法的人脸识别

为了提高基于稀疏表示的人脸识别速度和对图像的噪声、遮挡、损坏的鲁棒性,提出了拓展的稀疏表示模型和D-KSVD(Discrimination K-SVD)的人脸识别算法。在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展的稀疏表示模型具有更强的鲁棒性。针对字典学习中只包含表示能力没有包含类别信息的问题,在字典学习中添加了稀疏编码和分类器参数约束项,在字典学习的过程中同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力,用其稀疏编码系数进行人脸识别分类时能获得更好的识别性能。     

Deep locality-sensitive discriminative dictionary learning for semantic video analysis

Video semantic analysis (VSA) has received significant attention in the area of Machine Learning for some time now, particularly video surveillance applications with sparse representation and dictionary learning. Studies have shown that the duo has significantly impacted on the classification performance of video detection analysis. In VSA, the locality structure of video semantic data containing more discriminative information is very essential for classification. However, there has been modest feat by the current SR-based approaches to fully utilize the discriminative information for high performance. Furthermore, similar coding outcomes are missing from current video features with the same video category. To handle these issues, we first propose an improved deep learning algorithm—locality deep convolutional neural network algorithm (LDCNN) to better extract salient features and obtain local information from semantic video. Second, we propose a novel DL method, called deep locality-sensitive discriminative dictionary learning (DLSDDL) for VSA. In the proposed DLSDDL, a discriminant loss function for the video category based on sparse coding of sparse coefficients is introduced into the structure of the locality-sensitive dictionary learning (LSDL) method. After solving the optimized dictionary, the sparse coefficients for the testing video feature samples are obtained, and then the classification result for video semantic is realized by reducing the error existing between the original and recreated samples. The experiment results show that the proposed DLSDDL technique considerably increases the efficiency of video semantic detection as against competing methods used in our experiment.     

图正则化迁移稀疏概念编码的跨域图像分类

为克服不同图像域之间的特征“差异”，跨越分布“鸿沟”，提出了一种基于正则化迁移稀疏概念编码的跨域图像分类方法。将图像域间的分布差异性和标签相关性信息融入稀疏编码模型中，以学习跨域图像的鲁棒性稀疏表示，从高维的图像特征空间中挖掘图像低维流形结构，形成基向量集，构造跨域图像的迁移稀疏概念编码。该方法挖掘不同图像域之间的共同特征表达，实现了图像标签的跨域迁移。通过在多个图像数据库中的比较实验表明，该方法获得更为鲁棒的图像特征表达，其分类性能显著优于其他相关比较方法。     

基于字典学习的跨媒体检索技术

在研究跨媒体信息检索时,对于不同模态数据的异构性提出了挑战,针对如何更好的克服异构问题以提高多模态数据之间的检索精度,提出了一种基于字典学习的新跨媒体检索技术。首先,通过字典学习方法学习两个不同模态数据之间的稀疏系数,然后,通过特征映射方案由两个不同的投影矩阵分别把它们投入共同的特征子空间,最后,通过标签对齐同一类来增强不同模态之间的相关性。实验结果表明,与传统的同构子空间学习方法相比,基于字典的算法分类性能优越,该实验方法在两个数据集上优于几种最先进的方法。     

基于多任务联合判别稀疏表示的人脸识别

针对人脸识别中由于姿态、光照及噪声等影响造成的识别率不高的问题,提出一种基于多任务联合判别稀疏表示的人脸识别方法。首先提取人脸的局部二值特征,并基于多个特征建立一个联合分类误差与表示误差的过完备字典学习目标函数。然后,使用一种多任务联合判别字典学习方法,将多任务联合判别字典与最优线性分类器参数联合学习,得到具有良好表征和鉴别能力的字典及相应的分类器,进而提高人脸识别效果。实验结果表明,所提方法相比其他稀疏人脸识别方法具有更好的识别性能。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络（CNN）在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution（SSSConv）;该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于核字典学习的图像分类

航拍图像往往具有场景复杂、数据维度大的特点,对于该类图像的自动分类一直是研究的热点。针对航拍原始数据特征维度过高和数据线性不可分的问题,在字典学习和稀疏表示的基础上提出了一种结合核字典学习和线性鉴别分析的目标识别方法。首先学习核字典并通过核字典获取目标样本的稀疏表示,挖掘数据的内部结构;其次采用线性鉴别分析,加强稀疏表示的可分性;最后利用支持向量机对目标进行分类。实验结果表明,与传统基于子空间特征提取的算法和基于字典学习的算法相比,基于核字典学习与鉴别分析的算法分类性能优越。