基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

流形结构化半监督扩展字典学习的旋转设备故障诊断

针对有标签数据不足及传统故障诊断模型判别性差的问题,本文提出一种流形结构化半监督扩展字典学习(MS-SSEDL)的故障诊断方法.首先,为改善缺少有标签数据而导致模型的识别性能较差问题,在MS-SSEDL模型中提出无标签数据重构误差项,利用无标签数据学习置信度矩阵,从而学习得到扩展字典以增强字典学习的表示性.然后,为增强MS-SSEDL模型的判别性,通过保存数据的流形结构,学习数据中内在几何信息的稀疏表示,增强信号表示能力及字典判别性.最后,在数字图像、轴承故障及齿轮故障公共数据集的实验表明所提MS-SSEDL方法比其他先进方法的识别性能更优越.     

面向分类的增量字典学习算法

针对面向分类的传统字典学习方法在大数据集上批量学习时计算代价较高的问题,提出一种类特定的增量式字典学习算法。该算法在初始训练集上进行类特定的字典学习得到初始字典,通过增量数据集选取增量字典原子初始值。根据不能在初始字典上稀疏表示且互信息最大的原则,从增量样本集中选取若干样本作为增量字典原子的初始值。在保持原有字典原子不变的情况下,迭代更新编码系数和增量字典原子,直至收敛得到新的字典。利用稀疏表示分类器,在Eclipse数据集和ORL人脸图像数据库上的实验结果验证了该算法的分类有效性和计算代价上的优越性。     

带边界条件约束的非相干字典学习方法及其稀疏表示

从字典的相干性边界条件出发, 提出一种基于极分解的非相干字典学习方法(Polar decomposition based incoherent dictionary learning, PDIDL), 该方法将字典以Frobenius范数逼近由矩阵极分解获取的紧框架, 同时采用最小化所有原子对的内积平方和作为约束, 以降低字典的相干性, 并保持更新前后字典结构的整体相似特性. 采用最速梯度下降法和子空间旋转实现非相干字典的学习和优化. 最后将该方法应用于合成数据与实际语音数据的稀疏表示. 实验结果表明, 本文方法学习的字典能逼近等角紧框架(Equiangular tight-frame, ETF), 实现最大化稀疏编码, 在降低字典相干性的同时具有较低的稀疏表示误差.     

融合字典学习的小样本人脸鉴别

基于稀疏表示的人脸鉴别方法通过提高字典的判别力来提高识别准确率,本文针对小样本训练,提出一种新的融合字典学习方法.首先利用Fisher判别准则及LBP金字塔进行数据预处理;其次提出新的融合字典学习模型,该模型由公共字典、类别特色字典及扰动字典三部分构成,分别提取数据共性、不同类别数据的特殊性以及异常情况下的数据扰动性;最后根据融合字典模型提出一种新的分类器,并在AR、YALE、CMU-PIE、LFW人脸数据库进行实验,结果表明本文算法具有更高的识别率和有效性.     

融合极端学习机的判别性分析字典学习算法

研究表明,端学习机和判别性字典学习算法在图像分类领域极具有高效和准确的优势。然而,这两种方法也具有各自的缺点,极端学习机对噪声的鲁棒性较差,判别性字典学习算法在分类过程中耗时较长。为统一这种互补性以提高分类性能,文中提出了一种融合极端学习机的判别性分析字典学习模型。该模型利用迭代优化算法学习最优的判别性分析字典和极端学习机分类器。为验证所提算法的有效性,利用人脸数据集进行分类。实验结果表明,与目前较为流行的字典学习算法和极端学习机相比,所提算法在分类过程中具有更好的效果。     

基于字典对联合学习的退化图像复原方法

针对传统字典学习方法在退化图像复原中效果不理想的问题,提出一种基于字典对联合学习的退化图像复原方法.首先在图像稀疏分解和字典学习的基本框架下,对基于字典学习复原方法的整个过程和关键步骤进行分析;然后针对图像复原的线性模型存在的缺陷,提出一种非线性的基于字典对联合学习的框架,解决了传统字典学习方法在退化图像复原中存在的不对称问题;最后利用随机梯度下降算法估计字典模型参数,并使用一种经典的启发式方法提高该算法的稳定性和收敛速度.基于各向同性和各向异性模糊核的实验结果表明,该方法对于非盲图像复原与当前技术条件下的方法相比是有竞争力的,甚至是更好的.     

压缩感知中块结构字典学习方法改进

基于稀疏聚集的块结构字典学习方法不能对字典原子支撑集数目差别大的情况进行辨别的问题,提出了一种利用球面K-均值学习块结构字典的方法,将字典原子支撑集差别纳入考虑范围,通过余弦距离判别将相近的字典原子聚类,形成具有非均匀块结构的字典;利用学习得到的块结构字典对信号进行重构.仿真实验表明:与离散余弦基(DCT)、无结构字典和基于稀疏聚集的块结构字典相比,改进方法学习的字典与图像信号的匹配度更好,有效地提高了图像重构质量,降低了信号的重构误差.     

Fisher准则下面向判别性特征的字典学习方法及其组织病理图像分类研究

针对当前面向组织病理图像特征提取的字典学习方法中存在着学习的无病字典与有病字典相似程度高,判别性弱的问题,本文提出一种新的面向判别性特征字典学习方法（Discriminative feature-oriented dictionary learning based on Fisher criterion,FCDFDL）.该方法基于Fisher准则构造目标函数的惩罚项,最小化学习字典的类内距离与最大化学习字典的类间距离,大大降低无病字典与有病字典间的相似性.同时,优化学习字典对同类样本的重构性能,并约束学习字典对非同类样本的重构性能.然后,利用本文学习的无病与有病字典对测试样本进行稀疏表示,采用重构误差向量的统计量构造分类器.最后,分别在ADL数据集与BreaKHis数据集上验证了本文方法的有效性.实验结果表明,本文学习字典的判别性更强,获得了更优的分类性能.     

字典学习模型、算法及其应用研究进展

稀疏表示模型常利用训练样本学习过完备字典, 旨在获得信号的冗余稀疏表示. 设计简单、高效、通用性强的字典学习算法是目前的主要研究方向之一, 也是信息领域的研究热点. 基于综合稀疏模型的字典学习方法已经广泛应用于图像分类、图像去噪、图像超分辨率和压缩成像等领域. 近些年来, 解析稀疏模型、盲字典模型和信息复杂度模型等新模型的出现丰富了字典学习理论, 使得更广泛类型的信号能够被简单性描述. 本文详细介绍了综合字典、解析字典、盲字典和基于信息复杂度字典学习的基本模型及其算法, 阐述了字典学习的典型应用, 指出了字典学习的进一步研究方向.     

Sparse Representation Based Fisher Discrimination Dictionary Learning for Image Classification

The employed dictionary plays an important role in sparse representation or sparse coding based image reconstruction and classification, while learning dictionaries from the training data has led to state-of-the-art results in image classification tasks. However, many dictionary learning models exploit only the discriminative information in either the representation coefficients or the representation residual, which limits their performance. In this paper we present a novel dictionary learning method based on the Fisher discrimination criterion. A structured dictionary, whose atoms have correspondences to the subject class labels, is learned, with which not only the representation residual can be used to distinguish different classes, but also the representation coefficients have small within-class scatter and big between-class scatter. The classification scheme associated with the proposed Fisher discrimination dictionary learning (FDDL) model is consequently presented by exploiting the discriminative information in both the representation residual and the representation coefficients. The proposed FDDL model is extensively evaluated on various image datasets, and it shows superior performance to many state-of-the-art dictionary learning methods in a variety of classification tasks.     

Gabor特征集结合判别式字典学习的稀疏表示图像识别

稀疏编码中字典的选择无论对图像重建还是模式分类都有重要影响,为此提出Gabor特征集结合判别式字典学习的稀疏表示图像识别算法.考虑到Gabor局部特征对光照、表情和姿态等变化的鲁棒性,首先提取图像对应不同方向、不同尺度的多个Gabor特征;然后将降维的增广Gabor特征矩阵作为初始特征字典,通过对该字典的学习得到字典原子对应类别标签的新结构化字典,新字典中特定类的子字典对相关的类具有好的表示能力,同时应用Fisher判别约束编码系数,使它们具有小的类内散度和大的类间散度;最后同时用具有判别性的重构误差和编码系数来进行模式分类.基于3个数据库的实验结果表明本文方法具有可行性和有效性.     

Deep locality-sensitive discriminative dictionary learning for semantic video analysis

Video semantic analysis (VSA) has received significant attention in the area of Machine Learning for some time now, particularly video surveillance applications with sparse representation and dictionary learning. Studies have shown that the duo has significantly impacted on the classification performance of video detection analysis. In VSA, the locality structure of video semantic data containing more discriminative information is very essential for classification. However, there has been modest feat by the current SR-based approaches to fully utilize the discriminative information for high performance. Furthermore, similar coding outcomes are missing from current video features with the same video category. To handle these issues, we first propose an improved deep learning algorithm—locality deep convolutional neural network algorithm (LDCNN) to better extract salient features and obtain local information from semantic video. Second, we propose a novel DL method, called deep locality-sensitive discriminative dictionary learning (DLSDDL) for VSA. In the proposed DLSDDL, a discriminant loss function for the video category based on sparse coding of sparse coefficients is introduced into the structure of the locality-sensitive dictionary learning (LSDL) method. After solving the optimized dictionary, the sparse coefficients for the testing video feature samples are obtained, and then the classification result for video semantic is realized by reducing the error existing between the original and recreated samples. The experiment results show that the proposed DLSDDL technique considerably increases the efficiency of video semantic detection as against competing methods used in our experiment.     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

Effective texture classification by texton encoding induced statistical features

Effective and efficient texture feature extraction and classification is an important problem in image understanding and recognition. Recently, texton learning based texture classification approaches have been widely studied, where the textons are usually learned via K-means clustering or sparse coding methods. However, the K-means clustering is too coarse to characterize the complex feature space of textures, while sparse texton learning/encoding is time-consuming due to the l₀-norm or l₁-norm minimization. Moreover, these methods mostly compute the texton histogram as the statistical features for classification, which may not be effective enough. This paper presents an effective and efficient texton learning and encoding scheme for texture classification. First, a regularized least square based texton learning method is developed to learn the dictionary of textons class by class. Second, a fast two-step l₂-norm texton encoding method is proposed to code the input texture feature over the concatenated dictionary of all classes. Third, two types of histogram features are defined and computed from the texton encoding outputs: coding coefficients and coding residuals. Finally, the two histogram features are combined for classification via a nearest subspace classifier. Experimental results on the CUReT, KTH_TIPS and UIUC datasets demonstrated that the proposed method is very promising, especially when the number of available training samples is limited.     

基于低秩稀疏分解与协作表示的图像分类算法

目前,大部分图像分类算法为了获取较高的性能均需要充分的训练学习过程,然而在实际应用中,往往存在训练样本不足及过拟合等问题。为了避免上述问题出现,在朴素贝叶斯最近邻分类算法的原理框架下,基于非负稀疏编码、低秩稀疏分解以及协作表示提出一种非参数学习的图像分类算法。首先,基于非负稀疏编码和最大值汇聚操作表示图像信息,并构建具有低秩性质的同类训练图像集的局部特征矩阵;其次,采用低秩稀疏分解结合别类标签信息构建两类视觉词典以充分利用同类图像的相关性和差异性;最后基于协作表示表征测试图像并进行分类决策,实验结果验证了所提算法的有效性。     

基于不确定比例标签信息的多视角学习

比例标签数据作为弱标签数据中的一种,近年来受到了广泛关注。针对现实应用中所获取的比例标签数据存在噪声污染而标注困难的局限性,提出将多视角学习应用到不确定比例标签学习中以提高分类器的准确率和稳定性。首先,所提出的方法利用核方法映射多视角信息到特征空间以及引入超实例标签表示比例标签信息,在将多视角信息与比例标签信息结合的同时将不确定比例标签数据的局限性考虑在内,以此构建基于不确定比例标签信息的多视角学习模型;而后利用拉格朗日方法将目标模型转换为对偶形式求解,并引入一个迭代框架解决目标模型以获取多视角分类器。最后,将所提出的方法应用于文本分类的数据集,实验结果表明提出的方法比已有的单一视角比例标签学习方法更具优越性,具体表现在所提方法更高的分类准确率和更不易受数据噪声影响等方面。     

鲁棒多视图协同完整鉴别子空间学习算法

为了有效地融合多视图信息并使有利于多视图完整子空间学习的视图主导多视图学习,提出了多视图协同完整子空间学习策略。进一步,为了使对象在潜在完整子空间中的完整特征表示具有更好的鉴别能力,将Fisher鉴别分析引入到了多视图完整子空间学习中。Fisher鉴别分析可以在最小化对象的完整特征表示的类内散度的同时最大化对象的完整特征表示的类间散度。将多视图协同完整空间学习策略和Fisher鉴别分析融合在一起,提出了鲁棒多视图协同完整鉴别子空间学习算法。实验结果表明,所提算法能够有效地融合多视图信息并挖掘鉴别信息,是一种有效的多视图完整子空间学习算法。     

基于局部保持的核稀疏表示字典学习

为了利用核技巧提高分类性能, 在局部保持的稀疏表示 字典学习的基础上, 提出了两种核化的稀疏表示字典学习方法. 首先, 原始训练数据被投影到高维核空间, 进行基于局部保持的核稀疏表示字典学习; 其次, 在稀疏系数上强加核局部保持约束, 进行基于核局部保持的核稀疏表示字典学习. 实验结果表明, 该方法的分类识别结果优于其他方法.