融合极端学习机的判别性分析字典学习算法

研究表明,端学习机和判别性字典学习算法在图像分类领域极具有高效和准确的优势。然而,这两种方法也具有各自的缺点,极端学习机对噪声的鲁棒性较差,判别性字典学习算法在分类过程中耗时较长。为统一这种互补性以提高分类性能,文中提出了一种融合极端学习机的判别性分析字典学习模型。该模型利用迭代优化算法学习最优的判别性分析字典和极端学习机分类器。为验证所提算法的有效性,利用人脸数据集进行分类。实验结果表明,与目前较为流行的字典学习算法和极端学习机相比,所提算法在分类过程中具有更好的效果。     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

面向分类的增量字典学习算法

针对面向分类的传统字典学习方法在大数据集上批量学习时计算代价较高的问题,提出一种类特定的增量式字典学习算法。该算法在初始训练集上进行类特定的字典学习得到初始字典,通过增量数据集选取增量字典原子初始值。根据不能在初始字典上稀疏表示且互信息最大的原则,从增量样本集中选取若干样本作为增量字典原子的初始值。在保持原有字典原子不变的情况下,迭代更新编码系数和增量字典原子,直至收敛得到新的字典。利用稀疏表示分类器,在Eclipse数据集和ORL人脸图像数据库上的实验结果验证了该算法的分类有效性和计算代价上的优越性。     

面向图像超分辨率的上下文字典学习

基于稀疏表示理论,提出了一种面向单张图片超分辨率的字典学习方法。通过对训练数据进行分类,期望在每一类训练数据训练字典的过程中,增强类内的上下文信息。与之前的面向图像分类的字典学习方法所不同的是,训练数据集由高分辨率图像块和对应的低分辨率图像块共同组成,这使训练得到的字典更适用于图像重构。利用有限的训练数据集,基于上下文的字典学习方法能够提高字典表示的拓展能力,消除由多重训练数据子集带来的冗余。     

融合数据增强的迁移字典学习

提出利用迁移字典解决复杂行为数据集标签样本不足的问题。所提出的方法使用简单行为作为源域,来辅助识别由一系列简单行为组成的复杂行为。通过稠密轨迹提取视频的低级特征,利用字典学习从简单行为和复杂行为的低级特征中分别获得相应的稀疏表示,并利用简单行为的稀疏表示通过迁移矩阵改善复杂行为的稀疏表示。因此,即使在复杂行为标签样本较少的情况下,迁移字典也能够获得更有效的高级特征。同时,利用GAN在特征层面上进行数据增强,帮助学习表征能力更强的字典。提出的方法在UCF101和HMDB51两个数据上进行了实验,在小样本量的情况下获得了比现有方法更好的识别结果,证明了方法的有效性。     

基于跨视角判别词典嵌入的行人再识别

行人再识别是指在具有不重叠视域的摄像机监控网络中根据行人外观进行身份关联的任务.由于在视频监控系统中具有广泛的应用前景,受到了计算机视觉与机器学习领域的广泛关注.当前的行人再识别研究主要关注从行人图像中提取判别性的特征描述子或学习距离度量.然而不同摄像机视角下行人的外观常常存在很大差异,同一摄像机下还会有行人外观相近的情况,这使得特征描述子或距离度量的表达能力受到了很大的影响.为了增强它们的表达能力并提升行人再识别的准确率,提出了一种基于跨视角判别性词典嵌入的行人再识别算法.在该算法中不仅学习了跨视角的词典还同时联合学习了一个距离度量矩阵,从而将两者的优势结合起来.该算法模型有效地挖掘了不同视角下词典表达的内在联系与距离约束,从而能够使用学习到的表达能力更强的特征在嵌入子空间中进行行人再识别.为了避免不均衡训练样本带来的度量矩阵偏差问题,在度量矩阵的学习中还引入了自适应的权重分配策略.在模型优化上,采用了高效的交替优化方法来求解词典与距离度量等模型参数.在VIPeR,GRID,3DPeS等数据集上的实验结果表明本文算法取得了非常优秀的行人再识别性能.     

基于二次学习的半监督字典学习软件缺陷预测*

当软件历史仓库中有标记训练样本较少时,有效的预测模型难以构建.针对此问题,文中提出基于二次学习的半监督字典学习软件缺陷预测方法.在第一阶段的学习中,利用稀疏表示分类器将大量无标记样本通过概率软标记标注扩充至有标记训练样本集中.再在扩充后的训练集上进行第二阶段的鉴别字典学习,最后在学得的字典上预测缺陷倾向性.在NASA MDP和PROMISE AR数据集上的实验验证文中方法的优越性.     

Efficient Algorithms for Image Template and Dictionary Matching

Given a large text image and a small template image, the Template Matching Problem is that of finding every location within the text which looks like the pattern. This problem, which has received attention for low-level image processing, has been formalized by defining a distance metric between arrays of pixels and finding all subarrays of the large image which are within some threshold distance of the template. These so-called metric methods tends to be too slow for many applications, since evaluating the distance function can take too much time. We present a method for quickly eliminating most positions of the text from consideration as possible matches. The remaining candidate positions are then evaluated one by one against the template for a match. We are still guaranteed to find all matching positions, and our method gives significant speed-ups. Finally, we consider the problem of matching a dictionary of templates against a text. We present methods which are much faster than matching the templates individually against the input image.     

基于映射字典学习的跨模态哈希检索

针对网络上出现越来越多的多模态数据,如何在海量数据中检索不同模态的数据成为一个新的挑战.哈希方法把数据映射到Hamming空间,大大降低了计算复杂度,为海量数据的跨模态检索提供了一条有效的路径.然而,大部分现存方法生成的哈希码不包含任何语义信息,从而导致算法性能的下降.为了解决这个问题,本文提出一种基于映射字典学习的跨模态哈希检索算法.首先,利用映射字典学习一个共享语义子空间,在子空间保持数据模态间的相似性.然后,提出一种高效的迭代优化算法得到哈希函数,但是可以证明问题的解并不是唯一的.因此,本文提出通过学习一个正交旋转矩阵最小化量化误差,得到性能更好的哈希函数.最后,在两个公开数据集上的实验结果说明了该算法优于其他现存方法.     

Observable Dictionary Learning for High-Dimensional Statistical Inference

This paper introduces a method for efficiently inferring a high-dimensional distributed quantity from a few observations. The quantity of interest (QoI) is approximated in a basis (dictionary) learned from a training set. The coefficients associated with the approximation of the QoI in the basis are determined by minimizing the misfit with the observations. To obtain a probabilistic estimate of the quantity of interest, a Bayesian approach is employed. The QoI is treated as a random field endowed with a hierarchical prior distribution so that closed-form expressions can be obtained for the posterior distribution. The main contribution of the present work lies in the derivation of a representation basis consistent with the observation chain used to infer the associated coefficients. The resulting dictionary is then tailored to be both observable by the sensors and accurate in approximating the posterior mean. An algorithm for deriving such an observable dictionary is presented. The method is illustrated with the estimation of the velocity field of an open cavity flow from a handful of wall-mounted point sensors. Comparison with standard estimation approaches relying on Principal Component Analysis and K-SVD dictionaries is provided and illustrates the superior performance of the present approach.     

基于流形学习的正交稀疏保留投影

稀疏保留投影通过保留样本之间的全局稀疏重构关系来进行特征提取,获得了良好的分类效果。但是,稀疏保留投影得到的投影变换通常不是正交的,而且在实际应用中,正交性一直被认为有利于提高鉴别能力。另外,根据流形学习理论,局部流形结构比全局欧式结构更重要。因此,文中在稀疏保留投影中引入了流形结构保留和正交投影,提出了整体正交流形稀疏保留投影（HOMSPP）和迭代正交流形稀疏保留投影（IOMSPP）两种实现算法来实现人脸和掌纹图像的特征提取。     

Weakly-Supervised Cross-Domain Dictionary Learning for Visual Recognition

We address the visual categorization problem and present a method that utilizes weakly labeled data from other visual domains as the auxiliary source data for enhancing the original learning system. The proposed method aims to expand the intra-class diversity of original training data through the collaboration with the source data. In order to bring the original target domain data and the auxiliary source domain data into the same feature space, we introduce a weakly-supervised cross-domain dictionary learning method, which learns a reconstructive, discriminative and domain-adaptive dictionary pair and the corresponding classifier parameters without using any prior information. Such a method operates at a high level, and it can be applied to different cross-domain applications. To build up the auxiliary domain data, we manually collect images from Web pages, and select human actions of specific categories from a different dataset. The proposed method is evaluated for human action recognition, image classification and event recognition tasks on the UCF YouTube dataset, the Caltech101/256 datasets and the Kodak dataset, respectively, achieving outstanding results.     

基于词典学习和稀疏表示的超分辨率方法

近年来,从大规模数据集中提取过完备词典,并使用稀疏表示在图像去噪、图像去马赛克和图像修复中有着较广泛应用。然而,这一技术不能直接用于处理具有异构特点的低分辨率/高分辨率图像块对,以及相应的图像超分辨率重构。要解决这一问题,文中提出一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)下的相同稀疏表示的方法,并利用它们实现图像稀疏表示的超分辨率重建。为了进一步提高彩色图像的超分辨率效果,还提出基于超分辨率亮度信息的UV色度超分辨率重构。实验结果表明文中方法无论在视觉效果还是均方根误差上都获得更好结果。     

Photographic Appearance Enhancement via Detail-Based Dictionary Learning

A number of edge-aware filters can efficiently boost the appearance of an image by detail decomposition and enhancement. However, they often fail to produce photographic enhanced appearance due to some visible artifacts, especially noise, halos and unnatural contrast. The essential reason is that the guidance and the constraint of high-quality appearance are not sufficient enough in the process of enhancement. Thus our idea is to train a detail dictionary from a lot of high-quality patches in order to constrain and control the entire appearance enhancement. In this paper, we propose a novel learningbased enhancement method for photographic appearance, which includes two main stages: dictionary training and sparse reconstruction. In the training stage, we construct a training set of detail patches extracted from some high-quality photos, and then train an overcomplete detail dictionary by iteratively minimizing an ? ₁-norm energy function. In the reconstruction stage, we employ the trained dictionary to reconstruct the boosted detail layer, and further formalize a gradient-guided optimization function to improve the local coherence between patches. Moreover, we propose two evaluation metrics to measure the performance of appearance enhancement. The final experimental results have demonstrated the effectiveness of our learning-based enhancement method.     

基于字典学习正则化的图像去噪

稀疏表示因其具有稀疏性、特征保持性等一些特点而被广泛应用于图像处理等领域,为解决图像处理中的去噪问题,提出一种基于图像特征稀疏表示的贝叶斯去噪模型.利用K-means和主成分分析方法计算已分割图像块对应字典的矩阵系数,采用正则化约束条件,迭代计算获取的图像字典与原始图像字典之间的差距,优化噪声图片稀疏特征表示的字典,直到达到优化条件.实验结果表明,与传统的离散余弦变换去噪模型相比,该模型的峰值信噪比较高,随着噪声的不断提高,与噪声图像峰值信噪比的差距也越来越大,且图像失真较少.     

人脸识别中基于系数相似性的字典学习算法

在现有的基于稀疏表示分类算法的人脸识别中,使用通过稀疏学习得到的精简字典可以提高识别速度和精确度。metaface学习(Metaface Learning,MFL)算法在字典学习过程中没有考虑同类样本稀疏编码系数之间具有相似性的特点。为了利用这一信息来提高字典的区分性,提出了一种基于系数相似性的metaface学习(Coefficient-Simi-larity-based Metaface earning,CS-MFL)算法。CS-MFL算法的学习过程中,在更新稀疏表示系数阶段加入同类训练样本稀疏编码系数相似的约束项。为了求解包含系数相似性约束的新的最优化问题,将目标函数中的两个l2范数约束项进行合并,将原问题转化为典型l₂- l1问题进行求解。在不同的人脸库上进行实验,结果表明,提出的CS-MFL算法能够获得比MFL算法更高的识别率,说明由CS-MFL算法学习得到的字典更高效且更具区分性。     

基于字典学习的非线性降维方法

目前,众多的数据降维（Dimensionality reduction, DR）方法（如经典的PCA（Principle component analysis）, ISOMAP（Isometric mapping））能够使降维后的数据保留原始信号的重要特征,但是从降维后的数据中很好地恢复出原始信号仍旧是一个挑战.近年来,稀疏表示（Sparse representation, SR）在信号重构研究中受到广泛关注,信号可以利用过完备字典中少数原子的线性组合来描述.本文提出一种基于字典学习的非线性降维方法.从高维输入信号到低维特征的降维过程中,期望一些重要的几何特征（内积、距离和夹角）得以保留,同时又能够从低维数据中恢复出原始信号.为达此目的,本文采用CDL（Concentrated dictionary learning）算法训练一个字典对（高维字典D和低维字典P）,使高维原始信号的能量能够聚集于低维子空间中.字典D用来获取稀疏表示系数,字典P是D的直接降维采样,CDL算法能够保证P聚集D中的大部分能量.这样,信号的降维与恢复问题就转变为字典对的训练问题,信号的降维即为从D到P的能量保留过程.实验表明:CDL可在RIP（Restricted isomery property）条件的限制之外具有一定的信号重建能力,能在更低的维度条件下恢复图像,优于传统的压缩感知方法.此外,在噪声较大的情况下,CDL图像压缩效果优于JPEG2000.     

基于核字典学习的图像分类

航拍图像往往具有场景复杂、数据维度大的特点,对于该类图像的自动分类一直是研究的热点。针对航拍原始数据特征维度过高和数据线性不可分的问题,在字典学习和稀疏表示的基础上提出了一种结合核字典学习和线性鉴别分析的目标识别方法。首先学习核字典并通过核字典获取目标样本的稀疏表示,挖掘数据的内部结构;其次采用线性鉴别分析,加强稀疏表示的可分性;最后利用支持向量机对目标进行分类。实验结果表明,与传统基于子空间特征提取的算法和基于字典学习的算法相比,基于核字典学习与鉴别分析的算法分类性能优越。