ANN／HMM混合模型在语音识别中的应用

结合HMM较强的处理时间序列的能力以及ANN的学习能力强、识别速度快等特点提出了一种ANN／HMM混合模型,该模型具有较强的处理时问序列的能力。本文主要介绍了该模型的结构以及模型的训练算法。在此基础上将其应用于语音识别的建模,并通过相应实验验证了该模型的可行性。     

基于隐马尔可夫模型的自动人脸识别方法

基于DCT系数的伪二维隐马尔可夫人脸模型(P2D HMM)由于更好的利用了人脸图像 的二维统计特性,所以与基于KLT系数的一维隐马尔可夫人脸模型相比,识别效果更好,但是结构复 杂、运算量大。一维隐马尔可夫模型(1D HMM)表现二维人脸存在不足,但训练识别比较简单。综合 考虑二者的优缺点,结合支持向量机(SVM)对静态数据识别效率明显的长处,建立了SVM和HMM 的混合人脸识别模型。采用独立分量分析(ICA)的方法提取人脸区域的特征,作为SVM的输入。在 ORL人脸库中,测试基于SVM/HMM的人脸识别方法,实验结果表明该方法在获得与P2D HMM相应 的识别率的前提下,结构简单,运算量小。     

基于VGGNet和多谱带循环网络的高光谱人脸识别系统

为了提高光谱人脸数据表征人脸特征的有效性，提出一种基于VGGNet和多谱带循环训练的高光谱人脸识别方法。首先，在光谱人脸图像的预处理阶段，采用多任务卷积神经网络（MTCNN）进行高光谱人脸图像的精确定位，并利用混合通道的方式对高光谱人脸数据进行增强；然后，基于卷积神经网络（CNN）结构建立一个面向高光谱人脸识别的VGG12深度网络；最后，基于高光谱人脸数据的特点，引入多谱带循环训练方法训练建立的VGG12网络，完成最后的训练和识别。在公开的UWA-HSFD和PolyU-HSFD高光谱人脸数据集的实验结果表明，所提方法取得了比其他深度网络（如DeepID、DeepFace、VGGNet）更好的识别性能。     

基于扩展C型HMM人脸表情识别

隐马尔科夫模型(HMM)能够很好地对时间和空间建模,在对动态的表情序列进行识别时HMM取得了很好的识别效果。但是传统的HMM训练算法基于最大似然准则,在该准则下训练的HMM表情序列模型识别能力有限。针对这一不足,通过增加状态中心参数C对HMM模型进行了扩展,然后在此基础上使用状态空间上隐射算法来建立模型。试验结果表明所建立的扩展C型HMM模型和相应的算法提高了识别能力。     

基于ANN/HMM混合模型汉语大词表连续语音识别系统

提出一种基于隐马尔可夫模型(Hidden Markov model,HMM)和人工神经网络(Artificial Neural Network,ANN)混合模型的汉语大词表连续语音识别系统.在混合模型系统中,多种模型协同工作.ANN负责建模音素发音物理特性,HMM联合语言学模型识别待识语料.这样,混合模型系统能够结合HMM和ANN两种模型的优点:HMM对时间序列结构建模能力强;ANN的非线性预测能力强,建模能力强,鲁棒性,便于硬件实现.实验结果表明,HMM/ANN混合模型系统有效结合了两种模型的优点,提高了识别率.     

基于连续隐马尔可夫模型的人脸识别方法

提出了一种基于连续隐马尔可夫模型的人脸图像识别方法,主要内容包括以下方面:①由于奇异值向量具有稳定性.转置不变性等特点,对归一化的人脸图像,采用奇异值分解抽取人脸图像特征作为观察值序列;②在人脸识别中应用连续隐马尔可夫模型,采用双高斯概率密度函数训练,建立HMM模型,再利用建好的HMM模型进行识别.实验结果显示,所提出的方法减少了数据计算量,运行速度快,并提高了识别率,完全满足人脸识别系统实时性要求.     

隐马尔可夫后处理模型在视频人脸识别中的应用

现有的多数人脸识别系统都专注于如何提高人脸识别算法的性能,但缺乏一种对数据源(人脸样本)进行分析和评估的机制。针对此问题,提出了一种建立在数据源分析基础上对典型人脸识别算法进行后处理的方法。为了揭示现有典型识别算法的识别性能在无约束环境下的鲁棒性,通过建立Lambertian反射模型和3D人脸模型,对特征脸算法的识别性能随数据源的变化(人脸姿态和光照改变)而变化的情况进行了分析评估。针对“数据源灾难”问题,提出了一种基于隐马尔可夫模型（HMM）的后处理解决方法,该方法通过利用视频序列图像的连续性和对训练人脸库的统计分析来提高判别分析方法对无约束环境的鲁棒性。实验结果表明,该方法可以有效地提高识别算法对“数据源灾难”的鲁棒性,提高识别率。     

多链ANN-HMM识别模型及其应用

本文提出了一种多链ANN-HMM识别模型.首先,通过将ANN集成到HMM模型中,利用ANN对HMM进行训练;其次,通过对HMM的单链进行扩充,使之成为多链,以实现多特征并行识别与重组.实验表明,该识别模型对多特征连续对象具有良好的识别能力.     

基于隐马尔可夫模型的人脸检测与识别

此文讨论了隐马尔可夫模型(HMM)在人脸检测与识别中的实现及其逐步改进.采用了基于DCT系数的伪二维隐马尔可夫人脸模型(P2D-HMM).由于此模型更好的利用了人脸图象的二维统计特性,所以与基于KLT系数的一维隐马尔可夫人脸模型相比,识别效果更好.虽然一维隐马尔可夫模型(1D-HMM)表现二维人脸存在不足,但训练识别比较简单.P2D-HMM可以充分表现二维人脸模型的统计特性,但结构复杂、运算量大.综合考虑二者的优缺点,结合支持向量机(SVM)对静态数据识别效率明显的长处,建立了SVM和HMM的混合人脸识别模型.采用独立分量分析(ICA)的方法提取人脸区域的特征,作为SVM的输入.在ORL人脸库中,测试基于1D-HMM、P2D-HMM和SVM/HMM的人脸识别方法,识别率分别达到86.2%、97.2%和97.0%,并且以上方法对姿态和环境的变化具有较好鲁棒性.     

基于隐马尔科夫模型的人脸识别

对于人脸识别系统来说,人脸图像的特征提取和匹配是决定人脸识别系统性能的关键所在。文中提出基于隐马尔科夫模型的人脸识别方法。首先,根据人脸的特点建立马尔科夫模型,然后对图像进行预处理,再利用采样窗对人脸图像进行采样并进行离散余弦变换,提取变换后的系数作为观察向量。最后对人脸图像进行HMM训练,训练结束后即建立了一个人的HMM。基于DCT系数的二维隐马尔科夫模型由于充分利用了人脸图像的二维统计特性,具有较高的识别率。实验结果证明此方法在准确性方面具有良好的性能。     

Face recognition Face2vec based on deep learning: Small database case

Object classification is a common problem in artificial intelligence and now it is usually approached by deep learning. In the paper the artificial neural network (ANN) architecture is considered. According to described ANN architecture, the ANN models are trained and tested on a relatively small Color-FERET facial image database under different conditions. The best fine-tuned ANN model provides 94% face recognition accuracy on Color-FERET frontal images and 98% face recognition accuracy within 3 attempts. However, for improving recognition system accuracy large data sets are still necessary preferably consisting of millions of images.     

一种基于深度学习的改进人脸识别算法

针对当前许多算法在非约束条件下特征判别能力不强、人脸识别性能不佳等问题,提出一种基于深度学习的改进人脸识别算法,通过训练多任务级联卷积神经网络,完成非约束图像的人脸检测和人脸归一化,提高训练图像的人脸信息,减少对模型的干扰。同时使用Softmax损失与中心损失联合监督训练模型,优化类内聚合、类间分散。实验结果表明,该算法提高了模型的特征判别能力,在LFW标准测试集上达到了较高的识别率。     

Robust face recognition via discriminative and common hybrid dictionary learning

Dictionary learning has recently attracted a great deal of attention due to its efficacy in sparse representation based image classification task. There are two main limitations of the Sparse Representation based Classification (SRC) for applications. One is that the training data is required to be less corrupted, and the other is that each class should have sufficient training samples. To overcome these two critical issues, we propose a novel approach, namely Discriminative and Common hybrid Dictionary Learning (DCDL), for solving robust face recognition. With the priori target rank information, the DCDL is able to recover a clean discriminative dictionary by exploiting underlying low-rank structure of training data. Simultaneously, the common intra-class variation dictionary is learned to make sure that a query image can be better represented by the collaboration with image variations of other classes. Extensive experiments on representative face databases show that the proposed approach outperforms the state-of-the-art sparse representation based algorithms in dealing with non-occluded face recognition, and yields significant performance improvements in most cases of occluded face recognition.     

基于原子Fisher判别准则约束字典学习算法

为了提高字典的判别性能,提出基于原子Fisher判别准则约束的字典学习算法AFDDL。首先,利用特定类字典学习算法为每个原子分配一个类标,计算同类原子和不同类原子间的散度矩阵。然后,利用类内散度矩阵和类间散度矩阵的迹的差作为判别式约束项,促使不同类原子间的差异最大化,并在最小化同类原子间差异的同时减少原子间的自相关性,使得同类原子尽可能地重构某一类样本,提高字典的判别性能。在AR、FERET和LFW三个人脸数据库和USPS手写字体数据库中进行实验,实验结果表明,在四个图像数据库中,所提算法在识别率和训练时间方面均优于类标一致的K奇异值分解（LC-KSVD）算法、局部特征和类标嵌入约束的字典学习（LCLE-DL）算法、支持矢量指导的字典学习（SVGDL）算法和Fisher判别字典学习算法;且在四个数据库中,该算法也比稀疏表示分类（SRC）和协同表示分类（CRC）取得更高的识别率。     

置信度判别嵌入式隐马尔可夫模型人脸识别

为了提高人脸识别率,提出了一种优化置信度的判别嵌入式隐马尔可夫（EHMM）人脸识别方法。提出的方法基于假设检验,通过最小化检验错误率得到优化置信度判别式训练准则。在优化置信度判别式训练准则的前提下,通过参数估计求解判别式转换矩阵,提取出具有判别性、低维度的图像特征,确保观察样本能正确地分配到其对应的模型状态,以提高所训练出的EHMM模型的正确识别率。理论分析证明了优化置信度判别式训练准则的有效性,详细的实验及与现有方法的比较结果表明,提出的识别方法具有更好的识别性能。     

基于改进初始化判别K SVD方法的人脸识别

基于稀疏表示的人脸识别问题希望字典同时具有良好的表示能力和较强的辨识性。采用判别式K SVD（D ksvd）算法,可训练得到较好的字典和线性判别函数,但该算法中的初始化字典是从各类样本中选择部分样本经K SVD方法得到的,不能较完整地表示所有样本的特性,影响了基于该初始字典的训练字典的表示能力和分类器的辨识性。在字典初始化方法上进行了改进,先训练类内字典再级联成新的初始化字典,由于类内训练字典是各类别的优化字典,降低了训练字典的误差,提高了训练字典与线性分类器的判别性,在保持较快识别速度的同时,提高了人脸识别率。     

结构化低秩字典学习的人脸识别

目的 现实中采集到的人脸图像通常受到光照、遮挡等环境因素的影响,使得同一类的人脸图像具有不同程度的差异性,不同类的人脸图像又具有不同程度的相似性,这极大地影响了人脸识别的准确性。为了解决上述问题对人脸识别造成的影响,在低秩矩阵恢复理论的基础上提出了具有识别力的结构化低秩字典学习的人脸识别算法。方法 该算法基于训练样本的标签信息将低秩正则化以及结构化稀疏同时引入到学习的具有识别力的字典上。在字典学习过程中,首先利用样本的重建误差约束样本与字典之间的关系;其次将Fisher准则应用到稀疏编码过程中,使其编码系数具有识别能力;由于训练样本中的噪声信息会影响字典的识别力,所以在低秩矩阵恢复理论的基础上将低秩正则化应用到字典学习过程中;接着,在字典学习过程中加入了结构化稀疏使其不丢失结构信息以保证对样本进行最优分类;最后再利用误差重构法对测试样本进行分类识别。结果 本文算法在AR以及ORL人脸数据库上分别进行了实验仿真。在AR人脸数据库中,为了分析样本不同维数对实验结果造成的影响,选取了第一时期拍摄的每人6幅图像,包括1幅围巾遮挡,2幅墨镜遮挡以及3幅脸部表情变化以及光照变化（未被遮挡）的图像作为训练样本,同时选取相同组合的样本图像作为测试样本,无论哪种方法,图像的维度越高识别率越高。对比SRC （sparse representation based on classification）算法与DKSVD （discriminative K-means singular value decomposition）算法的识别率可知,DKSVD算法通过字典学习减缓了训练样本中的不确定因素对识别结果的影响;对比DLRD_SR （discriminative low-rank dictionary learning for sparse representation）算法与FDDL （Fisher discriminative dictionary learning）算法的识别率可知,当图像有遮挡等噪声信息存在时,字典低秩化可以提高至少5.8%的识别率;对比本文算法与DLRD_SR算法可知,在字典学习的过程中加入Fisher准则后识别率显著提高,同时理想稀疏值能保证对样本进行最优的分类。当样本图像的维度达到500维时人脸图像在有围巾、墨镜遮挡的情况下识别率可达到85.2%;其中墨镜和围巾的遮挡程度分别可以看成是人脸图像的20%和40%,为了验证本文算法在不同脸部表情变化、光照改变以及遮挡情况下的有效性,根据训练样本的具体图像组合情况进行实验。无论哪种样本图像组合,本文算法在有遮挡存在的样本识别中具有显著优势。在训练样本只包含脸部表情变化、光照变化以及墨镜遮挡图像的情况下,本文算法的识别率高于其他算法至少2.7%,在训练样本只包含脸部表情变化、光照变化以及围巾遮挡图像的情况下,本文算法的识别率高于其他算法至少3.6%,在训练样本包含脸部表情变化、光照变化、围巾遮挡以及墨镜遮挡图像的情况下,其识别率高于其他算法至少1.9%。在ORL人脸数据库中,人脸图像在无遮挡的情况下识别率达到95.2%,稍低于FDDL算法的识别率;在随机块遮挡程度达到20%时,相比较于SRC算法、DKSVD算法、FDDL算法以及DLRD_SR算法,本文算法的识别率最高;当随机块遮挡程度达到50%时,以上算法的识别率均不高,但本文算法的其识别率仍然最高。结论 本文算法在人脸图像受到遮挡等因素的影响时具有一定的鲁棒性,实验结果表明该算法在人脸识别方面具有可行性。     

Recent advances in the multi-stream HMM/ANN hybrid approach to noise robust ASR

In this article we review several successful extensions to the standard hidden-Markov-model/artificial neural network (HMM/ANN) hybrid, which have recently made important contributions to the field of noise robust automatic speech recognition. The first extension to the standard hybrid was the “multi-band hybrid”, in which a separate ANN is trained on each frequency sub-band, followed by some form of weighted combination of ANN state posterior probability outputs prior to decoding. However, due to the inaccurate assumption of sub-band independence, this system usually gives degraded performance, except in the case of narrow-band noise. All of the systems which we review overcome this independence assumption and give improved performance in noise, while also improving or not significantly degrading performance with clean speech. The “all-combinations multi-band” hybrid trains a separate ANN for each sub-band combination. This, however, typically requires a large number of ANNs. The “all-combinations multi-stream” hybrid trains an ANN expert for every combination of just a small number of complementary data streams. Multiple ANN posteriors combination using maximum a-posteriori (MAP) weighting gives rise to the further successful strategy of hypothesis level combination by MAP selection. An alternative strategy for exploiting the classification capacity of ANNs is the “tandem hybrid” approach in which one or more ANN classifiers are trained with multi-condition data to generate discriminative and noise robust features for input to a standard ASR system. The “multi-stream tandem hybrid” trains an ANN for a number of complementary feature streams, permitting multi-stream data fusion. The “narrow-band tandem hybrid” trains an ANN for a number of particularly narrow frequency sub-bands. This gives improved robustness to noises not seen during training. Of the systems presented, all of the multi-stream systems provide generic models for multi-modal data fusion. Test results for each system are presented and discussed.     

Discriminative sparse representation for face recognition

Recently Sparse Representation (or coding) based Classification (SRC) has gained great success in face recognition. In SRC, the testing image is expected to be best represented as a sparse linear combination of training images from the same class, and the representation fidelity is measured by the ?₂-norm or ?₁-norm of the coding residual. However, SRC emphasizes the sparsity too much and overlooks the spatial information during local feature encoding process which has been demonstrated to be critical in real-world face recognition problems. Besides, some work considers the spatial information but overlooks the different discriminative ability in different face regions. In this paper, we propose to weight spatial locations based on their discriminative abilities in sparse coding for robust face recognition. Specifically, we learn the weights at face locations according to the information entropy in each face region, so as to highlight locations in face images that are important for classification. Furthermore, in order to construct a robust weights to fully exploit structure information of each face region, we employed external data to learn the weights, which can cover all possible face image variants of different persons, so the robustness of obtained weights can be guaranteed. Finally, we consider the group structure of training images (i.e. those from the same subject) and added an ?_2,1-norm (group Lasso) constraint upon the formulation, which enforcing the sparsity at the group level. Extensive experiments on three benchmark face datasets demonstrate that our proposed method is much more robust and effective than baseline methods in dealing with face occlusion, corruption, lighting and expression changes, etc.