基于数据融合的表情识别

为了解决表情识别中单一数据所包含人脸表情信息不全面的问题,融合了图像与标记点数据;针对传统模式识别方法中手动提取特征的复杂性,采用神经网络框架,从而实现了特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础,以神经网络为框架,采用稀疏自动编码器对网络进行预训练,实现了网络的稀疏连接,另外,在网络权值更新过程中结合了结构化正则项(structured regularization),限制了不同数据与隐层神经元的连接。实验表明:图像与标记点数据的融合更全面地表达了人脸表情信息;稀疏自动编码器和结构化正则项的运用能更有效地提取关键特征,并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。     

一种基于卷积神经网络的人脸表情自动识别方法

针对传统机器学习方法在人脸表情识别上存在特征提取繁琐、表情识别准确率不高的问题,提出一种基于深度学习的人脸表情自动识别方法.设计了一个卷积神经网络模型,以原始图像数据为输入,中间以卷积层和池化层交替作为隐层进行特征自动提取,最后将提取到的特征数据映射到全连接层,并采用Softmax函数作为分类器计算分类得分概率,实现人脸表情的自动识别分类.在公开的人脸表情数据集CK+上进行实验,结果表明本文方法能更准确地识别人脸表情.     

面向面部表情识别的双通道卷积神经网络

面部表情识别是机器感知人类情绪变化的重要途径,但表情识别受不同个体及情绪强弱差异影响较大,难以手动设计准确的特征.提出一种基于双通道卷积神经网络的面部表情识别方法,首先对采集得到的人脸图像进行预处理以限制分析范围,同时分析人脸灰度图像与对应的LBP图像以兼顾全局与细节特征;针对双通道输入数据,利用不同参数的卷积神经网络自动提取面部特征,通过加权融合分类网络进行特征融合,并利用softmax分类不同表情.实验结果表明,该算法能够以较高的准确率识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧及惊讶).该方法性能优于基于手动设计特征的面部表情识别方法及单通道CNN方法,相比于其他双通道CNN方法,能通过更简单的处理得到近似的识别结果.     

一种基于改进的卷积神经网络的人脸表情识别方法

针对人脸表情识别的准确率较低、鲁棒性较差的问题,本文提出一种加深层数的卷积神经网络,将卷积神经网络LeNet的2层卷积、2层池化、一层全连接分别修改为4层卷积、4层池化、2层全连接.首先对人脸表情图像进行关键点定位、人脸裁剪、图像归一化等预处理,然后利用卷积层提取人脸图像的低维度和高维度的特征信息,池化层对提取的人脸特征信息进行降维处理.最后采用softmax分类器对训练样本图像的表情进行分类识别.为了提高表情识别的准确率,在表情训练集中加入了自制的标注图片集.仿真对比实验表明改进的模型精度更高、损失曲线更平滑,验证了改进网络的有效性.     

基于多特征融合的表情识别算法

针对轻量级面部表情识别算法泛化能力的不足，提出了一种结合多特征融合和注意力机制的表情识别方法。使用局部二值模式(Local Binary Pattern, LBP)算子减少面部图像中无关信息的干扰，双分支神经网络提取原始人脸图像和LBP图像的特征，融合两个网络提取的中高层特征，并通过注意力机制加强重要特征，在保持较少参数量的同时生成大量的有效特征信息提高算法的识别效果。实验结果表明，该方法在Fer2013和CK+数据集上的识别率分别为70.21%和95.59%，有效地提高了轻量级表情识别算法的性能。     

基于特征融合的人脸表情识别算法研究

为了避免传统表情识别方法中复杂的特征手动提取过程,同时保证能够提取到更多的表情特征,文中提出一种融合卷积神经网络(Convolutional Neural Network,CNN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)以及人脸关键点定位(facial landmark detection)的人脸表情识别方法.该方法首先通过在图像预处理中使用多任务卷积神经网络(Multi-task convolutional neural network,MTCNN)对不同尺度输入图像进行人脸检测并得到人脸的关键点位置信息(facial landmark).然后根据facial landmark的位置信息计算出人脸表情图像的几何结构特征,并且计算人脸表情图像局部区域的方向梯度直方图来构成HOG特征,采用特征融合的方式将facial landmark和HOG特征做进一步的融合形成新的特征向量LM_HOG.最后将融合后的特征与经过CNN提取的全局特征再次融合输入到支持向量机(Support Vector Machine,SVM)和Softmax中进行表情识别.在FER2013和Extended Cohn-Kanade(CK+)人脸表情库上的实验结果表明,将融合得到的LM_HOG特征作为局部特征,用以描述图像的局部性差异,CNN提取的特征作为全局特征,用以描述人脸表情图像的整体性差异,融合后的特征能更好的提取图像细节特征,平均识别率分别达到了75.14％和97.86％,具有优越的性能.     

基于公共空间视频的人脸情绪识别

针对公共空间中人脸情绪识别准确率不高的问题,提出一种结合不同感受野和双流卷积神经网络的人脸情绪识别方法。首先建立基于公共空间视频的人脸表情数据集;然后设计一个双流卷积网络,以尺寸为224×224的单帧人脸图像输入卷积神经网络(convolution neural network,CNN),分析图像纹理静态特征;以尺寸为336×336视频序列输入CNN网络,再将提取的特征送入长短期记忆网络(long short term memory network,LSTM)分析局部、全局运动特征;最后通过Softmax分类器将两通道网络的描述子进行加权融合,得到分类结果。结果表明,本文方法能有效利用不同感受野的信息特征清晰识别公共空间的4种典型人脸情绪,识别准确率达88.89%。     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于人工智能技术的人脸图像局部细节信息识别研究

为了提高人脸图像局部细节信息识别能力,提出基于人工智能技术的人脸图像局部细节信息识别方法.提取不同表情下的人脸图像,结合多区域融合聚类分析方法进行不同表情下的人脸动态特征提取,建立人脸图像的边缘轮廓特征检测模型;采用相似度特征分析方法进行不同表情下人脸图像的鲁棒性重构;提取不同表情下人脸图像的模糊度辨识特征信息,通过多...     

基于判别式字典的正则化稀疏表示人脸识别算法

为了克服非约束性(光照、表情变化)条件下会大大降低人脸识别率的缺陷,提出一种基于Fisher判别准则的正则化稀疏表示人脸识别算法.首先将人脸图像经过Gabor滤波器滤波得到Gabor幅值图像,提取其统一化的局部二进制直方图,然后利用Fisher判别准则学习得到新的字典,最后通过正则化的稀疏表示判断测试图像所属类.利用AR数据库的数据进行实验的结果表明,与SRC、FDDL、RSC识别算法相比,本文算法在非约束性条件下具有最佳的识别率.     

Jamming Recognition Based on Feature Fusion and Convolutional Neural Network

The complicated electromagnetic environment of the BeiDou satellites introduces various types of external jamming to communication links, in which recognition of jamming signals with uncertainties is essential. In this work, the jamming recognition framework proposed consists of feature fusion and a convolutional neural network (CNN). Firstly, the recognition inputs are obtained by prepossessing procedure, in which the 1-D power spectrum and 2-D time-frequency image are accessed through the Welch algorithm and short-time Fourier transform (STFT), respectively. Then, the 1D-CNN and residual neural network (ResNet) are introduced to extract the deep features of the two prepossessing inputs, respectively. Finally, the two deep features are concatenated for the following three fully connected layers and output the jamming signal classification results through the softmax layer. Results show the proposed method could reduce the impacts of potential feature loss, therefore improving the generalization ability on dealing with uncertainties.     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

Convolutional Neural Network Based on Spatial Pyramid for Image Classification

A novel convolutional neural network based on spatial pyramid for image classification is proposed. The network exploits image features with spatial pyramid representation. First, it extracts global features from an original image, and then different layers of grids are utilized to extract feature maps from different convolutional layers. Inspired by the spatial pyramid, the new network contains two parts, one of which is just like a standard convolutional neural network, composing of alternating convolutions and subsampling layers. But those convolution layers would be averagely pooled by the grid way to obtain feature maps, and then concatenated into a feature vector individually. Finally, those vectors are sequentially concatenated into a total feature vector as the last feature to the fully connection layer. This generated feature vector derives benefits from the classic and previous convolution layer, while the size of the grid adjusting the weight of the feature maps improves the recognition efficiency of the network. Experimental results demonstrate that this model improves the accuracy and applicability compared with the traditional model.     

基于单目RGB摄像机的三维人脸表情跟踪算法

利用单目摄像机对人脸表情进行三维跟踪有两个关键问题,一是从单幅图像中重建人脸的三维模型,二是建立不同三维模型之间稠密的对应关系。针对上述问题,提出一种有效的三维人脸表情跟踪算法。对输入的各帧人脸图像进行自动特征点检测,并根据2D特征点,利用Multilinear Model重建不同表情的三维模型。通过将三维模型重投影至图像空间,计算各帧图像间的Optic Flow与Sift Flow对应。根据图像间的对应关系,利用Laplacian网格变形对三维模型进行修正,建立不同表情之间三维的稠密对应。试验表明,该方法可以重建出较为真实的三维人脸表情模型,同时可以精确跟踪连续变化的三维表情序列。     

基于局部区域LBP特征的人脸识别研究

传统的LBP方法往往分散特征区域所表达的信息,提出一种基于局部区域LBP特征（Local Binary Pattern,局部二值模式）提取的人脸识别方法。用积分投影法在表情图像上定位出眉毛、眼睛、鼻子和嘴巴这些特征点的位置,根据这些特征点的位置确定这些特征部件所在子区域,然后对这些子区域进行不同的分块,提取各子区域的局部LBP直方图,按顺序把它们连结成一个特征直方图序列。实验结果表明：局部区域LBP方法与传统的LBP方法相比有很强的人脸表情特征识别能力,能够更准确地提取面部局部区域的表情信息。     

结合对比度信息与LBP的分块人脸识别

基于局部二值模式(local binary pattern,LBP)的特征提取方法忽略了图像灰度值变化的强度。针对这一问题,提出了一种结合对比度信息和LBP进行人脸识别的方法。首先采用LBP算子、VAR方差(variance,VAR)算子分别提取分块人脸灰度图像的LBP直方图序列(local binary pattern histogram sequence,LBPHS)和VAR直方图序列(variance histogram sequence,VARHS),然后将LBPHS和VARHS串联成LBP／VARHS,最后根据最近邻原则进行人脸识别。该算法能够提取有效的人脸纹理信息,而且能够大幅度地降低训练数据量,并且数据量的维数与原始图像大小无关。在ORL和YALE标准人脸数据库上的实验表明,该方法应用于人脸识别中,具有较高的识别率。     

基于Attention-BiLSTM的中文命名实体识别

提出一种基于Attention-BiLSTM(attention-bidirectional long short-term memory)深度神经网络的命名实体识别方法。应用BiLSTM神经网络自动学习文本的隐含特征,可以解决传统识别方法存在长距离依赖等问题;引入注意力机制(attention mechanism)对文本全局特征做重要度计算,获取文本局部特征,解决了传统深度学习方法不能充分提取特征的问题;在预训练过程中加入维基百科知识,进一步提升了命名实体识别系统的性能。实验表明,所提方法在SIGHAN 2006 Bakeoff-3评测数据集上获得了优良的识别性能。     

稀疏表示框架下的SAR目标识别

稀疏表示选择最佳线性表示重构信号,可避免合成孔径雷达(SAR)目标识别中的方位角估计难题,同时减轻强相干噪声影响。稀疏字典选择是稀疏表示中的关键问题之一,该文提出分别使用级联方式和并联方式构造稀疏字典实现SAR目标识别。首先对训练样本进行对数归一化处理,使用主成分分析(PCA)特征提取和降维;然后对处理后的数据分别组成级联字典和并联字典,采用截断牛顿内点法(TNIPM)获得目标的稀疏表示;最后,在两种字典的稀疏表示框架下设计分类器对SAR目标识别。通过对比实验,验证了该文的字典构建方式在稀疏表示框架下对SAR目标识别的有效性。     

人脸动画中逼真纹理映射的方法

生成真实感人脸纹理细节是人脸动画中的重要组成部分.根据人脸纹理映射部位定位准确和形象逼真的要求,提出了采用MPEG-4标准确定人脸模型特征点的位置,在照片纹理上标注特征点,分区域自动计算三维人脸纹理坐标,实现人脸纹理映射的方法.实验结果表明,使用该方法,人脸纹理映射部位定位准确、效果良好.