融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

基于注意力机制的人脸表情识别迁移学习方法

针对现有的在人脸表情识别中应用的卷积神经网络结构不够轻量,难以精确提取人脸表情特征,且需要大量表情标记数据等问题,提出一种基于注意力机制的人脸表情识别迁移学习方法.设计一个轻量的网络结构,在其基础上进行特征分组并建立空间增强注意力机制,突出表情特征重点区域,利用迁移学习在目标函数中构造一个基于log-Euclidean距离的损失项来减小迁移学习中源域与目标域之间的相关性差异.在数据集JAFFE和CK+上的实验结果表明,该方法相比其它人脸表情识别方法具有更优的识别能力.     

基于特征联合概率分布和实例的迁移学习算法*

针对在单一匹配边缘概率分布以缩减源域和目标域的差异性时存在的泛化能力差的问题,提出联合边缘概率分布和条件概率分布减小域间差异性的基于特征和实例的迁移学习算法.通过核主成分分析在子空间中寻找样本新的特征表示,在该子空间中利用最小化最大均值差异,联合匹配边缘概率分布和条件概率分布以减小源域和目标域间的差异性.同时利用L_2,1范数约束选择源域中相关实例进行训练,进一步提高迁移学习获得的模型泛化性能.在字符集和对象识别数据集上的实验表明文中算法的有效性.     

基于图像风格迁移的端到端跨域目标检测

跨域目标检测是最近兴起的研究方向,旨在解决训练集到测试集的泛化问题.在已有的方法中利用图像风格转换并在转换后的数据集上训练模型是一个有效的方法,然而这一方法存在不能端到端训练的问题,效率低,流程繁琐.为此,我们提出一种新的基于图像风格迁移的跨域目标检测算法,可以把图像风格迁移和目标检测结合在一起,进行端到端训练,大大简化训练流程,在几个常见数据集上的结果证明了该模型的有效性.     

基于表情相似性的人脸表情流形

在图嵌入(graph embedding)的框架下提出一种根据表情相似度构建邻接权重图的方法来学习人脸表情子空间.数据集中人脸图像的表情以半监督-学习的方式来估计,人脸图像之间的表情相似性由表情模糊隶属度矢量之间的内积来度量,与个体、光照、姿态等人脸差异无关.在得到的子空间内,相似表情的人脸图像位于流形上的邻近位置,表情数据在子空间内按语义的分布很好地揭示了表情模糊、演变的特性.在Cohn-Kanade人脸表情数据库和实验室自行采集的人脸表情数据集上的实验结果说明了该方法的有效性.因此,该方法可以很好地应用于各种基于人脸表情识别的人机交互中.     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的特征向量;马氏度量学习网络能够有效地对一对特征值进行比较与分类.该方法在常用面部表情识别数据集CK+和Oulu-CASIA上取得了98.6532％和99.8248％的平均分类准确率,并在Oulu-CASIA数据集上超过当前最好方法10％以上.通过与目前最新方法的比较,证实了该方法在面部表情识别中的有效性和进步性.     

跨域变分对抗自编码器

现有跨域图像生成算法通常要求用户提供成对数据,且生成能力有限,往往仅支持一对一的跨域图像生成.针对以上问题,提出了一种跨域变分对抗自编码器框架,在不提供任何成对数据的前提下,实现了跨域图像的一对多连续变换.假定来自不同域的图像共享相同的内容属性,且拥有独立的风格属性,则跨域图像一对多连续变换问题可转换为图像内容属性和风格属性的解耦、编码、拟合和跨域拼接.首先利用编码器解耦建立跨域数据的内容编码和风格编码;然后利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码;最后通过拼接单域图像的内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换.在标准数据集MNIST和SVHN上进行的有监督跨域图像生成结果同时满足真实性和多样性,且在分类准确率和域自适应性的定量评价中优于其他跨域图像生成算法;在人脸数据集NIR-VIS和草图数据集Edges-Shoes上实现了无监督跨域图像一对一生成,其可视化结果充分说明了生成图像的特征分布和源特征分布的一致性.以上实验全面验证了变分对抗自编码器框架的可行性和有效性.     

基于表情子空间多分类器集成的非特定人人脸表情识别

针对非特定人人脸表情平均识别率普遍不高（约65%）的问题,提出了一种基于表情子空间和多分类器集成的人脸表情识别新方法。通过局部二进制模式(LBP)与高阶奇异值分解(HOSVD)方法对训练集1中的人脸图像的全脸、眼睛（包括眉毛）和嘴巴三个区域进行特征提取与分解,建立相应的表情子空间;利用支持向量机(SVM)方法对训练集2中的人脸图像在表情子空间训练,得到模糊系统参数;最后结合表情子空间与多分类器集成,对测试集中的图像进行表情分类识别。在JAFFE人脸表情库中实验,获得了71.43%的平均识别率。实验结果表明,该方法有效地减少了人脸外观特征和表情表现方式所带来的影响,具有更好的识别效果。     

基于图像风格迁移的人脸识别域适应方法

监控场景下的带标签人脸数据难以获取,尽管可以利用已有的公开数据集或合成数据,但这些数据与真实的监控人脸数据在图像风格上存在较大的域间差异。针对该问题,不同于基于特征或公共子空间的域适应方法,提出一种基于图像风格迁移的解决方法。具体地,基于CycleGAN网络改进得到Face-CycleGAN,在保持身份属性的前提下,对现有带标签数据进行风格迁移,使其在背景、光照、皮肤材质等方面与监控场景更接近,并进一步通过联合滤波对迁移图像进行后处理。最后,利用迁移得到的数据优化人脸识别算法,减小域间差异带来的负面影响。提出的方法在公开数据集EK-LFH和自建数据集3DProj-Sur上进行了实验评估,分别取得了21.93%和4.77%的识别率提升,证明了该方法在解决域适应问题上是有效的。     

对不平衡目标域的多源在线迁移学习

多源在线迁移学习已经广泛地应用于相关源域中含有大量的标记数据且目标域中数据以数据流的形式达到的应用中.然而,目标域的类别分布有时是不平衡的,针对目标域每次以在线方式到达多个数据的不平衡二分类问题,本文提出了一种可以对目标域样本过采样的多源在线迁移学习算法.该算法从前面批次的样本中寻找当前批次的样本的k近邻,先少量生成多...     

基于双语协同训练的最大名词短语识别研究

针对传统方法对双语最大名词短语识别一致性差以及跨领域识别能力弱的缺点,提出一种基于半监督学习的双语最大名词短语识别算法.利用汉英最大名词短语的互译性和识别的互补性,把平行的汉语句子和英语句子这两个数据集看作一个数据集的两个不同的视图进行双语协同训练.在协同训练中,把双语对齐标注一致率作为标记置信度估计依据,进行增量标记数据的选择.实验结果表明:该算法显著提高了双语最大名词短语的识别能力,在跨领域测试和同领域测试中,F值分别比目前最好的最大名词短语识别模型提高了4.52%和3.08%.     

多层校正的无监督领域自适应方法

目的 目前深度神经网络已成功应用于众多机器学习任务,并展现出惊人的性能提升效果。然而传统的深度网络和机器学习算法都假定训练数据和测试数据服从的是同一分布,而这种假设在实际应用中往往是不成立的。如果训练数据和测试数据的分布差异很大,那么由传统机器学习算法训练出来的分类器的性能将会大大降低。为了解决此类问题,提出了一种基于多层校正的无监督领域自适应方法。方法 首先利用多层校正来调整现有的深度网络,利用加法叠加来完美对齐源域和目标域的数据表示;然后采用多层权值最大均值差异来适应目标域,增加网络的表示能力;最后提取学习获得的域不变特征来进行分类,得到目标图像的识别效果。结果 本文算法在Office-31图像数据集等4个数字数据集上分别进行了测试实验,以对比不同算法在图像识别和分类方面的性能差异,并进行准确度测量。测试结果显示,与同领域算法相比,本文算法在准确率上至少提高了5%,在应对照明变化、复杂背景和图像质量不佳等干扰情况时,亦能获得较好的分类效果,体现出更强的鲁棒性。结论 在领域自适应相关数据集上的实验结果表明,本文方法具备一定的泛化能力,可以实现较高的分类性能,并且优于其他现有的无监督领域自适应方法。     

Recognition in the near infrared spectrum for face,gender and facial expressions

Visible face recognition systems are subjected to failure when recognizing the faces in unconstrained scenarios. So, recognizing faces under variable and low illumination conditions are more important since most of the security breaches happen during night time. Near Infrared (NIR) spectrum enables to acquire high quality images, even without any external source of light and hence it is a good method for solving the problem of illumination. Further, the soft biometric trait, gender classification and non verbal communication, facial expression recognition has also been addressed in the NIR spectrum. In this paper, a method has been proposed to recognize the face along with gender classification and facial expression recognition in NIR spectrum. The proposed method is based on transfer learning and it consists of three core components, i) training with small scale NIR images ii) matching NIR-NIR images (homogeneous) and iii) classification. Training on NIR images produce features using transfer learning which has been pre-trained on large scale VIS face images. Next, matching is performed between NIR-NIR spectrum of both training and testing faces. Then it is classified using three, separate SVM classifiers, one for face recognition, the second one for gender classification and the third one for facial expression recognition. It has been observed that the method gives state-of-the-art accuracy on the publicly available, challenging, benchmark datasets CASIA NIR-VIS 2.0, Oulu-CASIA NIR-VIS, PolyU, CBSR, IIT Kh and HITSZ for face recognition. Further, for gender classification the Oulu-CASIA NIR-VIS, PolyU,and IIT Kh has been analyzed and for facial expression the Oulu-CASIA NIR-VIS dataset has been analyzed.

     

运动想象脑电信号的跨域特征学习方法

运动想象脑电信号采集成本高且个体差异大,跨个体域构建脑电信号模式识别模型属于典型的小样本跨域学习任务。针对该任务,提出了一种运动想象脑电信号的跨域特征学习方法。该方法首先选择最优度量方法对齐协方差并提取共同空间模式特征;其次,在该特征基础上采用领域自适应方法学习目标域的最优跨域特征。为验证所提方法的可行性与有效性,采用经典模型识别跨域特征,在两个公开的数据集上进行对比实验。实验结果表明,通过所提方法学习到的跨域特征,在运动想象模式识别中,明显优于现有方法学习到的特征。此外,还详细对比了跨域特征学习方法的各项参数设置、性能及效率。     

基于多对多生成对抗网络的非对称跨域迁移行人再识别

无监督跨域迁移学习是行人再识别中一个非常重要的任务. 给定一个有标注的源域和一个没有标注的目标域, 无监督跨域迁移的关键点在于尽可能地把源域的知识迁移到目标域. 然而, 目前的跨域迁移方法忽略了域内各视角分布的差异性, 导致迁移效果不好. 针对这个缺陷, 本文提出了一个基于多视角的非对称跨域迁移学习的新问题. 为了实现这种非对称跨域迁移, 提出了一种基于多对多生成对抗网络(Many-to-many generative adversarial network, M2M-GAN)的迁移方法. 该方法嵌入了指定的源域视角标记和目标域视角标记作为引导信息, 并增加了视角分类器用于鉴别不同的视角分布, 从而使模型能自动针对不同的源域视角和目标域视角组合采取不同的迁移方式. 在行人再识别基准数据集Market1501、DukeMTMC-reID和MSMT17上, 实验验证了本文的方法能有效提升迁移效果, 达到更高的无监督跨域行人再识别准确率.     

用于失配隐写分析的对抗子领域自适应网络

当训练集数据和测试集数据来自不同的载体源时,即在载体源失配的条件下,通常会使一个表现优异的隐写分析器检测准确率下降。在实际应用中,隐写分析人员往往需要处理从互联网上采集的图像。然而,与训练集数据相比,这些可疑图像很可能具有完全不同的捕获和处理历史,导致隐写分析模型可能出现不同程度的检测性能下降,这也是隐写分析工具在现实应用中很难成功部署的原因。为了提高基于深度学习的隐写分析方法的实际应用价值,对测试样本信息加以利用,使用领域自适应方法来解决载体源失配问题,将训练集数据作为源领域,将测试集数据作为目标领域,通过最小化源领域与目标领域之间的特征分布差异来提高隐写分析器在目标领域的检测性能,提出了一种对抗子领域自适应网络（ASAN,adversarial subdomain adaptation network）。一方面从生成特征的角度出发,要求隐写分析模型生成的源领域特征和目标领域特征尽可能相似,使判别器分辨不出特征来自哪一个领域;另一方面从减小域间特征分布差异的角度出发,采用子领域自适应方法来减少相关子领域分布的非期望变化,有效地扩大了载体与载密样本之间的距离,有利于分类精度的提高。通过在多个数据集上对3种隐写算法进行检测,证实了所提方法可以有效地提升模型在数据集失配和算法失配时的检测准确率,减少了失配问题带给模型的负面影响。     

一种基于多桥映射的跨领域文本分类方法

摘要：跨领域分类旨在利用已标记的源领域信息来为概率分布不同,未标记的目标领域训练一个精确的分类器。已有工作大多以文本主题为特征表现形式,并基于共享主题来建立领域间独有主题的映射关系,从而达到跨领域学习的目的。然而,现实中领域间的连接可以是多角度的,而这种基于单一共享主题的映射方式,存在语义表示不完备和偏差性等问题,从而影响跨领域分类精度。基于此,提出一种基于多桥映射的跨领域分类方法,通过提取多重的共享主题和领域独有主题,并以多重共享主题为桥梁来建立领域独有主题之间的多重映射关系,从而实现跨领域的分类。在20Newsgroups和Reuters-21578数据集上的实验结果表明,和同类算法相比,所提算法在分类精度上具有优越性。     

小样本学习下的特征中心对齐域适应算法

域适应是一种在训练集和测试集不满足独立同分布条件时使用的迁移学习算法.当两个领域间的分布差异较大时,会降低域内可迁移性,并且现有域适应算法需要获取大量的目标域数据,这在一些实际应用中无法实现.针对现有域适应方法的不足,基于卷积神经网络提出小样本学习下的基于特征中心对齐的域适应算法,寻找域不变特征的同时,提高目标域特征的可区分度,提高分类效果.面向小样本条件下的office-31公共数据集识别和雷达工作模式识别的仿真实验结果表明,所提方法对office-31数据集的平均识别精度比最大均值差异方法提升12.9%,而对雷达工作模式识别精度达到91%,比最大均值差异方法性能提升10%.