基于唇语识别的身份认证研究及系统设计

随着人脸识别身份认证技术的广泛应用,各类针对人脸识别系统的攻击手段逐渐出现.为了应对这类安全性问题,提出了基于唇语识别的身份认证方法.基于唇语识别的身份认证系统要求用户在进行人脸识别认证的同时读出验证码,系统既要对人脸进行比对,还要通过唇语识别技术识别出说话内容并与验证码进行比对,只有两部分比对都通过才能通过系统的身份认证.最后设计了基于唇语识别的身份认证系统,主要包括前端、网关和后端.     

基于CNN-CTC的蒙古语层迁移语音识别模型

针对蒙古语语音识别模型训练时语料资源匮乏,导致的低资源语料无法满足深度网络模型充分训练的问题。该文基于迁移学习提出了层迁移方法,针对层迁移设计了多种迁移策略构建基于CNN-CTC(卷积神经网络和连接时序分类器)的蒙古语层迁移语音识别模型,并对不同的迁移策略进行探究,从而得到最优模型。在10 000句英语语料数据集和5 000句蒙古语语料数据集上开展了层迁移模型训练中学习率选择实验、层迁移有效性实验、迁移层选择策略实验以及高资源模型训练数据量对层迁移模型的影响实验。实验结果表明,层迁移模型可以加快训练速度,且可以有效降低模型的WER;采用自下向上的迁移层选择策略可以获得最佳的层迁移模型;在有限的蒙古语语料资源下,基于CNN-CTC的蒙古语层迁移语音识别模型比普通基于CNN-CTC的蒙古语语音识别模型的WER降低10.18%。     

基于BiLSTM-Attention唇语识别的研究

为了解决唇语识别中唇部特征提取和时序关系识别存在的问题,提出了一种双向长短时记忆网络(BiLSTM)和注意力机制(Attention Mechanism)相结合的深度学习模型。首先将唇部20个关键点得到的唇部不同位置的高度和宽度作为唇部的特征,使用BiLSTM对唇部特征序列进行时序编码,然后利用注意力机制来发掘不同时刻唇部时序特征对于整体唇语识别的不同权重,最后利用Softmax进行分类。在公开的唇语识别数据集GRID和MIRACL-VC上与传统的唇语识别模型进行实验对比。在GRID数据集上准确率至少提高了13.4%,在MIRACL-VC单词数据集上准确率至少提高了15.3%,短语数据集上准确率至少提高了9.2%。同时还与其他编码模型进行了实验对比,实验结果表明该模型能有效地提高唇语识别的准确率。     

宽窄带语谱图融合分带投影的特定人汉语词汇识别

提出一种基于宽窄带语谱图融合分带投影的方法对特定人二字汉语词汇进行识别。该方法将图像处理技术应用到语音识别领域,在图像特征提取过程中,首先对窄带语谱图进行等宽度分带行投影和二进宽度分带行投影,并将其分别作为窄带语谱图的第1个特征集合和第2个特征集合,同时将窄带语谱图进行再次图像傅里叶变换之后进行等宽度行投影,作为第3个特征集合。然后对宽带语谱图进行等宽度分带列投影,作为第4个特征集合。将上述特征集合作为识别的特征向量,以支持向量机为分类器进行特定人二字汉语词汇整体识别。采用1000个语音样本进行仿真实验,结果表明,采用前3个特征集合的特征向量对特定人二字汉语词汇识别的正确识别率可达92.4%,采用第4个特征集合的特征值对特定人二字词汇识别的正确识别率可达80%,而采用上述4个特征集合的特征值融合对特定人二字汉语词汇识别的正确识别率可达95.4%。该特征融合的方法为汉语词汇的识别提供了新的思路。     

基于语言特征和迁移学习的英语翻译机器人纠错系统研究

针对英语翻译机器人智能纠错需求，基于语言特征以及迁移学习，构建用于英语翻译机器人纠错系统的方法。其中，利用DNN-HMM声学模型搭建机器人语音识别模型，并以汉语语音识别为基础任务，通过迁移学习构建对应的英语语音识别系统。实验结果证明，使用训练共享隐层所有层的方法与仅使用英语数据进行基线系统训练的方法相比1 h训练集错误率下降了24.38%,20 h训练集错误率下降了4.73%,显著提高了系统的识别精度，对英语翻译机器人纠错性能有一定的提高。     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法：采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类。此外,为了更好地捕捉人脸区域的光流场变化,应用影像动作放大技术将待检测视频帧中0.04~0.4?Hz信号放大20倍。使用IDIAP的Replay Attack人脸活体检测数据集中1?300段视频数据进行模型训练、验证和测试。实验表明,提出的人脸活体检测算法在Replay Attack数据集测试表现良好并取得了1.04%半错误率,能够有效识别照片、视频攻击。     

基于纹理特征约束的神经网络模型鲁棒性提升方法

深度学习模型可以从原始数据中自动学习到数据的纹理特征和形态特征, 使得其在安全验证、识别分类、语音人脸识别等不同领域取得远远超过人工特征方法的性能。虽然深度学习在图像分类和目标检测等方向上取得了较好成效, 但是通过在输入上添加难以察觉的微小扰动形成的对抗样本导致深度学习模型在实际使用中存在巨大的风险。因此, 提高单个模型的鲁棒性是重要的研究方向。前人在时序数据分类模型的鲁棒性研究中, 对抗样本的解释性研究较为欠缺。目前较为常见的防御对抗样本的方法是对抗训练, 但是对抗训练有着非常高的训练代价。本文以时序数据分类模型为研究对象, 定义了时序数据的纹理特征和形态特征, 并基于理论证明和可视化特征层方式, 说明了纹理特征是被攻击的关键因素。同时, 提出了一种基于特征约束的模型鲁棒性提升方法。该方法结合多任务学习, 通过在误差函数中增加特征的平滑约束项, 引导模型在分类的同时尽可能学习到原始数据的形态特征。在保证分类精度的同时, 降低对抗样本存在的空间, 从而训练出更加鲁棒的模型。算法在经典分类模型和多个时序数据集进行了大量的实验, 实验结果表明了本文方法的有效性, 在多种对抗攻击下, 能较好的提高单个模型的鲁棒性。     

物理域中针对人脸识别系统的对抗样本攻击方法

对抗样本攻击揭示了人脸识别系统可能存在不安全性和被攻击的方式。现有针对人脸识别系统的对抗样本攻击大多在数字域进行,然而从最近文献检索的结果来看,越来越多的研究开始关注如何能把带有对抗扰动的实物添加到人脸及其周边区域上,如眼镜、贴纸、帽子等,以实现物理域的对抗攻击。这类新型的对抗样本攻击能够轻易突破市面上现有绝大部分人脸活体检测方法的拦截,直接影响人脸识别系统的结果。尽管已有不少文献提出数字域的对抗攻击方法,但在物理域中复现对抗样本的生成并不容易且成本高昂。本文提出一种可从数字域方便地推广到物理域的对抗样本生成方法,通过在原始人脸样本中添加特定形状的对抗扰动来攻击人脸识别系统,达到误导或扮演攻击的目的。主要贡献包括:利用人脸关键点根据脸型构建特定形状掩膜来生成对抗扰动;设计对抗损失函数,通过训练生成器实现在数字域的对抗样本生成;设计打印分数损失函数,减小打印色差,在物理域复现对抗样本的生成,并通过模拟眼镜佩戴、真实场景光照变化等方式增强样本,改善质量。实验结果表明,所生成的对抗样本不仅能在数字域以高成功率攻破典型人脸识别系统VGGFace10,且可方便、大量地在物理域复现。本文方法揭示了人脸识别系统的潜在安全风险,为设计人脸识别系统的防御体系提供了很好的帮助。     

基于中文语音识别技术的舰艇指挥训练系统的研究

针对舰艇指挥训练系统的特点,提出了一种利用语音识别技术提高其训练效率的方法;首先分析了舰艇指挥指令的语言特点,然后研究了基于Sphinx平台的汉语连续语音识别的相关问题,包括声学模型的训练、语言模型的训练及语音识别引擎等;最后设计并实现了一个非特定人,中等专用词汇量的连续汉语语音识别系统;实验采用了一定数量的数字和专用词汇进行验证,结果表明,经过声学模型训练后,该系统的识别率有较大提高;该方法对提高舰艇指挥训练系统的自动化水平具有一定的指导意义。     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合，但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题，但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点，因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合，提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别，具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能，以CASIA-FASD和Replay-Attack作为实验的基准数据集，结果表明在活体检测中该算法的半错误率（HTER）为9.7%，等错误率（EER）为5.5%，而且在整个流程中处理1帧图像所需时间为0.12 s，验证了该算法的可行性和有效性。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合,但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题,但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点,因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合,提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别,具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能,以CASIA-FASD和Replay-Attack作为实验的基准数据集,结果表明在活体检测中该算法的半错误率（HTER）为9.7%,等错误率（EER）为5.5%,而且在整个流程中处理1帧图像所需时间为0.12 s,验证了该算法的可行性和有效性。     

利用场景光照识别优化的双目活体检测方法

人脸识别是生物特征识别技术中应用最广的技术之一。其中,能判断人脸图像是否是真实人脸的活体检测模块,是系统安全运行的重要保障。目前从安全度和经济性两方面综合考虑,最常用的活体检测方法是双目活体检测。但由于不同场景下光线亮度和角度变化很大,拍摄的人脸图片质量参差不齐,严重影响了活体检测的质量。针对这一问题,提出了通过对场景光照识别进行优化从而提升检测准确度的双目活体识别算法。算法通过串级PID算法对摄像头的感光度和补光灯进行控制,并利用人脸识别算法定位优化测光区域,从而对不同的光线强度和角度采取不同的策略。经过实验验证:本方法将活体检测在复杂场景下的准确率提升约30%,保证了算法在室内外不同光照场景下的有效性。     

人脸活体检测综述

人脸识别系统往往面临着各类人脸欺诈攻击,如打印相片、屏幕播放和3维面具等。如何区分真实人脸与虚假人脸,亦称人脸活体检测,对于人脸识别系统的安全具有十分重要的意义。近年来,已有大量人脸活体检测方法相继提出,部分已经成功获得实际应用。本文对人脸活体检测技术进行了全面的梳理回顾,包括硬件方案、算法、数据集、技术标准以及业界实际应用情况。最后,进行了总结与展望。整体而言,基于多模态数据,采取先验知识启发的深度学习方法目前能获得占优的人脸活体验证精度。随着人脸欺诈攻击方式的不断升级变更,面向未知类型攻击的人脸活体检测研究愈加重要,此外,新型的传感硬件方案也值得鼓励探讨。     

基于人脸的活体检测系统

人脸识别技术由于其成本低、用户友好、效率高等特点被广泛应用,同时也出现了针对人脸识别的身份伪造攻击,主要包括照片人脸攻击、视频人脸攻击、三维人脸模型攻击等方式,对于这些攻击方式的防范方法都是围绕着基于人脸的活体检测这个中点进行展开. 本文着重研究的活体检测方法为眨眼检测与背景分析算法,通过区域增长算法进行人眼定位、形态学操作进行人眼张合判断、感知Hash 算法进行背景差异对比,构造出一个复合的活体检测系统. 基于复合的眨眼检测与背景分析算法,本文设计了一个包含眨眼检测模块与背景分析模块的活体检测系统,使用OpenCV2.4.9 与vs2012 的MFC 架构实现了一个可以抵御照片攻击与视频攻击的活体检测系统,并对系统进行实验与评估,在与其它同类型的系统进行比较的结果来看,本文实现的系统性能表现优异.     

基于支持向量机体温检测模型的活性判别算法

提出了一种基于支持向量机体温检测模型的活性判别算法.该算法通过大量的人体前额和腋下温度的样本来训练基于支持向量机的体温检测模型,然后在活性判别过程中,通过检测被识别人的体温来完成活性判别的过程.由于人脸照片的温度不可能与正常人的体温相同,所以照片就被成功的排除在了人脸识别系统的外面,从而提高了人脸自动识别系统的安全性,而且在活性判别过程中,被识别人不需要做表情或者是姿态的变化来配合识别,极大的方便了被识别者,增强了人脸识别系统的方便性.     

融合头部姿态和面部表情的互动式活体检测

为了阻挡人脸识别系统中的照片及视频攻击,提出了一种将头部姿态和面部表情融合的互动式活体检测算法。首先,对VGGNet的卷积核数目、网络层数、正则化等进行了调整优化,构建了一个多层卷积的头部姿态估计网络;其次,引入全局平均池化、局部响应归一化和卷积替代池化等方法对VGGNet进行改进,构建了一个表情识别网络;最后,融合上述两个网络实现了互动式活体检测系统,对用户发出随机指令实时完成活体检测。实验结果表明,所提出的头部姿态估计网络和表情识别网络分别在CAS-PEAL-R1数据集和CK+数据集上取得了99.87%和99.60%的准确率,而活体检测系统的综合准确率达到了96.70%,运行速度达到了每秒20~28帧,在实际应用中泛化能力突出。     

IrisBeautyDet:虹膜定位和美瞳检测网络

虹膜活体检测是虹膜识别中涉及安全的重要环节之一,也是虹膜识别领域亟待解决的问题之一,其中美瞳检测是虹膜活体检测中最具挑战性的领域。提出了一种基于SSD(single shot multibox detector)目标检测网络的虹膜定位和美瞳检测算法IrisBeautyDet,并对网络结构进行轻量化处理,引入MobileNet主干网络显著减少模型计算量,极大提高速度。采用空间注意力和通道注意力机制,进一步提高模型准确率。实验表明,在CASIA-Iris和圣母大学NDCLD的活体和美瞳虹膜数据集上,该算法具有较好的泛化能力和鲁棒性,相比原始SSD算法,IrisBeautyDet具有更少的参数量、更快的实时性和更高的准确率。相比原始SSD网络模型,该模型大小从91.1 MB下降到26.1 MB,同时将检测速度从29.68 frame/s提高到41.88 frame/s,对活体类和美瞳类的检测精确率达到99.21%和98.61%。利用导向反向传播（guided-backpropagation）对检测特征图进行可视化,分析并优化网络模型使其更有效地提取美瞳纹理特征。     

安全人脸识别解决方案研究

人脸面部特征,与生俱来,具有唯一性、自然性、终身不变等特点,因此人脸识别作为一种身份鉴别方式,相比于传统的认证技术具有巨大的便利性优势.然而人脸识别容易受到图片、视频、面具等伪造攻击,由于其不可更改特性,若生物特征发生泄漏或篡改,会造成难以挽回的风险和损失.本文提出的安全人脸识别解决方案,通过特殊的安全人脸采集模组,完成活体检测,模组中通过人脸加密专用密钥,对图片进行加密、签名处理,同时在识别流程中的多重安全设计,保证人脸生物特征的安全.