基于CNN的监控视频中人脸图像质量评估

在公共安全领域,监控视频中的人脸识别技术是不可或缺的技术,成为研究热点.而监控视频中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率,系统难以更广泛地被投入实际使用.本文提出了一种基于CNN的人脸图像质量评估方法.通过对Alexnet模型进行改进,将网络中的多个卷积层与全连接层连接,从而提取不同尺度的图像特征.通过端到端的训练过程,预测人脸图像质量分数.另外,采用人脸识别算法来标定人脸图像的质量分数,使质量分数能更有效地筛选出适合识别算法的图像.在Color FERET数据集上实验表明,本文方法能够准确地对人脸图像进行质量评估.而在实际采集的监控视频数据集上实验表明,本文方法能筛选出高质量的人脸图像用作后续人脸识别,提高人脸识别准确率.     

基于人脸识别的人脸图像质量评估

无约束场景下,低质量的人脸图像不仅浪费计算资源而且降低系统识别率.针对此问题,提出一种基于人脸识别的人脸质量评估方法对人脸图像进行预评估.以人脸识别系统特征提取网络为基础网络在COX数据集上进行微调,并使用微调后网络对COX数据集进行质量分数标定.最后,结合基础网络及质量预测网络并以相应损失函数在标定数据上进行回归学习以获取质量评估模型.实验结果表明,该方法能够有效区分不同质量的人脸图像并提升人脸识别系统性能.     

基于支持向量机的人脸识别方法

1.引言人脸是人类视觉中的常见模式,人脸识别在安全验证系统、公安(犯罪识别等)、医学、视频会议、交通量控制等方面有着广阔的应用前景。现有的基于生物特征的识别技术,包括语音识别、虹膜识别、指纹识别等,都已用于商业应用。然而最吸引人的还是人脸识别,因为从人机交互的方式来看,人脸识别更符合人们的理想。虽然人能毫不费力地识别出人脸及其表情,但人脸的机器自动识别仍然是一个具挑战性的研究领域。由于人脸结构的复杂性以及人脸表情的多样性、成像过     

基于深度学习的视频检索方法研究

深度学习由于其强大的特征表示能力在图像处理、语音识别、推荐系统能领域取得了重大进展.论文提出了一种基于深度学习的针对视频对特定人进行检索的方法,该方法综合使用了MTCNN的人脸检测与对齐以及FaceNet的人脸识别功能,同时论文针对视频连续性的特点,对检索结果进行了特殊处理,实验结果表明论文方法具有较高的准确率和较快的速度.     

矿山井下人员人脸检测系统设计与实现

为了将人脸识别这一较新的技术应用到矿山身份验证过程中,首先构建了符合井下人员特点的人脸数据库.识别方法采用小波变换的方法,利用 Haar特征,构建了基于权重的级联分类器,多级分类器每级之间通过δ规则调节权重,文中采用真实矿工图片作为样本进行训练,构造初始的分类器,将该方法应用于人脸与人眼识别,得到用于人脸与人眼检测的基于XML的分类特征文件,进行人脸、人眼识别,实验效果良好,有较高的人脸检出率.并完成了基于视频流与图像的人脸与人眼检测的原犁系统.     

人脸识别:从二维到三维

人脸识别是生物特征识别技术的一个重要方向。虽然目前大部分研究都还只是针对二维人脸图像,但是3D人脸模型包含更丰富的人脸信息,有助于机器对人脸的识别。从二维到三维,人脸识别研究进入了一个新的阶段。从3D人脸数据的获取方式入手,介绍最近提出的一系列3D人脸识别算法,并进行归类。最后提出"有针对性地获取3D人脸模型数据是进行有效识别的基础"这一结论。     

基于分块的有遮挡人脸识别算法

随着深度学习技术的发展,人脸识别在受控环境下的准确率已经达到了非常理想的效果。然而,真实环境下获取的人脸图像往往因为遮挡而难以识别。针对遮挡条件下的人脸识别准确率不高、稳定性差的问题,结合传统的人脸分块和深度卷积神经网络,提出一种基于分块的有遮挡人脸识别算法。基于人脸特征点定位的结果进行人脸分块,使用一种改进的轻量级卷积神经网络进行各个人脸区块的特征提取;利用多分类网络结合输入区块的额外信息进行人脸区块的遮挡判别;结合人脸块特征与遮挡二分类判别结果获取表征遮挡人脸的特征。实验结果表明,经过以上步骤提取出的特征对遮挡具有较强的鲁棒性,并且在满足一定的条件下,即使人脸由大面积遮挡也能在实验数据集上保持94%的准确率。     

基于无人机数据采样的人脸识别研究方法

提出了一种基于无人机数据采样的人脸识别研究方法。针对无人机采集的图像或视频数据进行人脸识别应用,采用深度学习算法对此进行研究,通过线下采集获取目标人脸,对采集到的目标人脸进行数据增强扩充数据集,进而增加人物识别准确率,使用训练好的Facenet网络对目标人脸进行特征提取,获得目标人物人脸特征并建立人脸特征库。在人脸检测阶段,当接收端接收到无人机采集的图像数据后,利用YOLOv5进行检测,识别人物所在区域,随后裁剪出人脸区域,传入Facenet网络进行人脸识别,获得采集到的人脸特征向量,然后结合人脸库与采集到的人脸特征向量。采用SVM进行数据分类,实现对不同类别的目标人物人脸分类,通过实验论证了此方法的可行性。     

基于小波包的新LDB人脸识别方法

研究人脸特征优化识别问题,图像信息中存在不同噪声和不同人脸特征.通过特征提取识别,获得不同人脸特征.针对传统人脸识别方法的识别率受光照、旋转等约束条件影响大的缺点,为了提高识别率,提出了一种根据小波包变换和改进的LDB(Local Discriminant Basis)方法相结合的人脸识别方法.算法首先利用小波包对人脸图像进行分解,再采用改进的LDB方法获取最佳分类特征,最后利用Euclidean距离函数进行分类识别.在人脸库Feret进行实验.结果表明,新算法减少了计算复杂度,提高了识别率,为人脸识别提供了依据.     

半配对半监督场景下的低分辨率人脸识别

实际环境(如监控)中常遇到大量低分辨率人脸图像需要识别.对低分辨率人脸的识别相对高分辨率更难,因其含有相对有限的判别信息.为此,通过在人脸识别(系统)构建阶段引入与低分辨率人脸相配对的高分辨率人脸,以提高识别性能成为最近研究的焦点之一.但这些研究仍存在以下不足:1)均要求高、低分辨率人脸样本间的全配对;2)识别系统构建时未利用给出的类信息,导致系统性能受限.事实上常常面对的应用场景是仅能获取部分配对和部分标号的高、低分辨率人脸样本集,即所谓的半配对半监督场景,对此提出一种用于低分辨率人脸识别的半配对半监督算法,以弥补现有相关研究的不足.在Yale和AR人脸数据集上的实验结果验证了该算法的有效性.     

Emotion recognition based on convolutional neural networks and heterogeneous bio-signal data sources

Emotion recognition is a crucial application in human–computer interaction. It is usually conducted using facial expressions as the main modality, which might not be reliable. In this study, we proposed a multimodal approach that uses 2-channel electroencephalography (EEG) signals and eye modality in addition to the face modality to enhance the recognition performance. We also studied the use of facial images versus facial depth as the face modality and adapted the common arousal–valence model of emotions and the convolutional neural network, which can model the spatiotemporal information from the modality data for emotion recognition. Extensive experiments were conducted on the modality and emotion data, the results of which showed that our system has high accuracies of 67.8% and 77.0% in valence recognition and arousal recognition, respectively. The proposed method outperformed most state-of-the-art systems that use similar but fewer modalities. Moreover, the use of facial depth has outperformed the use of facial images. The proposed method of emotion recognition has significant potential for integration into various educational applications.     

一种基于数据融合的多话筒语音识别方法

识别率和对环境的适应能力是一个语音识别系统的两个重要性能,常见的提高语音识别率的方法大多通过改进声音模型来获得较高的识别率,这往往造成声音模型的复杂化以及模型训练的困难。另外,在说话人和麦克风位置不固定等情况下,这些方法识别效果往往很差。文中提出了一种用多话筒分别识别一个语音,并用数据融合技术对识别结果进行处理的语音识别方法。初步的实验结果表明该方法不仅可以提高系统对环境的适应能力,而且在单个声音     

视频监控场景下基于单视角步态的人体身份及属性识别系统

基于步态的特征识别是一种新兴的生物特征识别技术, 旨在通过人们走路的姿态进行身份和相关属性的分析. 与其他的生物识别技术相比, 基于步态的识别方法具有难隐藏性、非接触性和可远距离使用的优点. 本文设计出一个视频监控场景下基于单视角步态的人体身份及属性识别系统, 该系统通过图像处理方法从复杂的监控视频中实时检测出人体的步态, 经过利用深度学习训练过的算法进行分析后, 获取人体的身份、性别和年龄信息. 实验表明, 系统的身份识别准确率达98.1%, 性别预测准确率达97.1%, 年龄预测平均绝对误差为6.21岁, 实验结果均优于传统基准算法, 且系统开发成本低, 支持实时检测, 能充分满足中小规模步态研究与分析的需要.     

基于非单调共轭梯度算法的声纹识别机器人控制系统设计

传统声纹识别人控制系统识别准确率低,存在语音识别噪声鲁棒性问题。针对上述问题,基于非单调共轭梯度算法设计了一种新的声纹识别机器人控制系统,采用BioVoice 2.0 标准声纹采集器采集数据,提取声纹特征,根据提取的声纹特征建立模型库,同时引用了两个声纹数据采集终端,型号分别是TMC104-B和TMC104,选用型号为AS-MrobotR的机器人配合采集器和采集终端实现工作。在Windows平台下使用C/C+语言研究了一种专用的程序,在程序内部添加mde-api数据库,完成训练程序和识别程序。实验结果表明,基于非单调共轭梯度算法的声纹识别机器人控制系统能够很好地解决语音识别噪声鲁棒性问题,在有噪声环境下识别准确率提高15.24%,在无噪声环境下识别准确率提高21.55%。     

并行化语音识别系统的研究与设计

如何处理海量语音数据是语音识别应用的一个重要问题,采用并行化计算取代传统的单机处理,如果并行调度控制不当,最终合并的结果在合并顺序上就会出现错误,并且数据切分不合理还会造成语义连贯性的丢失导致准确率的降低,文件片段在网络上传输的时间开销也需要考虑,针对上述问题,提出了一种基于Hadoop的语音识别系统,借助其分布式文件系统HDFS与MapReduce并行算法解决文件片段传输与并行调度控制的问题,同时引入静音检测算法合理地处理文件切分,通过实验验证了该系统的有效性。     

A new multi-purpose audio-visual UNMC-VIER database with multiple variabilities

Audio-visual recognition system is becoming popular because it overcomes certain problems of traditional audio-only recognition system. However, difficulties due to visual variations in video sequence can significantly degrade the recognition performance of the system. This problem can be further complicated when more than one visual variation happen at the same time. Although several databases have been created in this area, none of them includes realistic visual variations in video sequence. With the aim to facilitate the development of robust audio-visual recognition systems, the new audio-visual UNMC-VIER database is created. This database contains various visual variations including illumination, facial expression, head pose, and image resolution variations. The most unique aspect of this database is that it includes more than one visual variation in the same video recording. For the audio part, the utterances are spoken in slow and normal speech pace to improve the learning process of audio-visual speech recognition system. Hence, this database is useful for the development of robust audio-visual person, speech recognition and face recognition systems.     

对话意图及语音识别错误对交互体验的影响

在自然人机对话中,由于环境噪声、方言口音等因素带来的语音识别错误以及语义分析的不充分等原因,计算机在理解用户交互意图时出现偏差,使得计算机对要反馈的话题出现错误,造成人机对话进程的断裂.以面向咖啡为主题的漫谈式人机对话为例,将对话中断分为3种情况：话题反馈不当引起中断、话题正确情况下的模糊反馈不当和精确反馈不当引起中断.根据用户与计算机对话的记录分析比较上述3种情况下人机对话进程断裂情况.统计数据结果表明,话题反馈不当带来的对话中断最为明显,在对话进程断裂情况中达到了60.1%的比例;在话题反馈正确情况下,模糊回答不当和精确回答不当带来的话题中断比例分别为22.2%和21.6%;在语音识别错误情况下,语义分析会带来数量更大的反馈错误.实验数据分析结果表明,在语音识别错误情况下,根据上下文信息提高计算机对用户话题反馈的准确率,能够有效降低人机对话的中断,提高人机对话的自然度.该工作为自然人机对话的意图分类重要性提供了数据分析和实验论证.     

基于D—S证据理论的表情识别技术

在情感计算理论基础上,提出了基于D-S理论的信息融合的表情识别技术,设计并实现了系统IFFER.在表情识别模块中的分类器训练采用JAFFE表情库.识别中首先利用色度匹配及亮度匹配将人脸图像进行眼部及嘴部的分割,再分别用训练好的眼部SVM分类器及嘴部SVM分类器进行识别,将识别后的结果利用D-S证据理论进行融合.实验结果表明,对分割后的两部分图像进行识别,无论从训练上还是识别上,数据的维数都大大减少,提高了效率.在识别率上,融合后的结果相对于融合前的有显著的提高.     

分级语音识别研究

分级识别的策略在模式识别领域中提出相当长的时间了。尽管人类可以训练地使用这个策略进行识别,但对语音识别而言,缺少一个有效的系统化的方法来实现它。本文给出了我们最近在这方面做的一些研究工作,使用了子空间划分原理来实现一个分级识别器,并用树型结构来组织多个识别器。实验结果表明,该方法与传统方法相比,误识率降低10%。我们将在未来的研究工作中,测试全部汉语音节,并将该方法扩展到连续语音识别。     

改进KNN算法对人体身份的识别

为了理解特征学习过程、减少数据存储和提高识别率,提出使用Kinect v2的面部数据和骨骼数据作为数据集和一种改进KNN算法对人体身份的识别。使用Kinect v2提取出人体脸部特征点和骨骼关节点的三维位置信息,通过提取出的特征点的坐标计算出理解性强的特征信息如眼宽、臂长等。利用一种改进的截断均值聚类方法,通过排序把奇异值分布到数据集两端,截取数据集中间特征以抑制奇异值,利用基于匹配识别准确度的改进KNN算法对人体身份进行预测。实验结果表明提出的聚类方法匹配识别准确度更高,改进的分类方法也提高了识别的准确率。