基于多重视觉注意力的唇语识别

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视觉注意力的唇语识别方法(Lipreading Based on Multiple Visual Attention Network, LipMVA).首先利用通道注意力自适应校准通道级别的特征,减轻无意义通道的干扰.然后使用两种粒度不同的时空注意力,抑制不重要的像素或帧的影响.CMLR、GRID数据集上的实验表明LipMVA可降低识别错误率,由此验证方法的有效性.     

基于BiLSTM-Attention唇语识别的研究

为了解决唇语识别中唇部特征提取和时序关系识别存在的问题,提出了一种双向长短时记忆网络(BiLSTM)和注意力机制(Attention Mechanism)相结合的深度学习模型。首先将唇部20个关键点得到的唇部不同位置的高度和宽度作为唇部的特征,使用BiLSTM对唇部特征序列进行时序编码,然后利用注意力机制来发掘不同时刻唇部时序特征对于整体唇语识别的不同权重,最后利用Softmax进行分类。在公开的唇语识别数据集GRID和MIRACL-VC上与传统的唇语识别模型进行实验对比。在GRID数据集上准确率至少提高了13.4%,在MIRACL-VC单词数据集上准确率至少提高了15.3%,短语数据集上准确率至少提高了9.2%。同时还与其他编码模型进行了实验对比,实验结果表明该模型能有效地提高唇语识别的准确率。     

HSKDLR：同类自知识蒸馏的轻量化唇语识别方法

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明：与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.872 3×10⁷;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。     

基于中文发音视觉特点的唇语识别方法研究

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差.通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性.为了验证视觉拼音的有效性,建立了中文句子级唇语识别模型CHSLR-VP.该模型是一个端到端结构,其中以视觉拼音为媒介...     

基于端到端句子级别的中文唇语识别研究

近年来，随着深度学习的广泛应用，唇语识别技术也取得了快速的发展.与传统的方法不同，在基于深度学习的唇语识别模型中，通常包含使用神经网络对图像进行特征提取和特征理解两个部分.根据中文唇语识别的特点，将识别过程划分为两个阶段——图片到拼音（P2P）以及拼音到汉字（P2CC）的识别.分别设计两个不同子网络针对不同的识别过程，当两个子网络训练好后，再把它们放在一起进行端到端的整体架构优化.由于目前没有可用的中文唇语数据集，因此采用半自动化的方法从CCTV官网上收集了6个月20.95GB的中文唇语数据集CCTVDS，共包含14 975个样本.此外，额外采集了269 558条拼音汉字样本数据对拼音到汉字识别模块进行预训练.在CCTVDS数据集上的实验结果表明，所提出的ChLipNet可分别达到45.7%的句子识别准确率和58.5%的拼音序列识别准确率.此外，ChLipNet不仅可以加速训练、减少过拟合，并且能够克服汉语识别中的歧义模糊性.     

特征注意力Transformer模块在3D唇语序列身份识别中的应用

唇语行为是一种新兴起的生物特征识别技术,三维（three-dimensional,3D）唇语点云序列因包含真实嘴唇空间结构和运动信息,已成为个体身份识别的重要生物特征。但是,3D点云的无序与非结构化的特点导致时空特征的提取非常困难。为此,提出一种深度学习网络模型,用于3D唇语序列身份识别。该网络采用四层改进的PointNet++作为网络骨干,以分层方式抽取特征,为了学习到更多包含身份信息的时空特征,设计一种动态唇特征注意力Transformer模块,连接于PointNet++网络每一层之后,可以学习到不同特征图之间的相关信息,有效捕捉视频序列不同帧的上下文信息。与其他注意力机制构建的Transformer相比,提出的Transformer模块具有较少的参数,在S3DFM-FP和S3DFM-VP数据集上进行的实验表明,提出网络模型在3D唇语点云序列的身份识别任务中效果显著,即使在不受姿态约束的S3DFM-VP数据集中也表现出良好的性能。     

唇语识别的视觉特征提取方法综述

现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面,对提高唇部视觉特征的有效性关注不多.而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用,尤其在音频被破坏或无音频信息时,唇部视觉信息尤为重要.如何获取准确有效的唇部视觉特征是当前唇语识别的难点工作之一.从唇语数据集、传统视觉特征提取方法、视觉特征提取的深度学习方法三方面综述了唇语识别方向近年来的最新研究工作:首先,总结了唇语识别数据集,将唇语数据集分为正视图和多视图两种类型,并总结整理两类数据集的特点、局限性和下载地址;其次,从像素点、形状和混合特征的角度介绍了唇部视觉特征提取的传统方法,重点介绍各方法的基本思想、网络结构和特点;然后,介绍了唇部视觉特征提取的深度学习方法,重点介绍2D CNN、3D CNN、2D CNN与3D CNN相结合、其他神经网络四种深度学习方法的网络结构和优缺点,并比较了这些方法在公开数据集上的性能表现;最后,对唇部视觉特征提取方法所面临的挑战和未来研究趋势进行了展望.     

基于时域卷积网络的中文句子级唇语识别算法

针对现有中文句子级唇语识别技术存在的视觉歧义、特征提取不充分导致识别准确率偏低的问题,提出了一种基于时域卷积网络,采用三维时空卷积的中文句子级唇语识别算法——3DT-CHLipNet(Chinese LipNet based on 3DCNN,TCN)。首先,针对特征提取不充分的问题,所提算法采用了比长短期记忆网络(LSTM)感受野更大的时域卷积网络(temporal convolutional network, TCN)来提取长时依赖信息;其次,针对中文唇语识别中存在的“同型异义”视觉歧义问题,将自注意力机制应用于中文句子级唇语识别,以更好地捕获上下文信息,提升了句子预测准确率;最后,在数据预处理方面引入了时间掩蔽数据增强策略,进一步降低了算法模型的错误率。在最大的开源汉语普通话句子级数据集CMLR上的实验测试表明,与现有中文句子级唇语识别代表性算法相比,所提算法的识别准确率提高了2.17%至23.99%。     

人机交互中视觉语言的灰度轮廓权向量差分唇形特征模型

该文结合函数变形模型和灰度轮廓向量模型的特点,给出了一种维数少、有效性高的视觉语言特征—灰度轮廓权向量差分唇形特征模型。该特征融合了嘴唇图像的形状变化信息和灰度信息,能够较完善地描述嘴唇的变化。同时,得出了一种新的视觉特征提取算法。仿真结果表明,该算法与传统的函数变形模型相比,总的特征提取准确率提高了5个百分点,每个发音图像序列特征提取的准确率提高了1.6至9个百分点,每帧图像的特征提取时间由4.6495秒下降到0.4455秒。对“1”至“10”数字发音的嘴唇图像序列进行识别,获得了较高的识别率。因此,灰度轮廓权向量差分唇形特征是一种精炼、描述性强、适合于唇读识别的视觉语言特征,该算法能自动地完成模型的训练和视觉特征的提取,是一种有效的特征提取算法。     

实时视频图像快速唇部检测方法的研究与实现

在视频图像中快速提取完整的嘴唇外形是计算机唇读系统的首要任务之一，文中提出了一种综合采用Red Exclusion和Fisher变换的唇部检测方法，根据肤色模型和运动相关性在视频图像中检测人脸，然后在RGB空间内排除红色，用(G，B)分量作为Fisher变换矢量，对人脸下三分之一区域进行唇部图像增强，并利用增强后的灰度图像的灰度值呈正态分布这一特性，自适应确定肤色和唇色阈值，将唇部从背景图像中分割出来。该方法能检测出完整的嘴唇外形，且检测速度高，对光照、胡须及说话人不敏感。     

一种自动的唇部定位及唇轮廓提取、跟踪方法

实现一种结合CbCr颜色空间、Fisher变换及变形模板的自动唇部定位及唇轮廓提取、跟踪方法.首先在CbCr空间建立肤色模型进行人脸检测、定位,并由人脸几何特征进行唇部粗定位.然后结合唇色模型进行Fisher变换使肤、唇色差别明显化,提出根据亮度信息对变换结果预处理后用Otsu法进行图像分割,经唇色模型进一步验证后实现唇部精定位.再使用变形模板来进行嘴唇轮廓特征提取,为增强内轮廓定位的鲁棒性,本文提出对经亮度预处理和唇色模型验证得到的口腔区域边缘图进行曲线拟合来实现内轮廓定位.最后,将唇读图像序列中上一帧的唇部定位结果拓展后作为当前帧的预测区域再进行处理来实现唇动跟踪.     

联合自注意力和循环网络的图像标题生成

目前大多数图像标题生成模型都是由一个基于卷积神经网络(Convolutional Neural Network,CNN)的图像编码器和一个基于循环神经网络(Recurrent Neural Network,RNN)的标题解码器组成。其中图像编码器用于提取图像的视觉特征,标题解码器基于视觉特征通过注意力机制来生成标题。然而,使用基于注意力机制的RNN的问题在于,解码端虽然可以对图像特征和标题交互的部分进行注意力建模,但是却忽略了标题内部交互作用的自我注意。因此,针对图像标题生成任务,文中提出了一种能同时结合循环网络和自注意力网络优点的模型。该模型一方面能够通过自注意力模型在统一的注意力区域内同时捕获模态内和模态间的相互作用,另一方面又保持了循环网络固有的优点。在MSCOCO数据集上的实验结果表明,CIDEr值从1.135提高到了1.166,所提方法能够有效提升图像标题生成的性能。     

基于Attention-CGRU网络的中文语音情感识别

正确识别语音中包含的情感信息可以大幅提高人机交互的效率.目前,语音情感识别系统主要由语音特征抽取和语音特征分类两步组成.为了提高语音情感识别准确率,选用语谱图而非传统声学特征作为模型输入,采用基于attention机制的CGRU网络提取语谱图中包含的频域信息和时域信息.实验结果表明:在模型中引入注意力机制有利于减少冗余信息的干扰,并且相较于基于LSTM网络的模型,采用GRU网络的模型预测精确度更高,且在训练时收敛更快,与基于LSTM的基线模型相比,基于GRU网络的模型训练时长只有前者的60%.     

人体运动检测及仿真系统的研究与实现

本文实现了一种基于计算机视觉技术的人体运动捕获方法,以简单的摄像头录制的单视图视频作为素材,从图像序列中提取并描述人体轮廓的运动,然后对其进行识别,捕获得到人体运动骨架模型,最后利用三维虚拟人进行三维仿真。     

基于分层精简双线性注意力网络的鱼类识别

由于水下鱼类图像采集困难,现有的数据集主要以视频提取为主,采集到的鱼类图像存在背景环境复杂、像素低下等问题,使得细粒度鱼类图像识别任务难度较大.针对上述问题,提出了一种基于空间域注意力机制和分层精简双线性特征融合的网络.识别网络可进行端到端的训练,由两部分组成:第一部分是以空间变换网络(STN)为注意力机制的背景过滤网...     

基于空间关联性注意力的图像描述生成方法

图像中物体间的关联性能够有效提升图像描述的效果,但是直接使用全局特征表示物体间的关系无法准确捕获图像的关联性特征。为准确捕获图像的关联性特征以提高描述的准确性,提出了一种基于空间关联性的图像描述生成方法。该方法使用Faster R-CNN提取图像的视觉特征和物体的空间位置信息,再将视觉特征与空间位置信息在高维空间融合后指导Transformer捕获图像的关联性特征;最后将视觉特征和关联性特征分别作为视觉注意力和空间关联性注意力的高层语义输入指导单词序列的生成。使用COCO数据集进行实验验证,在BLEU＿4和CIDEr上分别得分38.1%和124.8%,相较于基线模型提升了1.8%和4.7%,证明了该方法的可行性。     

基于ViT与语义引导的视频内容描述生成

现有视频内容描述模型生成的视频内容描述文本可读性差且准确率不高。基于ViT模型提出一种语义引导的视频内容描述方法。利用ReNeXt和ECO网络提取视频的视觉特征,以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(SDN)。在此基础上,通过ViT模型对静态和动态视觉特征进行全局编码,并与SDN提取的语义特征进行注意力融合,采用语义长短期记忆网络对融合特征进行解码,生成视频对应的描述文本。通过引入视频中的语义特征能够引导模型生成更符合人类习惯的描述,使生成的描述更具可读性。在MSR-VTT数据集上的测试结果表明,该模型的BLEU-4、METEOR、ROUGE-L和CIDEr指标分别为44.8、28.9、62.8和51.1,相比于当前主流的视频内容描述模型ADL和SBAT,提升的得分总和达到16.6和16.8。     

基于局部复杂度的视频序列显著点提取方法

文中提出一种基于局部复杂度视频序列中显著点的提取方法。首先,将视觉认知中的注意力机制引入视频处理,通过计算空域像素局部复杂度来提取图像显著点。其次,利用均值漂移聚类方法在时域中对显著点进行聚类,从而去除了分散的噪声点,它能自动确定类别数并具有严格的收敛性,该方法减少了运算量,提高了运算速度。实验证明,该方法提取的结果与人的视觉感知系统具有较好的一致性。     

基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.     

基于增强特征和注意力机制的视频表情识别

端到端的CNN-LSTM模型利用卷积神经网络(Convolutional Neural Network, CNN)提取图像的空间特征,利用长短期记忆网络LSTM提取视频帧间的时间特征,在视频表情识别中得到了广泛的应用。但在学习视频帧的分层表示时,CNN-LSTM模型复杂度较高,且易发生过拟合。针对这些问题,提出一个高效、低复杂度的视频表情识别模型ECNN-SA (Enhanced Convolutional Neural Network with Self-Attention)。首先,将视频分成若干视频段,采用带增强特征分支的卷积神经网络和全局平均池化层提取视频段中每帧图像的特征向量。其次,利用自注意力(Self-Attention)机制获得特征向量间的相关性,根据相关性构建权值向量,主要关注视频段中的表情变化关键帧,引导分类器给出更准确的分类结果。最终,该模型在CK+和AFEW数据集上的实验结果表明,自注意力模块使得模型主要关注时间序列中表情变化的关键帧,相比于单层和多层的LSTM网络,ECNN-SA模型能更有效地对视频序列的情感信息进行分类识别。