实时视频图像快速唇部检测方法的研究与实现

在视频图像中快速提取完整的嘴唇外形是计算机唇读系统的首要任务之一，文中提出了一种综合采用Red Exclusion和Fisher变换的唇部检测方法，根据肤色模型和运动相关性在视频图像中检测人脸，然后在RGB空间内排除红色，用(G，B)分量作为Fisher变换矢量，对人脸下三分之一区域进行唇部图像增强，并利用增强后的灰度图像的灰度值呈正态分布这一特性，自适应确定肤色和唇色阈值，将唇部从背景图像中分割出来。该方法能检测出完整的嘴唇外形，且检测速度高，对光照、胡须及说话人不敏感。     

基于肤色模型和区域特征的人脸检测方法

精度和速度是人脸检测系统的两个衡量标准。针对传统人脸检测方法两者不能兼优的问题,该文提出一种结合颜色空间和特征区域的人脸检测方法。该方法采用肤色模型提取肤色像素,利用拓展的马赛克方法获取人脸区域,构建模型并提取嘴唇和眼睛,结合区域特征定位中心点。实验结果表明,该方法简单易行、定位精确。     

一种基于肤色的人脸检测与定位方法

结合肤色信息与人脸几何分布特征,提出了一种快速的基于人脸特征的检测与定位方法。在标准RGB彩色空间,通过肤色轨迹进行肤色像素与嘴唇像素提取,根据提取的肤色区域是否有嘴唇像素可初步排除一些非人脸区域;利用人眼较高的蓝色分量及瞳孔反光形成的亮斑,在标准RGB色彩空间的B分量图中通过区域增长法产生潜在眼睛区域,利用人眼与嘴唇的面部几何分布特征,提出一些新的规则判断提取的肤色区域是否为人脸,如果是人脸,则对眼睛进行定位。实验结果表明,提出的方法是健壮的、有效的。     

语音驱动人脸唇形动画的实现

提出了一种实现语音直接驱动人脸唇形动画的新方法。结合人脸唇部运动机理，建立了与唇部运动相关肌肉拉伸和下颌转动的唇形物理模型，对输入的语音信号进行分析和提取其与唇部运动相关的特征参数，并直接将其映射到唇形物理模型的控制参数上，驱动唇形动画变形，实现输入语音和唇形动画的实时同步。仿真实验结果表明，该方法有效实现了语音和唇形的实时同步，唇形动画效果更接近自然，真实感更强。且该唇形物理模型独立于人脸几何模型，可广泛应用于各类人脸唇形动画的语音驱动，具有良好的普适性和可扩展性。     

一种基于Haar小波变换的彩色图像人脸检测方法

本文提出了一种基于Haar小波变换的彩色图像人脸检测方法。首先进行彩色空间的变换,检测出图像中的肤色区域;利用Adaboost算法训练出的基于Haar小波变换的检测器对该区域进行人脸检测;建立眼睛颜色模型,并根据眼睛!嘴在不同分量上的分布特征,将它们从人脸区域中提取出来;最后融合眼睛!嘴候选区域的信息,利用特征不变的方法进行眼睛和嘴的确定。实验结果表明,该方法能够快速有效地检测出人脸,并能够确定眼!嘴的位置。     

一种基于肤色和模板匹配的人脸检测方法

提出了一种基于肤色分割和模板匹配相结合的人脸检测算法.首先利用rgb色彩空间下的人脸肤色模型,对人脸图像进行肤色分割;针对图像中存在的多个肤色区域连接在一起的问题,采用SUSAN算子提取区域的边界,将连接的肤色区域分开;根据肤色区域的形状特征和欧拉数筛选人脸候选区域;最后利用建立的人脸模板和一种改进的混合匹配准则,对候选人脸区域进行匹配识别.实验结果表明,该方法能较好地从复杂背景中检测出人脸.     

一种基于Haar小波变换的彩色图像人脸检测方法

本文提出了一种基于Haar小波变换的彩色图像人脸检测方法.首先进行彩色空间的变换,检测出图像中的肤色区域;利用Adaboost算法训练出的基于Haar小波变换的检测器对该区域进行人脸检测;建立眼睛颜色模型,并根据眼睛、嘴在不同分量上的分布特征,将它们从人脸区域中提取出来;最后融合眼睛、嘴候选区域的信息,利用特征不变的方法进行眼睛和嘴的确定.实验结果表明,该方法能够快速有效地检测出人脸,并能够确定眼、嘴的位置.     

一种自动的唇部定位及唇轮廓提取、跟踪方法

实现一种结合CbCr颜色空间、Fisher变换及变形模板的自动唇部定位及唇轮廓提取、跟踪方法.首先在CbCr空间建立肤色模型进行人脸检测、定位,并由人脸几何特征进行唇部粗定位.然后结合唇色模型进行Fisher变换使肤、唇色差别明显化,提出根据亮度信息对变换结果预处理后用Otsu法进行图像分割,经唇色模型进一步验证后实现唇部精定位.再使用变形模板来进行嘴唇轮廓特征提取,为增强内轮廓定位的鲁棒性,本文提出对经亮度预处理和唇色模型验证得到的口腔区域边缘图进行曲线拟合来实现内轮廓定位.最后,将唇读图像序列中上一帧的唇部定位结果拓展后作为当前帧的预测区域再进行处理来实现唇动跟踪.     

一种新颖鲁棒的嘴唇轮廓提取方法

嘴唇是人脸特征的重要组成部分,在音视频识别、认证、嘴唇同步、人脸识别等方面都很重要.但因嘴唇与肤色间对比度差,使嘴唇分割十分困难.根据在RGB颜色空间中,红色分量与绿色分量间的差异在嘴唇处较人脸其他肤色处明显,利用伪色调,结合YIQ彩色空间中Q分量在嘴唇处较稳定这一特点,首先确定出嘴唇上下边界.利用人眼与其他肤色存在明显差异,确定嘴唇的左右边界.然后对嘴唇区域进行形态操作、边缘提取等以得到完整的嘴唇轮廓.通过对大量不同肤色的人脸图像的嘴唇轮廓提取,证实了该方法的有效性和鲁棒性.     

基于头肩图像序列的人脸特征定位系统的实现

针对复杂背景的人脸彩色图像进行特征定位,一直是研究的热点和难点问题.提出了一种实时进行人脸特征定位的算法.在单人脸头肩图像序列中,首先利用背景差分法提取出人脸前景图像,利用几何先验知识和积分投影法分离出人脸区域;接着在人脸区域中采用YCbCr肤色模型、模板匹配以及边缘检测的方法定位出眼睛和嘴角,最后在RGB空间上采用阈值方法和积分投影法相结合的方法确定眉毛和鼻子的位置.实验表明,系统可以快速地检测出人脸特征,具有较高的检测精度和鲁棒性,检测的帧率达到10fps.     

改进Wav2Lip的文本音频驱动人脸动画生成

为了提高中文唇音同步人脸动画视频的真实性, 本文提出一种基于改进Wav2Lip模型的文本音频驱动人脸动画生成技术. 首先, 构建了一个中文唇音同步数据集, 使用该数据集来预训练唇部判别器, 使其判别中文唇音同步人脸动画更加准确. 然后, 在Wav2Lip模型中, 引入文本特征, 提升唇音时间同步性从而提高人脸动画视频的真实性. 本文模型综合提取到的文本信息、音频信息和说话人面部信息, 在预训练的唇部判别器和视频质量判别器的监督下, 生成高真实感的唇音同步人脸动画视频. 与ATVGnet模型和Wav2Lip模型的对比实验表明, 本文模型生成的唇音同步人脸动画视频提升了唇形和音频之间的同步性, 提高了人脸动画视频整体的真实感. 本文成果为当前人脸动画生成需求提供一种解决方案.     

基于SAPI的语音驱动口型动画方法

语音驱动口型动画是人脸表情动画中非常关键的部分。在研究语音与口型动画同步问题的基础上．提出一种真实、自然的语音口型动画实现方法。该方法首先对输入语音进行大段分割;再通过SAPI识别出具体的汉语序列信息;然后将汉语序列转换为音节序列;最后通过音节序列到口型序列的转换得到舍有口型时间信息的口型序列。在动画模块中利用该口型序列驱动3D人脸模型口型动画。取得了真实、自然的语音动画同步效果。     

A statistical parametric approach to video-realistic text-driven talking avatar

This paper proposes a statistical parametric approach to video-realistic text-driven talking avatar. We follow the trajectory HMM approach where audio and visual speech are jointly modeled by HMMs and continuous audiovisual speech parameter trajectories are synthesized based on the maximum likelihood criterion. Previous trajectory HMM approaches only focus on mouth animation, which synthesizes simple geometric mouth shapes or video-realistic effects of the lip motion. Our approach uses trajectory HMM to generate visual parameters of the lower face and it realizes video-realistic animation of the whole face. Specifically, we use active appearance model (AAM) to model the visual speech, which offers a convenient and compact statistical model of both the shape and the appearance variations of the face. To realize video-realistic effects with high fidelity, we use Poisson image editing technique to stitch the synthesized lower-face image to a whole face image seamlessly. Objective and subjective experiments show that the proposed approach can produce natural facial animation.     

手机3D动画自动生成系统中的色彩规划

手机3D动画自动生成系统依据短信内容,自动生成相应的3D动画并随原短信一同发送给接收方.色彩规划是其中一个重要环节,它根据短信主题和动画场景信息对动画的色彩进行规划,修改场景中物体颜色.提出了一种基于语义网技术的规划方法,结合色彩知识建立知识库,通过情节推理,找到和短信主题色彩意象匹配的配色方案,再根据动画场景信息对配色方案进行筛选,最后细化到每个物体的颜色.色彩规划弥补了自动生成的动画在视觉效果上千篇一律、单调乏味的缺陷,增强了动画的灵活性、多变性.     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

用于口型识别的实时唇定位方法

在许多应用于有噪声环境下的语音识别系统中,唇读技术能有效地降低噪声的影响,通过视觉 通道来补充仅取决于听觉通道的信息量,从而提高语音识别系统的识别率.该文提出了一种有 效和稳健的唇定位跟踪方法,以满足不用特殊标识物和规范性照明就能对信息进行有效提取 的应用需求.该方法首先用肤色模型查找脸;然后用迭代算法搜索脸部区域内的眼睛;再根据 眼睛的位置来确定脸的大小和位置,并对脸的下半部分采用彩色坐标变换法将唇从肤色中明 显地区分出来;最后,用可变模板将上下唇的内外轮廓描述出来.     

Lip detection by the use of neural networks

Lip detection is used in many applications such as face detection and lip reading. In this article, a method for lip detection in color images in a normalized RGB color scheme is presented. In this method, MLP neural networks are used to perform lip detection on segmented skin regions. Several combinations of chrominance components of the normalized RGB color space were used as the input to the neural networks. Two methods were used for obtaining the normalized RGB components from the RGB color scheme. These are called the maximum and intensity normalization methods, respectively. The method was tested on two Asian databases. The number of neurons in the hidden layer was determined by using a modified network-growing algorithm. It was found that the pixel intensity normalization method gave lower lip detection error than the maximum intensity normalization method regardless of the database used, and for most of the combinations of chrominance components. In addition, the combination of the g and r/g chrominance components gave the lowest lip detection error when the pixel intensity normalization method was used for both databases. The effects of the scale and facial expression on lip detection was also studied. It was found that the lip detection error decreased as the scale factor increased. As for facial expression, a laughing facial expression gave the highest lip detection error, followed by smiling and neutral expressions.