一种自动的唇部定位及唇轮廓提取、跟踪方法

实现一种结合CbCr颜色空间、Fisher变换及变形模板的自动唇部定位及唇轮廓提取、跟踪方法.首先在CbCr空间建立肤色模型进行人脸检测、定位,并由人脸几何特征进行唇部粗定位.然后结合唇色模型进行Fisher变换使肤、唇色差别明显化,提出根据亮度信息对变换结果预处理后用Otsu法进行图像分割,经唇色模型进一步验证后实现唇部精定位.再使用变形模板来进行嘴唇轮廓特征提取,为增强内轮廓定位的鲁棒性,本文提出对经亮度预处理和唇色模型验证得到的口腔区域边缘图进行曲线拟合来实现内轮廓定位.最后,将唇读图像序列中上一帧的唇部定位结果拓展后作为当前帧的预测区域再进行处理来实现唇动跟踪.     

非监督、多级嘴唇区域分割方法

该文介绍了一个非监督、多级嘴唇区域分割检测方法。首先提出利用fisher变换增强嘴唇区域,然后利用嘴唇在人脸区域的分布面积比,提出利用统计阈值完成嘴唇的初步分割,最后利用嘴唇对称性和轮廓光滑性的先验知识,提出了基于局部阈值调整完成嘴唇的精细分割。实验证明该方法在不同光照条件下、对不同人、各种表情都能自动地、鲁棒地、精确地检测出嘴唇区域,并较准确提取初步的嘴唇几何参数。利用这些几何参数作为轮廓定位的初始化条件,可以大大提高变形模板和ASM模型等嘴唇轮廓定位算法的速度和准确度。     

实时视频图像快速唇部检测方法的研究与实现

在视频图像中快速提取完整的嘴唇外形是计算机唇读系统的首要任务之一，文中提出了一种综合采用Red Exclusion和Fisher变换的唇部检测方法，根据肤色模型和运动相关性在视频图像中检测人脸，然后在RGB空间内排除红色，用(G，B)分量作为Fisher变换矢量，对人脸下三分之一区域进行唇部图像增强，并利用增强后的灰度图像的灰度值呈正态分布这一特性，自适应确定肤色和唇色阈值，将唇部从背景图像中分割出来。该方法能检测出完整的嘴唇外形，且检测速度高，对光照、胡须及说话人不敏感。     

一种自适应唇区检测及定位方法

在唇区检测中,应用Haar特征训练Adaboost分类器方法能很好地适应各种背景环境,但是只能得到包含唇部的矩形区域,并不能准确定位嘴唇部分,而常用的唇色分离算法虽然能准确定位唇部,但是对图像的背景环境要求较高。基于此,提出自适应唇色分离方法,该方法是以Haar特征训练Adaboost分类器作为基础,自适应地调整唇色分离的常量参数,从而能够动态地获得唇色与肤色的分布范围,实现准确地获得各类背景图像的唇部区域,很好地提高了唇区检测的精确性和鲁棒性。利用该方法对GENKI数据库中4 000幅图像进行处理,成功地实现唇区检测,并对唇区域边缘图进行曲线拟合来实现定位,实验结果表明在各种复杂背景下,该方法更有效。     

基于肤色和唇色信息的人脸检测方法的研究

提出一种综合利用肤色和唇色信息的人脸检测方法。把经过光线补偿处理后的彩色图像从RGB转换到YES颜色空间,根据实验获得的最佳阈值进行肤色区域的提取,得到人脸候选区域。根据嘴唇颜色在YIQ色度空间中最佳阁值分布范围在人脸候选区域中提取唇色,最终确定人脸区域。实验结果表明,该方法具有实时性好、检测和定位精度较高的特点。     

基于肤色特征和遗传算法的人眼瞳孔定位算法

提出了一种单目摄像头下定位人眼瞳孔的方法,分为人脸区域检测、人眼区域检测、瞳孔中心定位三个阶段。在人脸区域检测阶段,利用人脸的肤色和唇色在不同色度空间下的特性,结合区域增长的方法分割出人脸区域;在人眼区域检测阶段,利用定位出的人脸区域,根据先验知识缩小搜索区域,再结合遗传算法搜索眼部区域;最后利用圆的几何性质定位瞳孔中心。实验结果证明了本算法在复杂背景和头部偏转情况下的有效性。     

基于改进YUV空间的人脸检测方法

根据肤色色度的分配比例,提出了一种改进YCbCr的Bayesian肤色检测方法,在肤色背景下,利用肤色和唇色在YUV空间分布特点,变换YUV空间的坐标轴,增大唇色和肤色V分量上的差异。提取了唇色的质心和旋转方向,根据人脸几何特征的先验知识建立人脸定位模型。实验表明在改进的颜色空间内,肤色投影到CrCg平面内得到更好的聚类效果。唇色定位人脸算法简单,速度快,更具实效性,对旋转的人脸同样有效。     

一种基于肤色的人脸检测与定位方法

结合肤色信息与人脸几何分布特征,提出了一种快速的基于人脸特征的检测与定位方法。在标准RGB彩色空间,通过肤色轨迹进行肤色像素与嘴唇像素提取,根据提取的肤色区域是否有嘴唇像素可初步排除一些非人脸区域;利用人眼较高的蓝色分量及瞳孔反光形成的亮斑,在标准RGB色彩空间的B分量图中通过区域增长法产生潜在眼睛区域,利用人眼与嘴唇的面部几何分布特征,提出一些新的规则判断提取的肤色区域是否为人脸,如果是人脸,则对眼睛进行定位。实验结果表明,提出的方法是健壮的、有效的。     

基于肤色模型和区域特征的人脸检测方法

精度和速度是人脸检测系统的两个衡量标准。针对传统人脸检测方法两者不能兼优的问题,该文提出一种结合颜色空间和特征区域的人脸检测方法。该方法采用肤色模型提取肤色像素,利用拓展的马赛克方法获取人脸区域,构建模型并提取嘴唇和眼睛,结合区域特征定位中心点。实验结果表明,该方法简单易行、定位精确。     

唇色与肤色差异性的唇部检测算法的研究

根据黄色人种和白色人种的肤色和唇色在R、G、B色度分量上分布的差异,提出了一种改进式的唇部检测方法。该方法根据色度差异的特性确定阈值,利用投影算法分割出嘴唇所在的矩形区域,结合边缘检测和动态阈值的方法提取出嘴唇。与红色排除法相比,结果表明,该算法简单、快捷,对肤色深浅不同、光照不均匀及头部有一定的偏转等情况,该算法检测的准确性都有一定的提高和改进。     

一种快速、鲁棒的人脸检测方法

根据特征脸思想，提出了一种新的基于特征肤色的人脸检测方法。首先从RGB彩色空间转换到HSI彩色空间中，然后训练肤色点样本集得到特征肤色，最后在特征肤色构成的肤色空间中检测人脸，实验表明，该方法是快速的，鲁棒的。     

用于口型识别的实时唇定位方法

在许多应用于有噪声环境下的语音识别系统中,唇读技术能有效地降低噪声的影响,通过视觉 通道来补充仅取决于听觉通道的信息量,从而提高语音识别系统的识别率.该文提出了一种有 效和稳健的唇定位跟踪方法,以满足不用特殊标识物和规范性照明就能对信息进行有效提取 的应用需求.该方法首先用肤色模型查找脸;然后用迭代算法搜索脸部区域内的眼睛;再根据 眼睛的位置来确定脸的大小和位置,并对脸的下半部分采用彩色坐标变换法将唇从肤色中明 显地区分出来;最后,用可变模板将上下唇的内外轮廓描述出来.     

Real-time lip reading system for isolated Korean word recognition

This paper proposes a real-time lip reading system (consisting of a lip detector, lip tracker, lip activation detector, and word classifier), which can recognize isolated Korean words. Lip detection is performed in several stages: face detection, eye detection, mouth detection, mouth end-point detection, and active appearance model (AAM) fitting. Lip tracking is then undertaken via a novel two-stage lip tracking method, where the model-based Lucas-Kanade feature tracker is used to track the outer lip, and then a fast block matching algorithm is used to track the inner lip. Lip activation detection is undertaken through a neural network classifier, the input for which being a combination of the lip motion energy function and the first dominant shape feature. In the last step, input words are defined and recognized by three different classifiers: HMM, ANN, and K-NN. We combine the proposed lip reading system with an audio-only automatic speech recognition (ASR) system to improve the word recognition performance in the noisy environments. We then demonstrate the potential applicability of the combined system for use within hands free in-vehicle navigation devices. Results from experiments undertaken on 30 isolated Korean words using the K-NN classifier at a speed of 15 fps demonstrate that the proposed lip reading system achieves a 92.67% word correct rate (WCR) for person-dependent tests, and a 46.50% WCR for person-independent tests. Also, the combined audio-visual ASR system increases the WCR from 0% to 60% in a noisy environment.     

一种压缩域中的快速运动目标提取算法

论文提出了一种工作于MPEG压缩域的快速运动目标提取算法。算法以通过部分解码得到的运动向量和亮度分量的直流DCT系数作为输入,提取P帧的运动目标。首先采用鲁棒性回归分析估计全局运动,标记出与全局运动不一致的宏块,得到运动块的分布;然后将运动向量场插值作为时间域的特征,将重构的直流图像转换到LUV颜色空间作为空间域的特征,采用快速平均移聚类找到时间和空间特征具有相似性的区域,得到细化的区域边界;最后结合运动块分布和聚类分析的结果,通过基于马尔可夫随机场的统计标号方法进行背景分离,得到运动目标的掩模。实验结果表明该算法可以有效地消除运动向量噪声的影响,并有很高的处理速度,对于CIF格式的视频码流,每秒可以处理约50帧。     

基于肤色分割和改进Gabor滤波相结合的人脸检测

针对人脸检测问题,提出了一种基于肤色分割和改进Gabor滤波相结合的方法;该方法首先基于YCbCr空间对图像中的背景区域和人脸肤色进行分割,以消除大量的背景区域提高运算速度;接着利用改进的Gabor滤波对提取出来的人脸肤色区域进行卷积得到人脸的特征向量,并和通过训练样本获得的特征向量进行比较以验证是否为人脸;最后通过实验分析,验证了所提方法能够在保证检测精度的基础上有效提高运算速度。     

一种新颖鲁棒的嘴唇轮廓提取方法

嘴唇是人脸特征的重要组成部分,在音视频识别、认证、嘴唇同步、人脸识别等方面都很重要.但因嘴唇与肤色间对比度差,使嘴唇分割十分困难.根据在RGB颜色空间中,红色分量与绿色分量间的差异在嘴唇处较人脸其他肤色处明显,利用伪色调,结合YIQ彩色空间中Q分量在嘴唇处较稳定这一特点,首先确定出嘴唇上下边界.利用人眼与其他肤色存在明显差异,确定嘴唇的左右边界.然后对嘴唇区域进行形态操作、边缘提取等以得到完整的嘴唇轮廓.通过对大量不同肤色的人脸图像的嘴唇轮廓提取,证实了该方法的有效性和鲁棒性.