基于SURF和形状上下文的人脸匹配算法

针对人脸匹配在光照、姿态、表情等背景因素影响下匹配正确率低的问题,本文提出一种基于SURF(Speeded up Robust Features)和形状上下文(Shape Context, SC)的人脸图像匹配算法。在对图像进行人脸区域检测和重构积分图预处理的基础上,本文利用两次SURF算法提取人脸特征点并匹配,第一次用SURF进行粗匹配得到初始匹配集,并据此计算待匹配人脸图像间的尺度差和角度差,以此作为约束条件第二次进行SURF精匹配,以获得更多的匹配点对,最后采用不依赖位置信息的形状上下文算法剔除误匹配点对。在IMM和Georgia人脸数据库上与目前流行的人脸匹配方法进行实验对比,实验结果显示本文算法有效增加了匹配点对数目,并提高了人脸图像匹配正确率,具有更好的稳定性和鲁棒性。     

基于形状上下文的人脸匹配算法

提出一种基于形状上下文的人脸形状匹配算法。在形状匹配中,将2个目标进行相似度比较,得到2幅图的对数极坐标直方图的Cost值,计算相似度是否达到预设的阈值来判定其人脸是否匹配。实验结果表明,该算法在二维目标的不变性中,具有准确的匹配效果。     

变形图驱动的人体与脸部网格模板拟合系统

为了建立统一的人体模型数据库/人脸模型数据库,实现了一个用标准三维人体/人脸网格模型拟合扫描数据的系统.该系统为人体模型构建特征点候选区域,用马尔可夫网络对候选区域进行概率预测得到人体特征点的位置;对于人脸模型,采用基于回归树的算法在多幅不同角度的人脸图像上分别检测其二维特征点,融合得到准确的三维特征点位置;得到特征点后,使用相似变换对标准模板和扫描模型的位置朝向以及尺度进行统一;通过特征点引导的变形图算法对标准模板和扫描模型的形状和姿态进行粗配准;最后使用基于稠密点对应的顶点仿射变换拟合得到变形后的标准模板.对CAESAR数据集中的人体模型以及扫描得到的人体和人脸模型均进行了拟合,实验结果表明,该系统能够精确地捕捉扫描数据的几何形状.     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

空间约束特征组合与选择的中国剪纸识别

针对中国剪纸识别中存在底层形状特征难以表达高层语义这一"语义鸿沟"问题,提出基于空间约束特征组合与选择的中国剪纸分类识别方法.首先结合空间金字塔模型和上下文相关直方图提取剪纸形状特征,从而得到具有空间信息底层特征;然后通过AdaBoost对所提取的形状特征进行组合和选择,以进一步获取剪纸图像的区别性特征;最终实现剪纸图像的识别.     

基于目标形状的图像检索

针对已有的基于形状的图像检索中目标形状描述方法的不足对其进行改进。首先对目标图像进行一系列预处理,得到图像的外部轮廓,利用改进的霍夫变换提取目标轮廓的线性特征;然后引入成对几何特征即有向相对角和有向相对位置来描述图像的形状;最后利用直方图相交算法衡量图像特征间的相似度。实验证明,利用本文改进的方法所描述的形状属性来检索数据库中的图像具有较高的效率。     

基于样例学习的面部特征自动标定算法

面部特征标定是人脸识别中的一个关键问题.提出了一种基于样例学习的面部特征自动标定(人脸形状自动提取)方法.该方法是基于下面假设提出来的:人脸图像差和形状差之间存在一种近似的线性关系--相似的人脸图像在较大程度上蕴涵着相似的形状.因此,给定标注了特征点的人脸图像学习集,则任意新的输入人脸图像的面部形状可以采用如下方法估计:测量该人脸图像和训练集中图像的相似度,并将同样的相似度用于该人脸图像形状的重建.即:如果输入人脸图像可以表示为训练图像的优化的线性组合,那么同样的线性组合系数就可以直接用于训练集对应形状的线性组合从而得到输入人脸图像的形状.实验表明,该算法相对于其他传统的特征标定算法具有可比的精度和较快的速度.并且,还将此算法扩展到了多姿态情况下,实现了多姿态人脸图像形状的自动提取.     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

一种基于二值图像的形状分割算法研究

提出一种基于二值图像的形状分割方法.该方法首先对图像边界进行处理,提取边界凹角点,然后对图像的形状骨架的分支进行分析,结合这两者的信息进行分割.通过修剪骨架分支的长度来消除噪声干扰,同时控制图像的分割子区域的大小及个数,有效提高了算法的效率和分割精度.与其他算法相比,本算法能根据后续处理需要将剪纸图像分割为若干子区域,为提高后续处理的效率和结果优化提供了可靠的基础,分割结果更适合后续的剪纸图像变形处理.     

自适应搜索目标的快速彩色复合人脸检测方法

针对AdaBoost人脸检测方法搜索时间较长,不利于在手机等嵌入式平台上应用的现状,提出了一种结合肤色分割、人脸几何特征和AdaBoost的自适应搜索窗口和搜索步长的快速人脸检测方法。该算法在HSV颜色空间对图像进行分割,结合人脸几何特征对分割后的灰度图像进行面积滤波。最后提取滤波后的图像轮廓,结合经验系数得到自适应搜索窗口和搜索步长。实验结果表明,自适应算法不仅能检测出不同尺寸的人脸,而且检测速度快,能节省51.17%的搜索时间。     

用于人像提取及半身像合成的生成对抗网络算法

利用生成对抗网络(generative adversarial network,GAN)进行标准上半身人像的合成,从普通人像照片中截取部分区域得到面部对齐后的标准化上半身合成图像,处理后的标准化人像实现了目标主体与背景的分离,可以有效地优化目标识别和分割算法的结果.图像的合成过程分为2个主要步骤,首先利用图像特征识别人脸并截取头部区域,然后以裁切后的头部区域为中心进行上半身人像的合成,得到人脸特征点及头部区域对齐后的上半身合成图像.该算法可以有效地从背景中分离人像区域,利用合成后的图像进行图像分割和评价,可以避免图像背景对于图像识别主体的干扰.通过自有数据集验证了该算法可以改善分割算法的精确度、召回率和F值,最终合成人脸图像的Facenet平均距离及标准差相比现有的人脸图像正则化算法均有减小,通过在CelebA及LFW等通用数据集上的验证测试,显示出算法具有良好的通用性和适应性,该算法可以广泛适用于人像照片的主体提取和人像合成,作为分割和识别等应用的前置步骤.     

中国肖像画的风格转移算法

风格转移技术能快速生成目标艺术作品,但直接用在中国画上通常会存在特征分布不协调、人脸辨识不一致等问题.针对上述问题,文中提出基于卷积神经网络(CNN)的中国肖像画风格转移算法.首先,针对中国肖像画中写意和工笔两种绘画技法,提出笔触控制约束,指导图像的纹理分布.然后,提出国画特征移动距离,用于度量内容与风格特征,并将参考的中国画风格协调部署在肖像照上.最后,针对中国画的水墨色调和留白特点,提出水墨留白约束改进损失网络.实验表明,文中算法生成的结果不仅保证人脸辨识的一致性,而且在中国画艺术风格上表现更优.     

Expressive line drawings of human faces from range images

We propose a novel technique to extract features from a range image and use them to produce a 3D pen-and-ink style portrait similar to a traditional artistic drawing. Unlike most previous template-based,component-based or example-based face sketching methods,which work from a frontal photograph as input,our system uses a range image as input. Our method runs in real-time for models of moderate complexity,allowing the pose and drawing style to be modified interactively. Portrait drawing in our system makes use of occluding contours and suggestive contours as the most important shape cues. However,current 3D feature line detection methods require a smooth mesh and cannot be reliably applied directly to noisy range images. We thus present an improved silhouette line detection algorithm. Feature edges related to the significant parts of a face are extracted from the range image,connected,and smoothed,allowing us to construct chains of line paths which can then be rendered as desired. We also incorporate various portrait-drawing principles to provide several simple yet effective non-photorealistic portrait renderers such as a pen-and-ink shader,a hatch shader and a sketch shader. These are able to generate various life-like impressions in different styles from a user-chosen viewpoint. To obtain satisfactory results,we refine rendered output by smoothing changes in line thickness and opacity. We are careful to provide appropriate visual cues to enhance the viewer’s comprehension of the human face. Our experimental results demonstrate the robustness and effectiveness of our approach,and further suggest that our approach can be extended to other 3D geometric objects.     

基于双流循环映射网络的肖像漫画化

肖像风格迁移旨在将参考艺术肖像画中迁移到人物照片上,同时保留人物面部的基本语义结构。然而,由于人类视觉对肖像面部语义结构的敏感性,使得肖像风格迁移任务比一般图像的风格迁移更具挑战性,现有的风格迁移方法未考虑漫画风格的抽象性以及肖像面部语义结构的保持,所以应用到肖像漫画化任务时会出现严重的结构坍塌及特征信息混乱等问题。为此,提出了一个双流循环映射网DSCM。首先,引入了一个结构一致性损失来保持肖像整体语义结构的完整性;其次,设计了一个结合U2-Net的特征编码器在不同尺度下帮助网络捕获输入图像更多有用的特征信息;最后,引入了风格鉴别器来对编码后的风格特征进行鉴别从而辅助网络学习到更接近目标图像的抽象漫画风格特征。实验与五种先进方法进行了定性及定量的比较,该方法均优于其他方法,其不仅能够完整地保持肖像的整体结构和面部的基本语义结构,而且能够充分学习到风格类型。     

基于偏最小二乘回归的人脸身份和表情同步识别方法

将偏最小二乘回归方法用于人脸身份和表情的同步识别。首先,对每幅人脸图像进行脸部特征提取以及相应的语义特征定义。在脸部特征提取方面,从每幅图像中标定出若干脸部关键点位置,并提取图像在该关键点处的Gabor小波系数（Gabor特征）以及关键点的坐标值（几何特征）,作为该图像的输入特征。语义特征则定义为该人脸图像所属的表情类别信息以及所对应的人脸身份信息。其次,利用核主成分分析(KPCA)方法对脸部Gabor特征和几何特征进行融合,使得输入特征具有更好的识别特性;最后,运用偏最小二乘回归(PLSR)方法建立脸部特征和语义特征之间的关系模型,并运用此模型对某一测试人脸图像进行表情和身份的同步识别。通过在JAFFE国际表情数据库和AR人脸数据库上的对比实验,证实了所提方法的有效性。     

A portrait photo-to-tattoo transform based on digital tattooing

Tattooing portraits of loved ones is a popular form of love expression and tribute. Tattooing portraits is complicated and challenging because of detailed facial expressions and unique characters of each person. Currently, it is hard for clients to give clear instructions on tattoo designs to tattooists, because there is no effective way to see a portrait tattoo before putting it on the body. In this paper, an algorithm which transforms a given portrait photo to a portrait tattoo is proposed. It takes a portrait photo, a reference portrait tattoo image, a skin image and a set of parameters as inputs. The portrait photo is the person’s face whom the client wants to put on his/her skin. The reference portrait tattoo image is used to control the color and style of the synthetic portrait tattoo. The skin image is taken from the skin region where the client wants to tattoo. By adjusting the parameters, portrait tattoos with different characteristics can be generated. The proposed algorithm uses a series of tailor-made image processing methods and a digital tattoo needle model to perform digital tattooing on the skin image. Comparing with the state-of-the-art style transfer methods, the proposed algorithm produces more realistic portrait tattoos.

     

Manifold‐Based 3D Face Caricature Generation with Individualized Facial Feature Extraction

Caricature is an interesting art to express exaggerated views of different persons and things through drawing. The face caricature is popular and widely used for different applications. To do this, we have to properly extract unique/specialized features of a person's face. A person's facial feature not only depends on his/her natural appearance, but also the associated expression style. Therefore, we would like to extract the neutural facial features and personal expression style for different applicaions. In this paper, we represent the 3D neutral face models in BU–3DFE database by sparse signal decomposition in the training phase. With this decomposition, the sparse training data can be used for robust linear subspace modeling of public faces. For an input 3D face model, we fit the model and decompose the 3D model geometry into a neutral face and the expression deformation separately. The neutral geomertry can be further decomposed into public face and individualized facial feature. We exaggerate the facial features and the expressions by estimating the probability on the corresponding manifold. The public face, the exaggerated facial features and the exaggerated expression are combined to synthesize a 3D caricature for a 3D face model. The proposed algorithm is automatic and can effectively extract the individualized facial features from an input 3D face model to create 3D face caricature.     

Example-based caricature generation with exaggeration control

Caricature is a popular artistic media widely used for effective communications. The fascination of caricature lies in its expressive depiction of a person’s prominent features, which is usually realized through the so-called exaggeration technique. This paper proposes a new example-based automatic caricature generation system supporting the exaggeration of both the shape of facial components and the spatial relationships among the components. Given the photograph of a face, the system automatically computes the feature vectors representing the shape of facial components as well as the spatial relationship among the components. Those features are exaggerated and then used to search the learning database for the corresponding caricature components and for arranging the retrieved components to create the caricature. Experimental results show that our system can generate the caricatures of the example style capturing the prominent features of the subjects.     

级联回归的多姿态人脸配准

目的 人脸配准是当前计算机视觉领域的研究热点之一,其目的是准确定位出人脸图像中具有语义特征的面部关键点,这也是人脸识别、人脸美化等众多与人脸有关的视觉任务的重要步骤。最近,基于级联回归的人脸配准算法在配准精度和速度上都达到了最先进的水准。级联回归是一种迭代更新的算法,初始脸形将通过多个线性组合的弱回归器逐渐逼近真实的人脸形状。但目前的算法大多致力于改进学习方法或提取具有几何不变性的特征来提升弱回归器的能力,而忽略了初始脸形的质量,这极大的降低了它们在复杂场景下的配准精度,如夸张的面部表情和极端的头部姿态等。因此,在现有的级联回归框架上,提出自动估计初始形状的多姿态人脸配准算法。方法 本文算法首先在脸部区域提取基于高斯滤波一阶导数的梯度差值特征,并使用随机回归森林预测人脸形状;然后针对不同的形状使用独立的级联回归器。结果 验证初始形状估计算法的有效性,结果显示,本文的初始化算法能给现有的级联回归算法带来精度上的提升,同时结果也更加稳定;本文算法产生的初始形状都与实际脸型较为相近,只需很少的初始形状即可取得较高的精度;在COFW、HELEN和300W人脸数据库上,将本文提出的多姿态级联回归算法和现有配准算法进行对比实验,本文算法的配准误差相较现有算法分别下降了29.2%、13.3%和9.2%,结果表明,本文算法能有效消除不同脸型之间的干扰,在多姿态场景下得到更加精确的配准结果,并能达到实时的检测速度。结论 基于级联回归模型的多姿态人脸配准算法可以取得优于现有算法的结果,在应对复杂的脸形时也更加鲁棒。所提出的初始形状估计算法可以自动产生高质量的初始形状,用于提升现有的级联回归算法。