基于多关联模板匹配的人脸检测

提出一种基于多关联模板匹配的人脸检测算法.模板由一系列关联的双眼模板和人脸模板组成,它们都是通过仿射变换根据伸缩比和姿态(即旋转角度)从单一平均脸模板产生出来的.首先,使用双眼模板搜索候选人脸,再用人脸模板匹配进一步筛选候选人脸,最后,通过启发式规则验证是否是人脸.对于各种类型的图像进行大量实验的结果表明,该算法对于正面包括多角度人脸的检测很有效.     

条件主动外观模型下的人脸特征点跟踪

为了完成人脸关键特征点的精确定位跟踪,提出一种改进的基于反向合成匹配算法的条件主动外观模型匹配及其初始化算法.该算法假设已知正面人脸的关键特征点,首先通过建立散乱点对应与标定点对应之间的映射,根据给定的正面人脸标定点对任意姿态的侧面人脸进行自动初始标定,映射关系由核岭回归算法学习得到;将该标定点作为人脸跟踪算法的初始化点,然后利用条件主动外观模型反向合成匹配算法建立正面与任意姿态人脸的外观和形状模型,并对模型参数进行迭代优化;最后得到最优的任意姿态人脸的轮廓点,完成人脸跟踪.实验结果证明,与同类方法相比,该算法表现出了良好的性能,可在较短的计算时间内获得较高的定位精度.     

基于空间加权Hausdorff 距离的彩色图像人脸检测

文中介绍一种利用人脸横向边缘进行模板匹配的彩色图像人脸检测技术.其中模板由人脸边缘的空间分布概率生成.使用空间加权Hausdorff距离作为模板匹配度量,它不仅能有效的检测出人脸,而且匹配速度快.为了缩小模板搜索范围,首先对输入图像进行肤色分割.实验结果表明,该方法对复杂背景下的无深度旋转人脸图像具有良好的检测能力,且对光照条件不敏感.     

表情数据库无关的人脸表情转移

为了提高人像的脸部表情质量,提出一种面向同一人脸表情转移的方法.该方法的输入包括2幅人脸图像、中性人脸库以及人脸blendshape模型.首先根据人脸轮廓面积,从2幅输入人脸图像中选择一幅近正面人脸图像,并利用中性人脸库及人脸blendshape模板生成输入人脸的特定blendshape模型;然后利用blendshape模型生成与输入人脸图像匹配的三维人脸模型,并利用RBF网格变形算法对其进行调整;最后利用生成的三维人脸模型对2幅输入图像进行扭曲,并通过图像混合的方式生成表情转移图像.实验结果表明,文中方法能够生成自然的表情转移图像,有效地提高原有图像中的人脸表情质量.     

基于SFM算法的三维人脸模型重建

提出了一种根据两幅正面人脸图像和一幅侧面图像重建人脸三维模型的算法，该算法主要包括4个步骤：寻找匹配点；采用SFM算法计算出特征点的三维坐标，并组成稀疏的三维网格结构；采用分步紧支撑径向基函数进行三维插值，得到三维模型；最后根据多分辨图像拼接算法生成纹理图像并将其映射到三维模型上，从而增强真实感，与其它算法相比，该算法最大的不同之处在于匹配点的寻找，匹配点的准确与否直接影响SFM算法结果的正确性，许多寻找匹配点的算法如角点匹配算法，在处理人脸图像时得到的结果并不稳定，这是因为人脸图像上包含了许多低纹理和重复纹理区域，大多数算法将代表人脸结构基本特征的基准模型运用在重建过程的最后一步，通过三维逼近运算，得到最终的重建模型，而该算法将反映人脸共性特征的几何对称性和规律性运用到匹配点的寻找中，能够快速准确地找出SFM算法需要的匹配点，用户使用普通照相机拍摄到的图像经本算法的处理后就可以得到相应的三维人脸结构。     

基于照片的可编辑光照效果卡通人脸生成算法

提出一种基于照片的可编辑光照效果卡通人脸图像生成算法。算法首先提取输入人脸照片的边缘轮廓,生成线条画;其次对输入照片进行本征分解,分离出光照图像和材质图像;然后对光照图像进行光照编辑,如量化、非线性增强等;对材质图像进行抽象化处理,并融合线条画得到卡通图像;最后将编辑过的光照图像添加到卡通图像上生成含有光照效果的人脸卡通图像。实验结果表明:该算法生成的人脸卡通图像效果逼真,并且可对光照进行编辑。     

基于条件流的人脸正面化生成对抗模型

根据侧面人脸合成正面人脸一直是计算机视觉领域中的一个难题。对此设计基于条件流的人脸正面化生成对抗网络模型。采用Glow模型作为生成网络实现高效的推理和合成;采用条件实例归一化层(CIN)来控制正面人脸的生成;采用变分判别器瓶颈(VDB),以潜在变量对身份进行判别,生成身份一致的正面人脸。在Multi-PIE数据集上进行实验,实验分析表明,该网络模型可以生成更具真实性和多样性的正面人脸图片。     

基于特征和弹性网格模型的快速人脸建模

为解决特定人脸的建模问题提供了一个简单而行之有效的方法。给定特定人脸的正面侧面照片,以及内嵌具有人脸特征信息的弹性人脸网格模型,采用基于小波分析的方法进行人脸特征识别,基于特定人脸的特征线相对于一般人脸模型上的特征线的位移,根据弹性系数求解所有点的位移变化,适配特定人脸几何。纹理映射之后生成能以任意视线方向观察的高度真实感特定人脸。该方法能在廉价的PC平台上快速而方便地得到实现。     

基于双属性图表示的通用人脸图像识别系统

该文提出一个通用的人脸图像识别系统GFRS,对于人脸库中每个待识目标只存储一幅图像的情况下,可以实现各种干扰条件下人脸图像的识别,该系统提出使用双属性图来表示人脸图像,首先利用逐步求精定位法得到人脸图像各局部特征点的位置,图中每个特征点由两上特征属性来描述,即局部主成分特征系数和Gabor变换特征参数,从而构造了双属性图,然后给出双属性图匹配函数、匹配算法以及相应的识别方法。     

基于方向场分布率的静脉图像分割方法

提出了一种新的静脉图像分割方法, 该方法以方向场分布率(Distribution ratio of directional fields, DRDF)作为区分静脉纹路和背景的分割准则. 首先利用邻域信息和邻域分块模板计算图像中每个像素点的方向场以生成方向场图像, 然后根据方向场图像中像素点互补半圆区域内的方向场分布率和分布判定函数计算出8灰度级图像, 最后确定二值化参数将8灰度级图像二值化得到最终图像分割结果. 该方法结合静脉图像特征, 充分利用方向场图像的空间属性,克服了照度不均、粗细不均以及边界模糊等因素对分割造成的影响. 实验结果表明该方法对于静脉图像具有很好的分割效果.     

Online Personalised Non‐photorealistic Rendering Technique for 3D Geometry from Incremental Sketching

This paper presents an online personalised non‐photorealistic rendering (NPR) technique for 3D models generated from interactively sketched input. This technique has been integrated into a sketch‐based modelling system. It lets users interact with computers by drawing naturally, without specifying the number, order, or direction of strokes. After sketches are interpreted as 3D objects, they can be rendered with personalised drawing styles so that the reconstructed 3D model can be presented in a sketchy style similar in appearance to what have been drawn for the 3D model. This technique captures the user's drawing style without using template or prior knowledge of the sketching style. The personalised rendering style can be applied to both visible and initially invisible geometry. The rendering strokes are intelligently selected from the input sketches and mapped to edges of the 3D object. In addition, non‐geometric information such as surface textures can be added to the recognised object in different sketching modes. This will integrate sketch‐based incremental 3D modelling and NPR into conceptual design.     

结合图元与感知哈希的手写输入简笔画识别

目的 为了克服手写输入中随意性强和自由度大的缺陷,同时兼顾简笔画的整体属性和局部特征,提出一种基于图元识别与感知哈希技术相结合的手写输入简笔画二级识别算法。方法 首先提取笔画的几何特征、笔序特征及结构特征且进行识别,然后查找由图元信息、笔画结构信息和笔序信息构成的简笔画语义库,完成由规则的几何图元构成的简笔画识别;若未被识别,则生成简笔画图像,利用感知哈希技术完成简笔画图像的识别。结果 基于本文提出的简笔画识别方法,实现了对样本库中150种简笔画对象的识别,平均识别率为82.6%。结论 实验结果表明,对于不同用户手写输入的任意样本库中的简笔画,该方法具有较高的识别率,此外,还可以通过在简笔画语义库和样本库中增加简笔画的种类等方式实现对更多种类简笔画的扩展识别。     

Human Face Image Searching System Using Sketches

This paper reports a human face image searching system using sketches. A two-phase method, namely, sketch-to-mug-shot matching and human face image searching using relevance feedback, is designed and developed. In the sketch-to-mug-shot matching phase, we have developed a facial feature matching algorithm using local and global features. A point distribution model is employed to represent local facial features while the global feature consists of a set of the geometrical relationship between facial features. It is found that the performance of the sketch-to-mug-shot matching is good if the sketch image looks like the mug shot image in the database. However, in some situations, it is hard to construct a sketch that looks like the photograph. To overcome this limitation, this paper makes use of the concept of ldquohuman-in-the-looprdquo and proposes a human face image searching algorithm using relevance feedback in the second phase. Positive and negative samples will be collected from the user. A feedback algorithm that employs subspace linear discriminant analysis for online learning of the optimal projection for face representation is then designed and developed. The proposed system has been evaluated using the FERET database and a Japanese database with hundreds of individuals. The results are encouraging.     

双重对偶生成对抗网络的跨年龄素描—照片转换

目的 跨年龄素描-照片转换旨在根据面部素描图像合成同一人物不同年龄阶段的面部照片图像。该任务在公共安全和数字娱乐等领域具有广泛的应用价值,然而由于配对样本难以收集和人脸老化机制复杂等原因,目前研究较少。针对此情况,提出一种基于双重对偶生成对抗网络（double dual generative adversarial networks,D-DualGANs）的跨年龄素描-照片转换方法。方法 该网络通过设置4个生成器和4个判别器,以对抗训练的方式,分别学习素描到照片、源年龄组到目标年龄组的正向及反向映射。使素描图像与照片图像的生成过程相结合,老化图像与退龄图像的生成过程相结合,分别实现图像风格属性和年龄属性上的对偶。并增加重构身份损失和完全重构损失以约束图像生成。最终使输入的来自不同年龄组的素描图像和照片图像,分别转换成对方年龄组下的照片和素描。结果 为香港中文大学面部素描数据集（Chinese University of Hong Kong（CUHK）face sketch database,CUFS）和香港中文大学面部素描人脸识别技术数据集（CUHK face sketch face recognition technology database,CUFSF）的图像制作对应的年龄标签,并依据标签将图像分成3个年龄组,共训练6个D-DualGANs模型以实现3个年龄组图像之间的两两转换。同非端到端的方法相比,本文方法生成图像的变形和噪声更小,且年龄平均绝对误差（mean absolute error,MAE）更低,与原图像相似度的投票对比表明1130素描与3150照片的转换效果最好。结论 双重对偶生成对抗网络可以同时转换输入图像的年龄和风格属性,且生成的图像有效保留了原图像的身份特征,有效解决了图像跨风格且跨年龄的转换问题。     

人脸画像合成研究的综述与对比分析

人脸画像合成通常是在给定一些训练画像-照片的前提下,将一张输入的人脸照片转换为画像的过程.目前并没有一个系统性的实验对比分析揭示当前此过程面临的挑战以及可能的解决思路.文中对具有代表性的各类方法进行综合深入对比与分析.人脸画像合成方法归纳为2类:数据驱动类方法(即基于样本的方法)和模型驱动类方法.数据驱动方法由3类方法组成:基于子空间学习的方法、基于稀疏表示的方法和基于贝叶斯推断的方法.模型驱动方法直接学习照片到画像的映射关系.文中给出一些之前文献中并未发现的有意义的结论和展望.     

基于双层级联GAN的草图到真实感图像的异质转换

不同于pix2pix框架将边缘线条图转换为真实感图像的工作,文中探讨更便于人机交互的手绘草图到真实感图像的转换问题.首先设计双层级联生成对抗网络(GAN)结构实现转换任务.第一层GAN根据草图的形态结构、语义内容等信息生成粗粒度真实感图像,第二层GAN将第一层的结果转换为更生动形象的高分辨真实感图像.然后,针对上述网络训练中现有可用的“草图-图像”数据集十分稀缺的问题,提出依据给定的图像自动生成模拟草图数据的方法.通过改进HED边缘检测算法获得草图轮廓,并采用移动最小二乘策略对轮廓进行变形,模拟草图形态意向可辨、线条简洁、具有随意性的特点.实验表明,将手绘草图作为输入,文中方法转换结果图的合理性和视觉真实感优于基于边缘线条图训练的方法.此外,文中方法可以推广到涉及草图处理的其它应用领域.     

Recovering solid geometric object from single line drawing image

Many educational materials contain a lot of solid geometric figures. The solid geometric objects in these figures are usually drawn as 2D line drawings thus have lost their 3D information. This paper presents a method to recover the 3D information of the solid geometric object from single line drawing image taken from the geometric books, which would be used to help the users better present and understand the solid geometric object on their mobile devices. The main advantage of our method is the abilitYTo handle inaccurately processed sketches as opposed to the previous methods which require perfect line drawings as inputs. Our method consists of three main steps as follows. First, the sketch of the input line drawing image is automatically extracted and further represented as an undirected graph. Second, candidate 3D models from the pre-built 3D model database are found by graph similarity-based searching and sub-graph isomorphism matching. Third, for each candidate 3D model, the model parameters, the rotation and the translation aligning the model with the sketch are found by minimizing an objective function which is composed of the residuals between the vertices of the sketch and the 2D projections of the candidate model’s vertices, and an optimal reconstruction solution is further selected as the final result. Extensive experimental results demonstrate the effectiveness and robustness of our method for recovering the solid geometric object from single line drawing image.     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.