基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于条件对抗自动编码器的跨年龄人脸合成

跨年龄人脸合成是指通过已知特定年龄的人脸图像合成其他年龄段的人脸图像,在动漫娱乐、公共安全、刑事侦查等领域有广泛的应用。针对跨年龄人脸合成图像容易产生器官变形扭曲、人脸局部特征保持效果不佳等问题,提出一种基于条件对抗自动编码器的合成方法。通过在解码器结构中引入通道关注和空间关注模块,分别从通道域和空间域提取重要信息,使模型在训练过程中忽略背景等无关信息,聚焦人脸图像变化的区域,有效解决合成图像器官扭曲变形等问题。此外,设计一种多尺度特征损失网络,从多个尺度更深层次地约束人脸图像的局部结构特征,从而保持人脸合成过程中局部特征结构的稳定性。在UTKFace跨年龄人脸数据集上的实验结果表明,与CAAE方法相比,该方法有效避免了人脸器官变形扭曲问题,能够更好地保持人脸局部结构特征,具有较佳的人脸合成效果和细节保持能力。     

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。     

局部回归模型驱动的人脸素描自动生成

为了兼顾生成人脸素描与对应照片间的相像性和艺术性,提出一种利用局部回归模型学习照片-素描间的映射关系自动生成人脸素描的方法.首先在图像局部区域上采用回归技术获得照片-素描对应局部区域之间的映射关系;然后将映射关系应用到输入的人脸照片上,考虑结构性特征并模拟铅笔素描笔触来合成对应的素描图像.在CUFS数据库上的实验结果表明,采用该方法合成的素描保持了原始人脸照片的身份信息,并且体现出较好的铅笔素描纹理.     

基于多尺度结构张量的多类无监督彩色纹理图像分割方法

由于自然图像中包含丰富的颜色信息与多尺度的纹理信息,伴随多个同质目标区域的出现,依靠半监督手动交互标记的图像分割方法难以实现自动分割,因此提出一种多类无监督彩色纹理图像分割方法.首先,提取了颜色特征(向量结构)与多尺度纹理特征(矩阵集合),并对两者分别进行能量描述;对于2种具有不同特征结构的能量函数,通过多类融合策略计算两者的融合因子,并自适应地融合;再将融合后能量函数的全局最优化问题转化为其对应的多层Graph Cut图割模型,利用最大流?最小割理论计算得到全局近似最优解.为了自适应地控制分割过程,提出了自适应迭代分割收敛准则,并最终在自然图像及合成的彩色纹理图像上进行了质量评估与量化分析.实验结果表明,该方法具有较好的目标区域完整性与一致性,并具有较高的准确率.     

基于Retinex的自适应非均匀低照度图像增强算法

非均匀低照度图像会影响目标识别跟踪的效果,为了增强非均匀低照度图像,提出一种基于Retinex理论的自适应亮度层图像增强算法。首先将图像HSI模型中I层图像分离出来;然后通过Retinex理论和多尺度引导滤波器获得I层的入射分量,根据输入图像的均值自动获取调整参数k,对入射分量的亮度进行自适应调整;最后通过主成分分析法(PCA)提取两个图像中的细节特征并进行融合。对比实验表明,该算法能有效提升非均匀低照度图像的整体亮度和细节信息,同时减少非均匀照度的影响。     

基于拉普拉斯微分的脸部细节迁移

为了实现对脸部细节的移植,首先根据脸部特征点的对应关系,分别提出了全局和局部的拉普拉斯人脸细节迁移模型,提取样本图像的细节特征,并将其应用到目标图像上;然后给出人脸皮肤颜色迁移模型,并提出了一个用于解决发型替换过程中边界融合的局部影响图方法,使得对整个人脸细节变换的模拟更为全面和真实.实验结果表明:局部拉普拉斯方法效果更为真实自然,同时也证明文中提出的方法是灵活和有效的.     

非均匀光照条件下的彩色人脸图像增强

针对非均匀光照彩色人脸图像增强中肤色失真问题,提出了一种基于单尺度Retinex和肤色模型的方法。将人脸图像转换至YCbCr颜色空间,并采用不同的方法分别处理Y分量和CbCr分量。针对亮度分量（Y）采用单尺度Retinex方法压缩图像的动态范围,增强图像暗处的细节信息;针对图像中肤色区域,根据肤色在CbCr空间具有聚集性的特点,调整亮度分量增强后肤色像素点色度分量（Cb和Cr）的值,改善肤色区域的颜色质量。在CAS-PEAL人脸库中进行实验,该方法与传统的人脸图像增强方法相比,在图像细节呈现能力和面部色彩真实程度方面均有提高。     

基于多残差动态融合生成对抗网络的人脸素描-照片合成方法

针对现阶段人脸素描-照片合成方法合成的图像存在清晰度较低、面部细节模糊等问题,提出基于多残差动态融合生成对抗网络的人脸素描-照片合成方法.首先设计多残差动态融合网络,从不同的密集残差模块分别提取特征并进行残差学习.然后根据不同层次的多样化残差特征生成对应的偏移量,不同位置的卷积核依据偏移量改变采样坐标,使网络自适应地关...     

Image-based face illumination transferring using logarithmic total variation models

In this paper, we present a novel image-based technique that transfers illumination from a source face image to a target face image based on the Logarithmic Total Variation (LTV) model. Our method does not require any prior information regarding the lighting conditions or the 3D geometries of the underlying faces. We first use a Radial Basis Functions (RBFs)-based deformation technique to align key facial features of the reference 2D face with those of the target face. Then, we employ the LTV model to factorize each of the two aligned face images to an illumination-dependent component and an illumination-invariant component. Finally, illumination transferring is achieved by replacing the illumination-dependent component of the target face by that of the reference face. We tested our technique on numerous grayscale and color face images from various face datasets including the Yale face Database, as well as the application of illumination-preserved face coloring.     

基于面部特征约束的人脸纹理映射及变形

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上,从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中,一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略,可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点;基于特征点,利用Delaunay三角剖分的方法将目标人脸转化为三角网格;采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标;在获得网格点纹理坐标后,就可以实现源人脸到目标人脸的映射。实验表明,该方法可以实现任意人脸间的映射,并能较好地保持人脸五官间的映射关系。     

自动采集样本的图像颜色传递算法

图像的颜色传递是将一幅图像的颜色特征传递给另一幅图像,使目标图像具有与源图像相似的色彩。提出了一种自动采集样本的图像颜色传递方法,利用无监督学习聚类把目标图像和源图像分别分成一定数量的色彩相近的子块,通过计算各子块的纹理特征和亮度统计值,建立样本块之间的对应关系。从各子块中取出数据点密度较大的像素组成样本块。进而利用最佳匹配算法,查找目标样本块的像素在源图像对应样本块中的最佳匹配像素,将其颜色值传给目标像素。以目标图像中已完成颜色传递的样本块作为参考样本,使用纹理对比方式完成样本块以外其它像素的颜色传递。该自动采集样本算法既可用于彩色图像间颜色传递,也适用于灰度图像与彩色图像间颜色传递。在目标图像和源图像的各子块有明显纹理和亮度特征时,该算法可方便地用于批处理和视频中。     

基于聚类的自动颜色传输

提出了一种基于聚类的颜色传输算法。利用算法可以自动完成彩色图像间、彩色图像和黑白图像间的全局或者局部颜色传输。首先,对于源图像,将采用混合高斯模型进行建模,并利用EM算法求得相应参数完成图像自动聚类。对于目标图像,如果是彩色图像,采用同样聚类方法。如果是黑白图像,采用K-Means聚类法。完成源图像和目标图像的聚类,并建立双方聚类区域的对应关系后,通过改变目标图像中像素的Lαβ通道值完成色彩传输功能。实验证明,算法高效且无需人工干预,颜色传输效果很理想。     

Consistent color and detail transfer from multiple source images for video and images

In this paper, we propose a method to jointly transfer the color and detail of multiple source images to a target video or image. Our method is based on a probabilistic segmentation scheme using Gaussian mixture model (GMM) to divide each source image as well as the target video frames or image into soft regions and determine the relevant source regions for each target region. For detail transfer, we first decompose each image as well as the target video frames or image into base and detail components. Then histogram matching is performed for detail components to transfer the detail of matching regions from source images to the target. We propose a unified framework to perform both color and detail transforms in an integrated manner. We also propose a method to maintain consistency for video targets, by enforcing consistent region segmentations for consecutive video frames using GMM-based parameter propagation and adaptive scene change detection. Experimental results demonstrate that our method automatically produces consistent color and detail transferred videos and images from a set of source images.     

Preserving privacy by de-identifying face images

In the context of sharing video surveillance data, a significant threat to privacy is face recognition software, which can automatically identify known people, such as from a database of drivers' license photos, and thereby track people regardless of suspicion. This paper introduces an algorithm to protect the privacy of individuals in video surveillance data by deidentifying faces such that many facial characteristics remain but the face cannot be reliably recognized. A trivial solution to deidentifying faces involves blacking out each face. This thwarts any possible face recognition, but because all facial details are obscured, the result is of limited use. Many ad hoc attempts, such as covering eyes, fail to thwart face recognition because of the robustness of face recognition methods. This work presents a new privacy-enabling algorithm, named k-Same, that guarantees face recognition software cannot reliably recognize deidentified faces, even though many facial details are preserved. The algorithm determines similarity between faces based on a distance metric and creates new faces by averaging image components, which may be the original image pixels (k-Same-Pixel) or eigenvectors (k-Same-Eigen). Results are presented on a standard collection of real face images with varying k.     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。     

人脸的层次化描述模型及识别研究

人脸自动识别是一个困难但有重要意义的工作。文中提出了一种基于人脸层次化描述的识别方法。该方法首先对人脸进行快速准确的特征定位及标准化,然后采用主元分析神经网络分别对定位的人脸及其特征区域进行最佳特征提取,从而得到人脸在低分辨率和较高分辨率上的两层特征描述用以识别,具有识别率高、特征数据量适中、可用于大量人像识别等特点。此方法在１３００幅人像上进行了测试,结果表明其在人脸转动、表情变化或入脸未经训练