特征子空间规整化的人脸图像超分辨率重建

传统的图像超分辨率(SR)方法中的规整化技术一般用于保持求解过程的数值稳定性以及提供解的平滑性约束,但并不能确保高质量的重建结果.将人脸图像块看作一些特定信号类,利用主成分分析计算训练人脸图像块的特征子空间;并将传统的"重建约束"与人脸图像块的"正交补特征子空间约束"统一在贝叶斯框架下,提出一种人脸图像SR的规整化方法.不局限于以往SR方法中普遍假定的纯平移运动模型的限制,在仿射变换运动模型下提出了3种图像配准与超分辨率重建的联合迭代求解算法.最后通过仿真结果证实了文中方法的有效性.     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

基于多尺度和多方向特征的人脸超分辨率算法

提出一个基于学习的人脸图像超分辨率算法．该算法采用可操纵金字塔学习人脸图像中的低层次局部特征的空间分布，并结合塔状的父结构和局部最优匹配算法来预测最佳先验模型；然后将先验模型结合到贝叶斯最大后验概率框架中；最后使用最速下降法求出最优的高分辨率人脸图像．实验结果表明，该算法生成的高分辨率人脸图像具有较好的视觉效果．     

双层级联神经网络的人脸超分辨率重建

针对普通的基于卷积神经网络的人脸超分辨率方法未能结合人脸结构信息，重建图像易出现五官偏移、边缘模糊等问题，提出一种基于双层级联神经网络的人脸超分辨率重建方法。在重建网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性。在CelebA与Helen数据集上的实验结果验证了该方法对正面人脸能够准确地重建面部五官，对侧面及遮挡人脸等不同的变形人脸也具有强鲁棒性。     

基于属性分解融合的可控人脸图像合成算法

在现实生活中，人脸图像受隐私或安全因素的限制难以直接采集，因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时，容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题，提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间，再与全局特征进行融合插值实现对人脸关键特征的可控生成；引入改进的注意力模块，在生成过程中关注局部特征和全局特征的相关性；将色差损失和人脸分量损失联合引入整体损失函数中，负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征，保留原始身份信息，并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明，该算法在主观视觉效果上有显著提升，同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

基于◢L◣▼1/2▽正则化和局部纹理约束的人脸超分辨率图像重建

为了更好地利用低分辨率人脸图像,提出了一种基于◢L◣▼1/2▽正则化和局部纹理约束的人脸超分辨率重建。在人脸重建的过程中,使用非负矩阵分解将人脸图像放大到合适的中等分辨率,使用局部纹理约束加强纹理特征提取;然后使用局部稀疏先验进行人脸图像重建,再次加入重建约束和局部纹理约束。为了使获取的人脸图像稀疏系数更加稀疏,使用◢L◣▼1/2▽正则化求解稀疏表示系数。实验结果表明,重建的人脸图像保持了原图像的结构,可以实现很好的重建结果,并且具有更好的鲁棒性。     

一种基于Real AdaBoost算法的EOM人脸检测方法

提出一种基于Real AdaBoost算法的边缘方位匹配(EOM)人脸检测方法.该方法提取人脸图像的边缘方位特征,一定程度上克服光照等干扰因素的影响.采用Real AdaBoost算法通过多次迭代学习过程获取人脸的整体模式(全局特征点集).在每次迭代学习过程中,采用区域选择策略获取人脸的局部模式(局部特征点集).与传统的EOM方法相比,本文方法所获取的人脸模式更精确.正面人脸检测实验证实这一点.     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

一种快速而精确的多人脸检测与定位算法

根据由粗到精的思路，综合利用了眼睛器官的特征、人脸模板以及基于人脸区域象素分布的统计信息等线索．首先用基于AdaBoost学习算法的级联模型发现可疑人脸区域，然后在可疑人脸区域内发现可疑眼睛区域并组合可疑眼睛区域对得到候选人脸区域，最后用人脸模板验证候选人脸区域，精化人脸定位．实验表明．本算法能快速而精确地实现多人脸检测与定位，且对彩色图像和灰度图像都适用．     

基于差分算子边缘约束先验的图像盲复原算法

为了有效克服图像在复原过程的边缘退化、振铃效应等影响,使空间域的边缘先验信息能够灵活的添加到图像复原算法中,依据差分算子描述检测边缘的特性,将数字摄影测量学中的拉普拉斯算子、Robert梯度算子、方向差分算子作为一种新的边缘约束先验引入到图像复原过程中,同时使用Toeplitz矩阵实现图像在空间域解卷积的过程,提出了一种以差分算子为边缘约束先验的空域图像复原算法。模拟数据的实验结果体现了更多的细节信息,相关评价指标表明了该算法的有效性。     

基于最小鉴别信息的正则化图像恢复方法

提出在正则化图像恢复方法中将图像恢复结果与先验图像的最小鉴别信息作为新的正则化约束.同传统的正则化约束不同,新的约束使得恢复的图像与给定的先验图像具有最相似的灰度分布.同时给出一种自适应确定正则化参数的方法.实验结果表明,新方法在恢复效果上要优于传统的正则化方法,但对噪声则比较敏感.因此,提出在降质图像含有较多的噪声时保留传统的正则化约束,以达到更好的恢复效果.     

Microscopic image restoration based on tensor factorization of rotated patches

In microscopic image processing for analyzing biological objects, structural characters of objects such as symmetry and orientation can be used as a prior knowledge to improve the results. In this study, we incorporated filamentous local structures of neurons into a statistical model of image patches and then devised an image processing method based on tensor factorization with image patch rotation. Tensor factorization enabled us to incorporate correlation structure between neighboring pixels, and patch rotation helped us obtain image bases that well reproduce filamentous structures of neurons. We applied the proposed model to a microscopic image and found significant improvement in image restoration performance over existing methods, even with smaller number of bases.     

全局平滑和边缘保持的单幅图像去雾

针对现有基于暗原色先验理论的去雾方法在天空区域容易产生失真和边缘定位不准确的问题,提出了一种雾天图像直接去雾方法。根据雾天成像模型和空间变化图像复原思想,构建了数据项;通过深入分析天空区域产生失真的原因、透射率图像和复原图像的边缘特征,构建了约束项,并通过线性组合数据项和约束项,构建了一个能量泛函;利用分步梯度下降流法最优化该能量泛函,实现了复原图像的精确求解。实验结果表明,与传统方法相比,该方法不但能更好地抑制天空区域失真现象的产生,也能更精确地定位复原图像的边缘。     

混合特性正则化约束的运动模糊盲复原

目的 为了提高运动模糊图像盲复原清晰度,提出一种混合特性正则化约束的运动模糊盲复原算法。方法 首先利用基于局部加权全变差的结构提取算法提取显著边缘,降低了噪声对边缘提取的影响。然后改进模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。最后改进梯度拟合策略,并加入保边正则项,使图像梯度更加符合重尾分布特性,且保证了边缘细节。结果 本文通过两组实验验证改进模型与所提算法的优越性。实验1以模拟运动模糊图像作为实验对象,通过对比分析5种组合步骤算法的复原效果,验证了本文改进模糊核模型与改进复原图像模型的鲁棒性较强。实验结果表明,本文改进模型复原图像的边缘细节更加清晰自然,评价指标明显提升。实验2以小型无人机真实运动模糊图像为实验对象,通过与传统算法进行对比,对比分析了所提算法的鲁棒性与实用性。实验结果表明,本文算法复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,且具有较好的主观视觉效果。结论 针对运动模糊图像盲复原,通过理论分析和实验验证,说明了本文改进模型的优越性,所提算法的复原效果较好。     

基于粒子滤波的人脸图像超分辨率重建方法

将人脸图像超分辨率重建描述为人脸混合模型的纹理和位置参数的贝叶斯概率估计问题,将超分辨率重建的图像配准和像素融合这两个过程置于统一的概率估计框架下,并利用基于粒子滤波的参数估计算法,同时估计纹理和位置参数,从而实现人脸图像的超分辨率重建.包含灰度和位置两种先验信息的人脸混合模型,同时用于超分辨率重建的两个过程中,提高了图像配准精度和重建算法的性能,避免了通常方法在获得准确鲁棒的运动场估计时需要清晰的高分辨图像,而获得清晰的高分辨图像时又需要准确鲁棒运动场估计的困境.正面人脸合成序列图像实验结果表明,该方法获得的重建结果较为理想.     

Image restoration by matching gradient distributions

The restoration of a blurry or noisy image is commonly performed with a MAP estimator, which maximizes a posterior probability to reconstruct a clean image from a degraded image. A MAP estimator, when used with a sparse gradient image prior, reconstructs piecewise smooth images and typically removes textures that are important for visual realism. We present an alternative deconvolution method called iterative distribution reweighting (IDR) which imposes a global constraint on gradients so that a reconstructed image should have a gradient distribution similar to a reference distribution. In natural images, a reference distribution not only varies from one image to another, but also within an image depending on texture. We estimate a reference distribution directly from an input image for each texture segment. Our algorithm is able to restore rich mid-frequency textures. A large-scale user study supports the conclusion that our algorithm improves the visual realism of reconstructed images compared to those of MAP estimators.     

Region removal and restoration using a genetic algorithm with isophote constraint

In this paper, we propose an efficient method for region removal and restoration based on a genetic algorithm (GA) with isophote constraint. The image restoration problem is modeled as an optimization problem, which in our case, is solved by a cost function with isophote constraint that is minimized using a GA. We consider that an image is decomposed into isophotes based on connected components of constant intensity. Our method creates an optimal connection of all pairs of isophotes in an image plane. In the proposed method, we estimate the value of the smoothness, given by the best chromosome of the GA, and project this value in the isophotes direction. The proposed method restores the inside of the region using a geometric feature of the image from the surrounding area. It can be used to make a natural scene in which a commercial advertisement caption, subtitle or logo in an advertisement scene are removed. Experimental results show a great possibility for automatic removal and restoration of a region in an advertisement scene.     

空域中基于正则化的自适应超分辨率图像复原

对于模糊图像的复原问题,从正则化技术克服问题病态性的思想出发,研究了一种有效的超分辨率图像复原方法.在Nguyen等人的正则图像复原框架的基础上,根据Roberts交叉梯度算子构造正则项,从自适应的角度生成正则化参数,并用共轭梯度法求解该模型的目标泛函极小值.计算机仿真结果表明,该方法可较好的再现图像的重要信息,复原图像的相对误差降低,同时,峰值信噪比和主观视觉效果方面都有明显的提高.     

身份保持约束下的人脸图像补全

人脸图像补全作为图像补全技术的一种特殊应用,在被遮挡人脸的识别、人脸修复等问题上有不可替代的作用。现有的人脸补全算法只针对补全图像的真实性,而未考虑其补全后的身份一致性。针对这一问题,设计了一种基于改进的生成式对抗网络的人脸补全算法,通过引入SN-GAN算法,提高了模型训练的稳定性,同时利用人脸识别模型对生成图像加入了身份一致性约束,经过实验证明,所提方法能够在生成高真实性图像时有效保持补全图像的身份一致。