基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建.而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量.针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的...     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等.基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题.针对这些问题,文中提出基于改进Cy-cleGAN的人脸性别伪造图像生成模型.首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人...     

人脸图像超分辨率非线性算法

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该文方法具有输出质量好、效率高的特点。     

基于组合学习的人脸超分辨率算法

现有的基于深度学习的人脸超分辨算法大部分仅仅利用一种网络分区重建高分辨率输出图像,并未考虑人脸图像中的结构性信息,导致了在人脸的重要器官重建上缺乏足够的细节信息。针对这一问题,提出一种基于组合学习的人脸超分辨率算法。该算法独立采用不同深度学习模型的优势重建感兴趣的区域,由此在训练网络的过程中每个人脸区域的数据分布不同,不同的子网络能够获得更精确的先验信息。首先,对人脸图像采用超像素分割算法生成人脸组件部分和人脸背景图像;然后,采用人脸组件生成对抗网络（C-GAN）独立重建人脸组件图像块,并采用人脸背景重建网络生成人脸背景图像;其次,使用人脸组件融合网络将两种不同模型重建的人脸组件图像块自适应融合;最后,将生成的人脸组件图像块合并至人脸背景图像中,重建出最终的人脸图像。在FEI数据集上的实验结果表明,与人脸图像超分辨率算法通过组件生成和增强学习幻构人脸图像（LCGE）及判决性增强的生成对抗网络（EDGAN）相比,所提算法的峰值信噪比（PSNR）值分别高出1.23 dB和1.11 dB。所提算法能够采用不同深度学习模型的优势组合学习重建更精准的人脸图像,同时拓展了图像重建先验的来源。     

人脸图像超分辨率非线性学习算法

针对一般学习算法效率低下的问题,提出一种马尔可夫网络模型下的非线性学习算法。对输入的低分辨率图像以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集,利用训练集人脸图像的差异,采用块坐标限位操作技术,给出一种非线性样本搜索算法,降低搜索空间复杂度,提高了匹配效率和相关性。利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该方法具有输出质量好、效率高的特点。     

基于CycleGAN的人脸素描图像生成

CycleGAN是一种基于生成对抗网络的衍生模型,可以在缺少成对训练图像的条件下实现两个具有不同风格的图像域之间的相互转换.由于收集大量成对的人脸图像和素描图像存在较大的难度,并且针对人脸素描图像生成任务中存在的图像细节模糊和低清晰度的问题,提出一种改进的CycleGAN模型.通过引入基于注意力机制的残差模块,让Cyc...     

基于改进CycleGAN的人脸剪纸自动生成

针对人脸剪纸手工设计难度大, 制作周期长等问题, 本文首次利用生成对抗网络生成高质量人脸剪纸. 面向人脸剪纸艺术特点, 提出了一种基于CycleGAN的改进网络: 1) 在原始CycleGAN生成器中引入CBAM注意力模块, 增强网络特征提取能力; 2) 引入针对鼻、眼、唇等关键面部区域的局部鉴别器, 提升人脸剪纸中以上区域的生成效果; 3)设计基于图像边缘信息与SSIM的损失函数, 取代CycleGAN的前向循环一致损失, 消除所得人脸剪纸中的阴影. 相较于其他人脸剪纸自动生成方法, 本文方法可快速生成与原始人脸相似度高、线条连续流畅、具有艺术美感的人脸剪纸. 此外, 本文还提出了一种人脸剪纸连通性后处理方法, 使所得结果更符合中国传统剪纸整体连通的特点.     

基于马尔可夫网络人脸图像超分辨率非线性算法*

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在采用块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,本方法具有输出质量好、效率高的特点。     

基于人脸超分的网络视频人脸检测

针对网络视频质量低导致人脸检测准确率低的问题,提出一种基于人脸超分辨率重建的SR Face Detection模型.使用去掉自监督分支且以Resnet50为基础网络的RetinaFace进行帧图片人脸的粗提取;在人脸检测器后增加一个人脸超分辨率重建网络,剔除粗提取人脸中的非人脸.该超分网络的生成网络使用残差密集块进行特征提取,加入注意力损失和热图,更好地还原面部细节;根据实际需求设计一个多判别功能的判别网络.实验结果表明,SR Face Detection模型在WID-ER FACE数据集上取得了令人信服的结果,提高了人脸检测准确率,且人脸检测场景越复杂,效果提升越明显.     

渐进式生成对抗网络的人脸超分辨率重建

人脸幻构是图像超分辨率重建领域的一个子领域,用于恢复面部基本特征且不变形.现有方法着重于恢复本身细节相对丰富的图像,本文针对高频细节已丢失严重的人脸图像提出了一种渐进式生成对抗网络的人脸超分辨率重建方法(P-FSR-GAN),可生成逼真的8倍超高分辨率人脸图像.采用渐进式生成方法,通过分阶段拆分训练的方式来保证训练过程...     

基于GPU加速的实时视频超分辨率重建

基于稀疏表示的超分辨率算法的图像重建质量好,但算法复杂,现有的CPU串行执行算法无法满足视频实时处理的需要。为此提出了基于GPU加速的稀疏表示的实时视频超分辨率算法。该算法着重于优化数据并行处理流程,提高GPU资源利用率,通过设置视频帧队列、提高显存访问并发率、采用主成分分析(PCA)降维、优化字典查找等手段,使算法执行速度比现有CPU串行算法提高了2个数量级,在显示分辨率为669×546的视频回放测试中达到每秒33帧。     

基于图像超分辨极限学习机的极低分辨率人脸识别

极低分辨率图像本身包含的判别信息少且容易受到噪声的干扰,在现有的人脸识别算法下识别率较低。为了解决这一问题,提出一种基于图像超分辨率(SR)极限学习机(ELM)的人脸识别算法。首先,从样本库学习耦合的高低分辨率图像稀疏表达字典,利用高低分辨率表达系数的流形一致性重建高分辨率图像;其次,在超分辨率重建的高分辨率(HR)图像上构建ELM模型,训练获得前向神经网络的连接权值;最后,通过ELM预测输入极低人脸图像的类别属性。实验结果表明,针对于重建后的极低分辨率人脸图片,与协同表示的分类(CRC)人脸识别算法相比,所提算法将识别率分别提升了2%;同时也大幅度缩短了识别的时间。结果表明所提算法能够有效解决极低分辨率图片判决信息不足的问题,具有较好的识别能力。     

基于深度残差生成对抗网络的医学影像超分辨率算法

针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络（GAN）的医学影像超分辨率算法。首先,算法包括生成器网络和判别器网络,生成器网络生成高分辨率图像,判别器网络辨别图像真伪。然后,通过设计生成器网络的上采样采用缩放卷积来削弱棋盘效应,并去掉标准残差块中的批量规范化层以优化网络;进一步增加判别器网络中特征图数量以加深网络等方面提高网络性能。最后,用生成损失和判别损失来不断优化网络,指导生成高质量的图像。实验结果表明,对比双线性内插、最近邻插值、双三次插值法、基于深度递归神经网络、基于生成对抗网络的超分辨率方法（SRGAN）,所提算法重建出了纹理更丰富、视觉更逼真的图像。相比SRGAN方法,所提算法在峰值信噪比（PSNR）和结构相似度（SSIM）上有0.21 dB和0.32%的提升。所提算法为医学影像超分辨率的理论研究提供了深度残差生成对抗网络的方法,在其实际应用中可靠、有效。     

基于稀疏神经网络的图像超分辨率重建算法

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上改变权重参数并使用均衡学习策略,提出一种适用于图像超分辨率重建任务的神经网络非结构化剪枝算法RLTH。在不改变网络结构和不增加计算复杂度的前提下,通过搜索原始网络模型的最优稀疏子网络排除冗余参数带来的影响,在有限的参数资源中捕获更细粒度和丰富的图像特征,进而提高网络模型的整体特征表达能力。基于Set5、Set14和BSD100测试集的实验结果表明,与原始网络模型和应用LTH剪枝算法相比,应用RLTH算法获得的重建图像PSNR和SSIM均得到提升,且具有更丰富的细节特征,整体和局部轮廓更清晰。     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络(GAN)的图像超分辨率重建算法.算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而...     

基于局部回归模型的图像超分辨率重建

针对基于稀疏重建的图像超分辨率(SR)算法一般需要外部训练样本,重建质量取决于待重建图像与训练样本的相似度的问题,提出一种基于局部回归模型的图像超分辨率重建算法。利用局部图像结构会在不同的图像尺度对应位置重复出现的事实,建立从低到高分辨率图像块的非线性映射函数一阶近似模型用于超分辨率重建。其中,非线性映射函数的先验模型是直接对输入图像及其低频带图像的对应位样本块对通过字典学习的方法得到。重建图像块时利用图像中的非局部自相似性,对多个非局部自相似块分别应用一阶回归模型,加权综合得到高分辨率图像块。实验结果表明,该算法重建的图像与同样利用图像具有自相似性的相关超分辨率算法相比,峰值信噪比(PSNR)平均提高0.3~1.1 dB,主观重建效果亦有明显提高。     

基于小波稳健的超分辨率图像重建算法

针对超分辨率图像重建算法多存在计算量大、收敛稳定性不高且收敛慢的问题,提出一种基于小波稳健的正则化超分辨率图像重建算法。该算法利用小波变换生成初始图像,对重建图像的质量有明显提高。采用1-范式(L1)度量正则项,增强了算法的稳健性,通过导入自适应的正则参数提高了算法的效率。经仿真实验证明了算法的有效性。     

基于最大后验估计的影像盲超分辨率重建方法

为了减小配准误差对盲超分辨率重建的影响,提出了一种影像配准和盲超分辨率重建联合处理的模型与方法。将配准参数、模糊函数和高分辨率影像建立在统一的最大后验估计模型框架内,并利用循环坐标下降最优化策略对模型进行求解,从而实现了配准参数、模糊函数和高分辨率影像的联合求解。实验结果证明:与传统盲超分辨率重建算法相比,该算法能够有效减少重建影像中的伪痕,在视觉评估上和定量评价上均能得到更好的结果。     

学习小波超分辨率系数的人脸超分算法

目前基于卷积神经网络的超分方法虽然在峰值信噪比和结构相似性评价指标上能取得优异的结果,但是得到的超分图像视觉质量较差,会丢失人脸五官区域的细节信息。针对这一现象,设计了一种新的深度神经网络来预测超分小波系数以获得信息丰富的超分辨率人脸图像,首先利用人脸图像的先验知识手动地给予五官区域更多的关注,然后在网络中引入线性低秩卷积运算,最后利用长距离依赖的思想补充超分图像的细节。实验验证该算法可以在获得较高的峰值信噪比和结构相似性的同时,使超分人脸图像五官区域更加清晰、视觉质量更优。