图神经网络回归的人脸超分辨率重建

人脸超分辨率（super-resolution,SR）即将输入模糊的低分辨率（low-resolution,LR）人脸图像通过一系列算法处理得到较为清晰的高分辨率（high-resolution,HR）人脸图像的过程．相比自然图像,不同人脸图像的相同位置通常具有相似的结构．本文针对人脸图像的局部结构一致性特点,提出一种新的基于图结构的人脸超分辨率神经网络回归方法．将输入低分辨率图像表示为图结构,进而为图结构中每一个结点的局部表示训练一个浅层神经网络进行超分辨率回归．相比基于规则矩形网格的方法,图结构在描述一个像素的局部信息时,不仅考虑到图像坐标的相关性,同时关注了纹理的相似性,能更好表达图像局部特征．训练过程中,利用已收敛的相邻结点的神经网络参数初始化当前结点的神经网络参数,不仅加快神经网络的收敛速度,而且提高了预测精度．与包括深度卷积神经网络在内的基于学习的超分辨率最新算法比较实验表明,本文提出的算法取得了更高的准确率．本文提出的图神经网络（Graph Neural Networks,GNN）并不局限于解决人脸超分辨率问题,它还可以用于处理其它具有不规则拓扑结构的数据,解决不同的问题．     

基于真实图像退化的人脸超分辨率重建算法

针对大多数人脸超分算法的预设退化模型与真实图像的退化方式差距大,导致人脸重建的效果不理想的问题,提出了一种针对真实图像退化的人脸超分辨率重建算法。首先设计了一种混合退化模型,通过对运动模糊、高斯噪声等多种退化形式进行合成用于模拟真实图像退化空间,生成接近现实场景的低分辨率图像。然后采用基于小波域的超分辨重建网络预测得到高分辨率图像的小波系数,并经过小波逆变换得到超分辨率图像。在高清人脸数据集(FFHQ)和真实人脸数据集(RealSR)上的实验结果表明,研究提出的算法不仅能有效提升重建效果,而且适用于真实场景下的人脸超分辨率重建。     

YOLOv3融合图像超分辨率重建的鲁棒人脸检测

复杂场景中的人脸检测由于受到图像质量、人脸尺度和光线等因素影响,精准地定位小人脸、避免漏检、误检是一件极具挑战性的任务。提出了一种基于YOLOv3、融合图像超分辨率重建技术的两级人脸检测模型SR-YOLOv3。针对场景中小人脸目标的漏检问题,利用K-means++算法对先验框进行聚类分析,设置更小尺寸的先验框来捕获小人脸信息;针对模糊小尺度人脸的误检问题,采用Darknet53作为主干网络,融入SRGAN图像超分辨率重建模块对低分辨率的人脸进行数据增强,形成一个可以提高低分辨率小人脸检测性能的检测网络。利用WIDERFACE数据集对SR-YOLOv3模型进行训练和测试,并与MTCNN、CMS-RCNN、HR、S3FD算法相比,验证了提出的模型具有更高的检测精确度,尤其是在hard子集上的性能提升最为明显。SR-YOLOv3能够有效地利用人脸信息,精准检测出复杂场景中的难检测人脸目标,具有很好的鲁棒性。     

基于粒子滤波的人脸图像超分辨率重建方法

将人脸图像超分辨率重建描述为人脸混合模型的纹理和位置参数的贝叶斯概率估计问题,将超分辨率重建的图像配准和像素融合这两个过程置于统一的概率估计框架下,并利用基于粒子滤波的参数估计算法,同时估计纹理和位置参数,从而实现人脸图像的超分辨率重建.包含灰度和位置两种先验信息的人脸混合模型,同时用于超分辨率重建的两个过程中,提高了图像配准精度和重建算法的性能,避免了通常方法在获得准确鲁棒的运动场估计时需要清晰的高分辨图像,而获得清晰的高分辨图像时又需要准确鲁棒运动场估计的困境.正面人脸合成序列图像实验结果表明,该方法获得的重建结果较为理想.     

基于识别的凸集投影人脸图像超分辨率重建

人脸图像的超分辨率重建在公安、视频监控等领域有重要应用价值．基于识别的思想,对人脸灰度图像进行统计分析,得到有关人脸灰度整体特征的先验知识,将其描述为属性集合,从而利用凸集投影算法进行超分辨率图像重建．实验结果表明,重建质量较为理想,与通常的超分辨率凸集投影重建方法相比,抑制噪声的能力有显著提高,重建质量改善明显,收敛速度加快,且易于计算和实现．     

基于级联深度卷积神经网络的高性能图像超分辨率重构

为了进一步提高现有图像超分辨率重构方法所得图像的分辨率,提出一种高性能的深度卷积神经网络（HDCN）模型用于重构放大倍数固定的超分辨率图像。通过建立级联HDCN模型解决传统模型重构图像时放大倍数无法按需选择的问题,并在级联过程中引入深度边缘滤波器以减少级联误差,突出边缘信息,从而得到高性能的级联深度卷积神经网络（HCDCN）模型。基于Set5、Set14数据集进行超分辨率图像重构实验,证明了引入深度边缘滤波器的有效性,对比HCDCN方法与其他图像超分辨率重构方法的性能评估结果,展现了HCDCN方法的优越性能。     

基于卷积神经网络的人脸图像超分辨率重建方法

为了恢复极低分辨率人脸图像的轮廓及更多细节,论文提出一种结合基于特征的反投影方法以及人脸语义分割的方法.该方法有四部分,包括初步重建网络、精细编码网络、人脸信息先验估计网络以及精细解码网络.首先通过初步重建网络,将图像进行4倍上采样.其次使用DBPN的反投影网络进行精细重建,对初步重建网络的结果进行两倍上采样.与此同时...     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

规整化人脸图像超分辨率重建的数值解法

提出了基于特征子空间规整化的人脸图像超分辨率重建（SRR）算法并给出了三种数值解法。在仿射变换运动模型下,将图像的四邻域插值方法拓展为图像的梯度场估计问题,推导出了待求高分辨率（HR）图像关于运动参数的雅科比矩阵;并根据对SRR代价函数的全微分和偏微分展开,将非线性的SRR问题转换为线性问题迭代求解,讨论了三种运动参数与HR图像的联合迭代估计算法。给出了SRR规整化参数的自适应计算方法以实现自动SRR。仿真结果证实：采用的人脸子空间规整化方法优于传统规整化方法（拉普拉斯、全变差）,尤其在低信噪比时可以获得良好的人脸图像SRR效果。     

基于卷积神经网络的图像超分辨率重建

单幅图像超分辨率（Super Resolution，SR）重建，是计算机视觉领域的一个经典问题，其目的在于从一个低分辨率图像得到一个高分辨率图像。目前的卷积神经网络重建算法只有三层结构，浅层结构在处理内部结构复杂的数据时，会出现表征能力不足的问题，因此提出了一个基于特征转移的八层卷积神经网络结构来实现图像超分辨率重建。针对不同的测试集，提出的卷积神经网络模型取得了更佳的超分辨率结果，不管是在主观视觉上还是在客观评价指标上均有明显改善，把数据集图像放大3倍时，对于不同算法的对比图像，该算法的峰值信噪比最高，而且在清晰度方面尤其是图像纹理边缘得到了增强。实验结果证明了基于迁移转移的八层卷积神经网络对图像超分辨率重建的有效性，且网络的收敛速度更快，在精细度方面具有更高的优势。     

基于CNN的轻量级神经网络单幅图像超分辨率研究

为了将低分辨率图像增强为高分辨率(HR)图像并最终得到超分辨率(SR)图像,提出了具有混合残差和密集连接结构的轻量级神经网络(LNN)来提高单幅图像超分辨率(SISR)性能,构建了层间SR-LNN(SR-ILLNN)和简化SR-LNN(SR-SLNN)两种LNN。SR-ILLNN采用基于部分卷积的填充方案来避免边界信息...     

基于残差网络的图像超分辨率重建算法

传统的卷积神经网络用到的方法是在稀疏表示的超分辨率图像的基础上学习高/低分辨率图像之间端到端的映射,输入的是高分辨率的图像,输出的是低分辨率的图像,拥有三层卷积层的SRCNN虽然有一定的重建效果,但是感受野较低,因此,提出加深网络结构的方法,此次改进使得后面的网络层拥有更大的感受野,这样结果的像素点可以根据更多的像素点来推断。但是考虑到网络结构加深对传输速率的影响,通过引入局部残差学习和全局残差学习相结合的方法来提高学习率,通过该办法有效地加快了收敛速度,并且通过实验结果验证,与已有的Bicubic、SRCNN和VDSR相比,重建效果在峰值信噪比、结构相似性和视觉效果上均有所提升。     

基于卷积神经网络的轻量级图像超分辨率

最近几年,深层卷积神经网络在解决单图像超分辨率问题上有着不错的表现。为了改善卷积神经网络的层数越深带来的计算量越大和实时重建速度越慢的缺点,结合现有的卷积网络模型,本文提出一种轻量级的网络结构。在神经网络层中减少网络层数,利用通道分离构建出局部特征的多尺度增强结构,进一步地结合残差网络进行模型构建。实验结果表明,与LapSRN方法、VDSR方法、传统的插值法等相比,该方法实时重建速度较快,且在峰值信噪比和结构相似性上不弱于其他方法。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。     

基于分割的图像超分辨率重构算法

鉴于当前算法不能很好解决重构效果和算法复杂度之间的矛盾,提出了一种基于分割的图像超分辨率重构算法.首先提出了一种基于纹理的图像分割方法,将图像分为纹理较多和较少两个区域,然后针对纹理较少区域提出了改进型小波多尺度插值方法,纹理较多区域提出了固定训练集神经网络方法.本算法综合了小波方法的简单性和神经网络方法的精确性.实验结果表明,新算法重构效果良好,复杂度较低,操作性好.     

特征子空间规整化的人脸图像超分辨率重建

传统的图像超分辨率(SR)方法中的规整化技术一般用于保持求解过程的数值稳定性以及提供解的平滑性约束,但并不能确保高质量的重建结果.将人脸图像块看作一些特定信号类,利用主成分分析计算训练人脸图像块的特征子空间;并将传统的"重建约束"与人脸图像块的"正交补特征子空间约束"统一在贝叶斯框架下,提出一种人脸图像SR的规整化方法.不局限于以往SR方法中普遍假定的纯平移运动模型的限制,在仿射变换运动模型下提出了3种图像配准与超分辨率重建的联合迭代求解算法.最后通过仿真结果证实了文中方法的有效性.