基于马尔可夫网络人脸图像超分辨率非线性算法*

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在采用块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,本方法具有输出质量好、效率高的特点。     

人脸图像超分辨率非线性算法

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该文方法具有输出质量好、效率高的特点。     

人脸图像超分辨率非线性学习算法

针对一般学习算法效率低下的问题,提出一种马尔可夫网络模型下的非线性学习算法。对输入的低分辨率图像以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集,利用训练集人脸图像的差异,采用块坐标限位操作技术,给出一种非线性样本搜索算法,降低搜索空间复杂度,提高了匹配效率和相关性。利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该方法具有输出质量好、效率高的特点。     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于马尔可夫随机场的低分辨率车牌图像复原算法*

由于采集到的车牌图像分辨率较小,为获取高分辨率的图像,提出基于马尔可夫随机场模型的车牌图像超分辨率复原算法。首先对图像进行分块;然后利用马尔可夫随机场对这些分块进行建模,通过模型学习训练库中高低分辨率图像的关系,预测待复原的低分辨率车牌图像的高频细节信息。实验结果表明,本算法对车牌图像取得较好的复原效果,算法复原的超分辨率车牌图像更接近于真实图像,具有更高的峰值信噪比。     

利用图像局部自相似性的超分辨率重构算法

图像超分辨率重构是指由低分辨率图像来获得高分辨率图像的过程。为了能够有效地重构出高分辨率图像,提出一种基于图像局部自相似性的超分辨率快速重构算法。该算法首先利用四叉树分割的知识对低分辨率图像进行自适应分块;然后利用低分辨率图像和高分辨率图像在局部区域内的自相似性,由最小二乘方法在各个局部区域自适应的选择插值所需的参数,从而在各个局部区域内进行插值;最后运用小波域的投影算子对插值得到的高分辨率图像进行全局优化,得到最终的高分辨率图像。实验结果表明,由该算法重构的高分辨图像有很好的视觉效果和峰值信噪比。     

.基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

基于梯度匹配增强的单帧监控视频超分辨率方法

由于采集环境和设备的限制,监控视频中如人脸等重要目标区域面积较小,插值放大技术会使得目标模糊,影响后续处理效果。本文研究单帧监控视频的超分辨率技术,处理流程分为训练和增强两个阶段。在训练阶段,通过对相关图像库的训练得到由低分辨率图像块和高分辨率图像块对构成的训练集;在增强阶段,通过输入的低分辨率图像构造搜索矢量在训练集中匹配搜索找到高分辨率信息。为了提高搜索准确率,将梯度匹配增强到搜索矢量构造过程中,从而能在训练集中找到更符合真实结构分布的高分辨率信息,提高超分辨率增强的效果。实验结果表明,该方法得到的高分辨率图像边缘更锐利,视觉效果更好。     

一种语义相似度学习的人脸图像超分辨率算法

提出一个单幅人脸图像的超分辨率重构算法。该算法建立在马尔可夫网络模型的基础上,引入了语义相似度的学习,将学习的范围限定在位置相关的特征语义区域,提升了学习算法的效率以及重构图像时的逼真性;重构算法中引入了权值融合机制,提升了输出图像的高频成分,有效地改善了图像的全局效果。分析和实验表明,该算法能在大容量训练集中,快速学习到有价值的图像信息,并且在图像的复原的过程中有效地抑制了图像失真现象,极大地改善了超分辨率图像的质量。     

基于组合学习的人脸超分辨率算法

现有的基于深度学习的人脸超分辨算法大部分仅仅利用一种网络分区重建高分辨率输出图像,并未考虑人脸图像中的结构性信息,导致了在人脸的重要器官重建上缺乏足够的细节信息。针对这一问题,提出一种基于组合学习的人脸超分辨率算法。该算法独立采用不同深度学习模型的优势重建感兴趣的区域,由此在训练网络的过程中每个人脸区域的数据分布不同,不同的子网络能够获得更精确的先验信息。首先,对人脸图像采用超像素分割算法生成人脸组件部分和人脸背景图像;然后,采用人脸组件生成对抗网络（C-GAN）独立重建人脸组件图像块,并采用人脸背景重建网络生成人脸背景图像;其次,使用人脸组件融合网络将两种不同模型重建的人脸组件图像块自适应融合;最后,将生成的人脸组件图像块合并至人脸背景图像中,重建出最终的人脸图像。在FEI数据集上的实验结果表明,与人脸图像超分辨率算法通过组件生成和增强学习幻构人脸图像（LCGE）及判决性增强的生成对抗网络（EDGAN）相比,所提算法的峰值信噪比（PSNR）值分别高出1.23 dB和1.11 dB。所提算法能够采用不同深度学习模型的优势组合学习重建更精准的人脸图像,同时拓展了图像重建先验的来源。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

以双目图像互为监督的相容解迭代优选算法

在计算机视觉领域的双目立体匹配方向, 基于神经网络的深度学习算法需要场景数据集进行训练, 泛化能力差. 针对这两个问题, 根据神经网络能够模拟函数的特点, 提出一种无需在数据集上训练, 以双目图像互为监督的深度场景相容解迭代优选算法. 该算法使用场景位置猜测网络模拟关于当前双目图像的深度场景相容位置空间, 用与该网络匹配的互监督损失函数通过梯度下降法指导该网络在输入双目图像上迭代学习, 搜索深度场景相容位置空间中的可行解, 整个算法过程无需在数据集上训练. 与CREStereo、PCW-Net、CFNet等算法在Middlebury标准数据集图像上的对比实验表明, 该算法在非遮挡区域的平均误匹配率为2.52%, 在所有区域的平均误匹配率为7.26%, 比对比实验中的其他算法有更低的平均误匹配率.     

基于字典学习和非局部相似的超分辨率重建

为提高单帧降质图像的分辨率,提出了一种基于字典学习和非局部相似性的超分辨率重建算法。该算法主要将高分辨率图像减去利用迭代反投影重建结果得到差值图像,再利用K-奇异值分解(K-SVD)算法和联合字典生成的思想形成的字典训练方法,训练差值图像块和低分辨率图像块得到对应的高、低分辨率字典用于超分辨重建。此外,引入非局部相似性的正则项约束以提高重建图像的质量。实验结果表明,所提算法重建得到的图像在主观视觉效果和客观评价上优于基于例子学习的超分辨率算法。     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率（low-resolution,LR）图像映射到高分辨率（high-resolution,HR）图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）、Urban100（urban scenes dataset）、Manga109（109 manga volumes dataset）数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、FSRCNN （fast super-resolution convolutional neural network）、LapSRN （Laplacian pyramid super-resolution network）、VDSR （very deep super-resolution convolutional networks）、DBPN （deep back-projection networks for super-resolution）和DRN （dual regression networks）等方法的实验结果进行对比。当放大因子为4时,本文算法的峰值信噪比分别为32.29 dB、28.85 dB、27.61 dB、26.16 dB和30.87 dB;在重建图像的可视化分析方面,本文算法相较于对比算法具有更加丰富的纹理和清晰的轮廓。结论 实验结果表明,基于多监督光滑化损失函数方法的图像重建结果与其他超分辨率主流算法相比,在重建图像质量和高频细节处理方面均有所提高。     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。