超分辨率重建的素描人脸识别

目的 基于学习的超分辨率重建由于引入了先验知识,可以更好地描述图像的细节部分,显著地增强图像的分辨率,改善图像的视觉效果。将超分辨率重建应用在素描人脸识别中,既可以增加人脸图像的质量也可以有效地提高识别精度。方法 首先利用特征脸算法根据素描图像合成人脸灰度图像,然后对合成的人脸图像利用稀疏表示进行超分辨率重建,最后利用主成分分析对重建前后的合成人脸分别进行识别。结果 在香港中文大学的素描人脸库(CUFS)上进行实验。经过超分辨率重建之后的人脸在眼睛等部位细节描述更好。同时,由于重建过程中引入了先验知识,重建之后的素描人脸识别率有提高。支持向量机算法得到的识别率由重建前的65%提高至66%,本文利用的主成分分析算法得到的识别率由重建前的87%提高至89%。结论 基于超分辨率重建的素描人脸识别算法可以有效地改善合成人脸图像的视觉效果并且提高素描人脸识别精度。     

特征驱动先验的归一化卷积超分辨率重建

目的 针对融合—复原法超分辨率重建中融合与复原两大环节,提出新的改进算法框架：用改进的归一化卷积实现融合,再用改进的最大后验估计实现复原,得到更优的超分辨率重建。方法 改进的归一化卷积引入了双适应度函数和一种新的混合确定度函数;改进的最大后验估计,引入一种特征驱动先验模型,该模型通过混合两种不变先验模型而得到,形式完全取决于图像自身的统计特征。结果 用本文算法对不同降质水平的图像进行重建,并与其他若干算法重建结果比较。无论从视觉效果还是从评价指标,本文算法均优于其他算法。结论 本文超分辨率重建算法,融合环节兼顾了邻域像素的空间距离和光度差,充分利用两种确定度函数的各自优势,可以抑制更多噪声和异常值;复原环节的先验模型依据图像特征而不是经验,对图像刻画更准确。实验结果也验证了本文算法的有效性。     

内外部梯度联合约束的图像超分辨率重建方法

图像在获取过程中受传感器、光学系统、大气扰动等多因素影响，导致图像分辨率下降。提出一种结合内外部梯度先验的图像超分辨率重建方法。基于最大后验估计理论框架，将深度学习的外部梯度先验和范数的内部梯度、亮度联合约束先验相结合，通过联合利用外部梯度先验和内部梯度先验的互补优势，借助高分辨率的梯度信息提高重建的超分辨率图像质量。实验结果表明，与ASAR、DRRN等方法相比，该方法能够有效增强图像的高频细节和边缘信息，减少重建图像中可能存在的噪声与伪影效果。     

基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

联合多任务学习的人脸超分辨率重建

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR（high-resolution）图像与SR（super-resolution）图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果 使用峰值信噪比（PSNR）和结构相似度（SSIM）两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集（CelebA）上,在放大8倍时,与通用超分辨率MemNet（persistent memory network）算法和人脸超分辨率FSRNet（end-to-end learning face super-resolution network）算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB。结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。     

混合特性正则化约束的运动模糊盲复原

目的 为了提高运动模糊图像盲复原清晰度,提出一种混合特性正则化约束的运动模糊盲复原算法。方法 首先利用基于局部加权全变差的结构提取算法提取显著边缘,降低了噪声对边缘提取的影响。然后改进模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。最后改进梯度拟合策略,并加入保边正则项,使图像梯度更加符合重尾分布特性,且保证了边缘细节。结果 本文通过两组实验验证改进模型与所提算法的优越性。实验1以模拟运动模糊图像作为实验对象,通过对比分析5种组合步骤算法的复原效果,验证了本文改进模糊核模型与改进复原图像模型的鲁棒性较强。实验结果表明,本文改进模型复原图像的边缘细节更加清晰自然,评价指标明显提升。实验2以小型无人机真实运动模糊图像为实验对象,通过与传统算法进行对比,对比分析了所提算法的鲁棒性与实用性。实验结果表明,本文算法复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,且具有较好的主观视觉效果。结论 针对运动模糊图像盲复原,通过理论分析和实验验证,说明了本文改进模型的优越性,所提算法的复原效果较好。     

强边缘导向的盲去模糊算法

目的 在图像的获取过程中,成像设备与拍摄场景发生了相对位移,导致获取的实际图像存在信息丢失、模糊退化的现象,这极大地影响了图像的质量和人们的视觉体验,也影响了图像的后续处理。盲去卷积旨在从观测图像中估计模糊核并获得清晰图像,为此提出了一种基于强边缘的运动图像盲去模糊算法。方法 结合图像梯度稀疏性,采用自适应l₀范数约束待估计图像梯度的强边缘;针对模糊核稀疏性和连续性,以l₀-l₂范数分别约束模糊核的像素和梯度,同时把模糊核归一化先验作为正则项引入模型中,以强边缘指导模糊核估计。在去模糊阶段,结合全变分与超拉普拉斯正则化方法的优点,将两种方法复原的图像取平均,以减轻复原图像中的振铃效应,同时保留更多的图像细节。结果 为了检验本文算法的有效性,对Levin测试集和实际拍摄的模糊图像分别进行仿真,并同现有算法进行比较。Levin测试集上的实验结果表明,提出的盲反卷积成功率为100%且在对比算法中具有最高PSNR;实际彩色图像的盲反卷积实验表明,相比于其他算法,本文算法获得的模糊核具有更准确的支撑和较少的噪点,获得的清晰图像具有较优的视觉效果。结论 该方法从定量和定性比较上都体现了较好的去运动模糊能力,可适用于遥感、医学等领域。     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。     

彩色图约束的二阶广义总变分深度图超分辨率重建

目的 针对深度图像分辨率非常低的问题,结合同场景高分辨率彩色图像,提出一种基于彩色图约束的二阶广义总变分深度图超分辨率重建方法。方法 首先将低分辨率深度图映射到高分辨率彩色空间;然后利用二阶广义总变分模型,将带有边缘指示函数的高分辨率彩色约束项作为正则项,使得深度图像超分辨率重建问题变成最优求解问题;最后通过迭代重加权和原—对偶方法进行求解。结果 实验结果表明,本文方法可以有效地保护图像的边缘结构,在定性和定量两个方面都可达到很好的效果。结论 本文方法可以有效地解决深度图分辨率非常低的问题。     

基于结构张量的视频超分辨率算法

针对传统正则化超分辨率（SR）重建模型中,正则化参数选择过大会使重建结果模糊,导致边缘和纹理等细节丢失,选择过小模型去噪能力又不足的问题,提出一种基于结构张量的双正则化参数的视频超分辨率重建算法。首先,利用局部结构张量对图像进行平滑区域和边缘的检测;然后,利用差异曲率对全变分（TV）进行先验信息加权;最后,对平滑区域和边缘采用不同的正则化参数进行超分辨率重建。实验数据显示提出的算法将峰值信噪比（PSNR）提高了0.033～0.11 dB,具有较好的重建效果。实验结果表明：该算法能够有效地提升低分辨率（LR）视频帧重建效果,可应用于低分辨率视频增强、车牌识别和视频监控中感兴趣目标增强等方面。     

车牌超分辨率重建与识别

为了从图片中快速准确地识别车牌,提出一种结合图像超分辨率技术的车牌识别方案。车牌图片具有明显的特定的模式特征,只是具体的字符编码不同。因此车牌图片非常适合做超分辨率重建。本文提出的系统主要由车牌检测定位、车牌超分辨率重建、字符分割、字符识别等模块组成。综合基于边缘、基于颜色和基于最大稳定极值区域三种车牌检测策略并采用并行编程方法来综合检测结果得到候选车牌。采用车牌图片正负样本来训练支持向量机分类器。得到分类器模型后对候选车牌判决得到真正的车牌。随后对真实车牌图片进行超分辨率重建。该部分主要由基于固定邻域回归的方法实现。这种方法综合了稀疏字典学习和领域嵌入的方法,比较好的兼顾了准确率和计算速度。运用OpenCV提供的图像处理库来对重建后的图片做字符分割。得到单独的字符图片后采用人工神经网络进行识别。识别前先使用一定数量的字符图片对网络进行有监督训练获取识别模型。采用一个单隐层的神经网络,运用反向传播算法进行训练得到识别模型。最后提取字符图片的特征并输入网络进行分类完成识别。为了测试系统的表现,在实际场景中采集了一百张车牌图片作为测试集。实验表明,该系统具有较高识别准确率和较快的处理速度。     

基于梯度与形态学的低质量车牌定位

针对低质量车牌的定位问题,提出一种水平梯度信息和数学形态学操作相结合的定位方法。利用自适应梯度图阈值分割算法分割出车牌部分的梯度信息;通过形态学和区域合并操作得到连通的候选区域;结合车牌自身特点进行区域搜索,粗定位出车牌;用扫描线法去除边框,实现车牌的精确定位。实验结果表明,该方法对光线昏暗、噪声严重、车牌区域污损、倾斜等条件下的车牌定位具有较强的鲁棒性,能满足实际交通场景中的车牌定位需求。     

基于迭代反投影的超分辨率图像重建

提出了一种结合频域运动估计和迭代反投影的超分辨率图像重建算法。根据输入低分辨率序列图像各帧之间的傅立叶变换相位差,估计出每幅低分辨率图像相对于参考低分辨率图像的子象素位移;依据所得的子象素位移并结合迭代反投影算法,实现了超分辨率图像重建。实验结果表明,该算法是一种有效的超分辨率图像重建方法。     

基于凸集投影（POCS）的车牌图像超分辨率重建研究

针对车牌识别中所拍摄的图像序列存在分辨率较低的问题,提出了利用图像间的互补信息来重建一幅高分辨率图像的方法,以便于车牌图像的识别。通过迭代求解法和高斯金字塔模型,快速精确地估计得到配准参数,采用凸集投影（POCS）算法对图像序列进行了超分辨率重建。实验表明算法具有亚像素级的配准精度和较强的稳健性,重建图像取得了良好的视觉效果。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

基于深度学习的车牌超分辨率重建

车牌图像重建是实现智能交通的重要步骤.在经过不断的重复实验后,本文提出了一种新的基于生成对抗网络(GAN)的超分辨率车牌图像重建模型.所提出的办法主要包括4个部分:(1)预处理输入图像,包括调整图片大小和筛选对比度差的图片;(2)引入了残差密集网络,能够充分提取车牌图像特征;(3)引入渐进式采样进行图片重建,因其具有较大的感受野,能提供更多的信息细节;(4)引入基于PatchGAN的鉴别器模型,该模型能更加精准地判断,从而引导生成器进行更高质量、更多细节的图像重建.通过在CCPD数据集上与目前较优的算法进行比较,证明本文的模型重建的车牌图像具有较高的PSNR和SSIM,分别达到了26.80和0.77,而且重建单帧图像的花费时间更少,仅为0.06 s,进而证明了我们算法的可行性.     

超分辨率重建在车牌定位中的应用

针对车牌识别系统中由于采集图像分辨率低而造成的车牌定位效果较差这一问题,提出了一种基于凸集投影(POCS)的车牌定位超分辨算法,该方法能够提高图像的分辨率,保留原始图像的细节信息,准确地定位出车牌区域,为接下来的车牌识别提供了有力保障.     

基于马尔可夫随机场的低分辨率车牌图像复原算法*

由于采集到的车牌图像分辨率较小,为获取高分辨率的图像,提出基于马尔可夫随机场模型的车牌图像超分辨率复原算法。首先对图像进行分块;然后利用马尔可夫随机场对这些分块进行建模,通过模型学习训练库中高低分辨率图像的关系,预测待复原的低分辨率车牌图像的高频细节信息。实验结果表明,本算法对车牌图像取得较好的复原效果,算法复原的超分辨率车牌图像更接近于真实图像,具有更高的峰值信噪比。     

高精度亚像素全局运动估计的上采样梯度互相关算法

运动估计在视频图像压缩、超分辨率重建、拼接、目标检测等方面具有重要的应用意义。针对高精度的亚像素运动估计问题,引入一种优化滤波器用于计算图像梯度,并采用上采样与抛物面拟合梯度互相关曲面相结合的方法,探讨一种高精度的亚像素全局运动估计算法。实验结果表明,该算法不仅对噪声影响具有较好的鲁棒性,同时能够有效地提高运动估计的精确性。