深度图像超分辨率重建技术综述

便携式消费级深度相机的问世和发展,加速了深度信息在无人驾驶、人机交互、三维重建等领域的应用,但低成本消费级相机所拍摄的深度图像通常具有较低的空间分辨率。深度图像超分辨率重建是一种能有效提高深度信息空间分辨率的方法,已经成为计算机视觉和图像处理领域的研究热点。在详细阐述深度图像超分辨率重建概念和必要性的基础上,从输入图像角度,全面梳理归纳了近年来深度图像超分辨率重建方法的研究现状,对其中的关键性问题和今后的研究方向做了较为深入的分析,最后对深度图像超分辨率重建的应用前景进行了展望。     

生成式对抗网络的图像超分辨率重建

为了提高图像生成效果,减少高频信息损失,文中提出了一种基于深度学习的生成式对抗网络模型结构,实现单幅图像超分辨率重建。文中在SRGAN方法的基础上修改了网络结构、残差网络和卷积参数,采用DIV2K数据集进行网络模型训练,利用峰值信噪比和结构相识性两种评价标准对生成的图片质量进行测试与评价。实验结果表明,相较于SRGAN方法生成的高分辨率图像,文中方法生成的图像视觉效果更好、纹理更清晰,具有更好的客观和主观评价。     

基于MMSE-T的合成孔径雷达图像超分辨率重建

针对雷达目标图像,提出一种基于阈值最小均方误差（MMSE-T）的超分辨率重建方法,并对其性能进行了分析、比较和评估.介绍和分析了雷达成像模型及常用的超分辨方法.以及MMSE-T改进算法及其具体实现方法.以MSTAR合成孔径雷达（SAR）实测图像为例,给出其超分辨结果,同时基于输出信噪比（SNR）指标,对其性能进行了比较与评估.实验表明：MMSE-T超分辨率方法在无须事先已知原始场景先验知识的情况下,可实现对原始场景的准确重建,同时具有较好的噪声抑制作用,可用于高分辨率一维距离像、合成孔径雷达、逆合成孔径雷达及实波束成像等雷达图像目标信息的开发.     

改进型字典学习的图像超分辨率重建

针对现有算法中字典训练花费的时间非常大,且超分辨率图像重建效果不够理想等问题,提出一种改进型字典学习的超分辨率图像重建算法.该算法在字典训练阶段,先采用PCA对低频样本集进行降维,再单独训练出低频字典,然后利用稀疏表示系数集和高频图像样本集训练出对应的高频字典,从而提高了字典构建速度.在重建阶段,先利用字典重建出初始的高分辨率图像,再根据图像结构自相似的特征,对图像进行结构自相似优化,然后对图像进行全局优化,从而提高了重建图像的质量.实验结果表明,该方法无论是在客观评价指标还是主观视觉效果方面都有明显的提高.     

序列图像的POCS超分辨率重建方法

为了有效地执行超分辨率算法,使其改善高分辨率图像的边缘质量,根据POCS算法的原理,给出了模拟-修正迭代超分辨率图像重建方法和具体实现步骤.针对重建的高分辨率图像中产生的边缘Gibbs现象,提出了一种抑制方法,该方法将中心在边缘像素的PSF与一个指数型权值函数相乘,使得修改的PSF系数沿着边缘正交的方向减小.利用模拟序列和实际序列对改进的POCS算法的有效性进行了验证.结果表明:该方法简单易行,能有效地保持边缘的特性,达到提高图像质量的目的.     

基于CT图像的超分辨率重构研究

医学CT图像的超分辨率重构研究具有较大的实用价值。针对CT图像由于设备等原因存在的细节模糊,边缘不清晰、感知质量差等问题,提出一种多次上下采样的深度方格卷积网络。通过上下采样的二维结构,拓宽网络宽度与深度,增强不同尺度信息的深层依赖关系,促进不同尺度下的信息交互,从而充分利用原始图像信息重构出更多的高分辨率细节信息。采用全局深度联结与局部残差相结合的方式,将浅层网络信息反馈至深层网络,实现全局网络信息共享,提高训练时浅层网络特征映射在深层网络中的利用率,突出深度网络训练优势。实验结果表明,通过峰值信噪比与结构相似性指数将本文模型的重构结果和当前最先进的模型结果进行比较,该模型能恢复出最优的高分辨率图像,同时得到较高的重构图像感知质量。     

改进可逆缩放网络的图像超分辨率重建

可逆缩放网络(IRN)的潜变量采用高斯分布嵌入图像高频信息,因其独立随机性无法充分保存图像高频信息,嵌入效果一般,影响重建性能。通过改进可逆缩放网络来提高嵌入高频信息的能力并进一步降低模型的复杂度。首先,特征提取模块采用密集连接结构和通道注意力机制来获取足够的特征信息,同时减少模块参数量;其次,网络的潜变量采用小波域高频子带插值设计,改善高频信息嵌入能力。实验结果显示该算法相比IRN,在Set5、Set14、BSD100和Urban100这4个基准测试集上的PSNR和SSIM分别平均提升了0.380 dB和0.014,参数量减少约1.64×10⁶,计算量减少约0.43×10⁹,运行时间减少3 ms。表明该算法的重建性能优良,模型复杂度低,具有实用价值。     

辐射保真的红外遥感图像超分辨率重建

为了解决红外遥感图像超分辨率重建与辐射定标精度保真之间的矛盾,结合正则化超分辨率重建理论,建立了基于二阶总广义变分的超分辨率重建模型。 通过分析重建模型的特点,引入交替方向乘子法进行数值求解;重建过程利用双边滤波器原理,将图像的高低频信息分离;针对分离后高频信息图像进行重建处理,将低频信息图像与重建后的高频信息图像融合达到超分辨率的目的。 利用风云四号气象卫星得到的真实红外图像进行实验验证和定量化分析,表明该方法对辐射定标精度的影响要小于常规意义下的超分辨率重建的影响。     

基于稀疏表示的遥感图像超分辨率重建

根据稀疏定理,首先对遥感图像数据进行训练,得到高分辨率图像块字典与低分辨率图像块字典,然后利用低分辨率图像块字典求出稀疏表示系数,最后根据稀疏表示系数得到超分辨率重建图像.结果可以看出,经过改进后,重建图像的客观评价指标更优.     

车牌识别系统中的超分辨率图像重建技术研究

针对车牌识别系统中图像模糊和分辨率低而影响车牌识别效果的问题,提出利用超分辨率重建来提高车牌图像分辨率的解决方法.建立了凸集投影(POCS)算法的数学模型,研究了凸集投影超分辨率重建的实现过程,并用仿真实验进行了验证.实验结果表明:采用凸集投影算法进行图像重建,可以提高车牌图像分辨率,丰富图像细节信息,能够有效提高车牌识别的准确率,并且迭代次数越多,图像重建效果越好.     

基于改进相容函数的超分辨率图像重建

提出了一种基于机器学习的超分辨率(SR)改进算法。首先建立一个包括低分辨率(LR)图像及其相应的高分辨率(HR)图像的训练样本集,为LR图像提供了HR的图像解释。把训练集中的每一幅图像分成若干个图像块,每一个图像块作为马尔可夫随机场(MRF)模型的结点,MRF模型参数从这些训练样本中学习得到,通过对训练样本中的LR图像块进行k-均值聚类减少计算开销,并用k-均值的聚类结果提出了一种新的相容函数形式。实验结果表明,该算法是可行的,并与同类算法相比能取得较好的结果,使得SR后的图像更平滑自然。     

基于预条件共轭梯度的超分辨图像重构方法

针对在航空航天遥感领域使用CCD相机对景物进行成像时，由于像元尺寸的限制导致图像分辨率低和混频现象严重的问题，采用超分辨率图像重构技术融合从不同角度对同一景物重复拍照得到的多帧图像冗余信息，在相机参数已知的情况下重构出超分辨率图像，消除和降低了混频效应，同时提出了快速收敛的预条件共轭梯度最优化超分辨图像重构算法．模拟成像仿真实验从9帧低分辨／率欠采样图像重构得到了分辨率提高4倍的图像．     

Super-resolution reconstruction of synthetic-aperture radar image using adaptive-threshold singular value decomposition technique

A super-resolution reconstruction approach of radar image using an adaptive-threshold singular value decomposition (SVD) technique was presented,and its performance was analyzed,compared and assessed detailedly.First,radar imaging model and super-resolution reconstruction mechanism were outlined.Then,the adaptive-threshold SVD super-resolution algorithm,and its two key aspects,namely the determination method of point spread function (PSF) matrix T and the selection scheme of singular value threshold,were pr...     

Waveletdomain dilated network for fast low-dose CT image reconstruction

Low-dose CT has the advantages of low radiation and high efficiency, but the noise and artifacts with low-dose CT images reduce the reliability of diagnosis. In order to improve the quality of low-dose CT images, this paper attempts to enhance the visuals of reconstructed CT images in the wavelet domain, and improve the running speed by combining the multi-dilated convolution and subpixel, so that the model can be better deployed to the CT equipment. The data set of "2016 AAPM Low Dose CT image Challenge" is used to evaluate the proposed method. Experimental results show that the visuals of reconstructed CT images are better. Compared with RED-CNN, the average PSNR of the proposed method is improved by 0.1428dB (1mm) / 0.0939dB (3mm), and the running speed on the CPU and GPU is increased by more than 55% and 50%, respectively.     

一种复杂背景图像三维重建算法及其医学应用

针对复杂背景下绝大多数三维重建算法的可靠性不高和鲁棒性不强的问题,提出一种适合复杂背景图像的三维重建算法.研究空间点三维重建计算的一般性框架,并分析具体的实现过程;为了提高复杂背景下三维重建的可靠性和鲁棒性,对初始视差图中的无纹理或低纹理区域、遮挡区域和深度不连续区域分别运用置信滤波器、左右一致性滤波器和唯一性滤波器进行预处理,剔除伪匹配点;将滤波后的致密视差图进行空间点的三维重建,得到复杂背景图像点的深度信息.实验结果表明,该算法计算效率高,具有很强的稳健性,即使图像背景条件发生动态变化也能够获得满意的三维重建精度,能够为计算机辅助外科诊断系统提供可靠的深度信息.     

基于插值函数的三维图像表面重建算法

在放射医学、核医学、无损检测及评价和数据压缩等众多领域,研究在不破坏被检测物体的情况下,观察物体内部组织的结构及空间位置,具有重要的理论意义和应用价值.为了获取物体内部的数据信息,通常采用射线扫描方式,然后根据实际需要,运用不同方法进行图像重建.本文研究受损的颅骨扫描图像,提出基于插值函数三维图像表面重建算法,改进了已有的图像重建过程.从数据采集到图像重建的全过程都在计算机上实现,并给出了背景物质检测、图像分割、图像剥离和三维图像表面重建仿真结果.最后对结果进行分析,证明了基于插值函数的三维图像表面重建算法可以有效地提高重建图像的质量.     

Improved compressive sensing algorithm for CT image reconstruction with incomplete projection data

Aiming at the problem of the long scanning time of the classical scanning modalities in X-ray luminescence computed tomography and based on the traditional total variation minimization (TVM) algorithm, an improved compressive sensing (CS) algorithm for image reconstruction under incomplete projection situations is suggested and investigated. The algebraic reconstruction technique (ART) process under the non-negative constraint and the total variation minimization process solved by the gradient descent method are combined in the improved algorithm. To solve the constrained optimization problem, the ART process is performed several times first and then alternates with the total variation minimization process. The CS reconstructions under two incomplete projection situations, few-view projection and limited-angle projection, are discussed, and the effects of the adjustment factor and the iterative number in the total variation minimization process on the performance are investigated. The effectiveness of the proposed method is demonstrated by the simulation experiments based on the Shepp-Logan head phantom.     

医学CT断层图像三维重建的Matlab实现方法

介绍了运用Matlab软件进行CT断层图像的三维重建的原理及实现方法。运用计算机图形学和图像处理技术将计算机断层扫描（CT）等成像设备得到的人体断层二维图像序列,在计算机中重建成三维图像数据,并在屏幕上形象逼真地显示人体器官的立体视图。可以对重构出的器官图像进行诸如旋转、缩放等操作,重建方法简单,显示效果良好。