深度卷积神经网络图像超分辨率重建方法研究

本文为了解决现有算法重建超分辨率算法,所需较长训练时间的问题,提出一种更加高效的深度卷积神经网络图像超分辨率重建方法。该方法可以在保证每层卷积层、非线性层基础上,包含20层卷积神经网络,每层级联构建神经网络结构,通过运用此方法于低分辨率图像中,可以提取图像特征,利用此算法残差学习获取高频信息,LIR结合预测高频信息即可重建高频率图像。训练中利用裁剪梯度避免爆破,保证训练平稳与图像重建的高效性。该方法经仿真表明较原始方法图像处理性能明显提升,有效改善主观视觉体验,获取的低分辨率图像重建后PSNR值最大可提升0.19,各客观评价指标也明显提升,证明该方法的有效性。     

基于区域划分的红外超分辨率重建

提出了红外超分辨率重建系统以获取高分辨率红外数据。首先,根据红外图像获取过程建立了数学模型,讨论了降采样、模糊、运动以及高斯噪声对红外系统的影响;在非退化特征提取的基础上提出了基于特征的亚像素配准算法,其根据所得到的非退化特征应用归一化均方根误差来估计两帧之间的亚像素位移。然后,分析了传统全变分因子在高分辨重建时的不足并对其进行改进;利用区域划分将图像划分为平滑区域和细节区域,并根据区域的不同情况自适应全变分因子,从而使细节区域不至于过平滑。最后,利用MM(Majorization Minimixation)算法对合成的低分辨率红外图像和真实红外图像进行了超锐度重建。与同类相关算法的比较实验显示:所提算法亚像素配准最大误差为0.09pixel,重建后的红外图像质量优于其他同类算法。所提算法可以对低分辨红外图像序列进行有效重建,具有配准精度高、重建图像细节丰富等特点,可应用于各种红外成像系统。     

分焦平面红外偏振微扫描图像超分辨重建

分焦平面偏振探测系统受其探测器结构的影响,成像分辨率低于探测器实际分辨率,本文在不改变光学系统结构下使用微扫描获取亚像元微位移帧序列,提出一种改进的凸集投影(Projection On Convex Sets, POCS)算法用于提升偏振成像系统的成像分辨率。该算法首先对获取到的偏振微扫描图像序列进行检偏角分离,将同组检偏角图像序列作为输入,其次进行位移匹配与凸集投影迭代初步重建高分辨率图像,然后将图像分组进行滑动窗口非邻域聚类,利用主成分分析将聚类后的图像进行降维,最后将每一维信息视为时间采样函数,在小波域进行软阈值降噪。实验表明,本算法可以有效的提高传统POCS算法的抗噪性能,提高分焦平面偏振探测系统的成像分辨率,和同类算法相比结构相似性系数提升0.02,峰值信噪比提升约1 dB,并且拥有更高的噪声鲁棒性。     

基于TV-L~1分解的红外云图超分辨率算法

提出一种基于TV-L1分解的红外云图超分辨率算法。该方法采用原始-对偶算法求解TV-L1图像分解模型,将低分辨率云图分解为结构部分和纹理部分:对结构部分采用软决策自适应插值(SAI)处理;对纹理部分则基于非下采样Contourlet变换(NSCT)具有多方向和平移不变的特性,构造非线性增益函数对其NSCT变换域系数进行处理,然后对处理后的变换系数进行NSCT逆变换实现纹理增强。最后,将处理后的结构部分和纹理部分组合起来得到重构的高分辨率云图。实验结果表明,所提出的算法在视觉效果以及图像质量定量评价上均优于传统插值方法,在实现两倍超分辨率时,其峰值信噪比(PSNR)和结构相似度(SSIM)平均值分别提高了1.316 2~4.591 9dB和0.007 1~0.020 6;实现三倍超分辨率时PSNR和SSIM平均值分别提高了0.338 7~4.58dB和0.001 8~0.041 7。由于SAI插值和非下釆样Contourlet变换准确表示了云图的不同形态特征,故所提算法的超分辨率结果不但准确重建了云图中的结构部分,而且有效保持了红外云图纹理和边缘。     

基于边缘定向的图像插值算法

提出一种基于边缘保持的插值算法。利用拉普拉斯滤波增强图像的细节,缓解插值带来的平滑效果,计算非平坦区边缘的主导方向,在该区待插值位置沿着主导方向进行线性插值。平坦区域直接采用线性插值。该方法计算简单,可在任意边缘方向进行插值,图像可进行任意倍数放大。实验结果表明,该插值方法能保持边缘清晰,能较好地保留细节,图像质量得到较大提高。     

基于极深超分辨率卷积神经网络的单一图像超分辨率研究（英文）

单一图像超分辨率（Sing image super-resolution,SISR）是一个具有挑战性的问题,从根本上说,低分辨率图像可以对应于一组高分辨率图像,但是其困难在于大多数不可预期。深度学习为单一图像超分辨率研究提供了有效途径,通过构造极深超分辨卷积神经网络（Very deep super-resolution conventional neural network,VDSRCNN）,可以将低分辨率图像优化为高分辨率图像。本研究主要实现了两个目标：图像超分辨率（Image super-resolution,ISR）和应用极深超分辨率卷积神经网络使图像更清晰。首先,在分析ISR的基础上,对不同的训练参数进行改良,以测试VDSRCNN的性能;其次,通过在训练集中加入运动模糊图像来优化VDSRCNN的结构参数;最后,利用图像质量指数评价了传统方法和VDSRCNN方法的图像差异。结果表明,本文提出的方法可以有效改良VDSRCNN的结构,更好地从低分辨率图像生成高分辨率图像。     

基于最大似然的超分辨率图像复原方法

从超分辨率图像复原的实际应用出发,提出了一种基于最大似然的序列图像复原方法.在通用线性观测成像模型下,利用改进的奇异值分解法估计成像系统点扩散函数,通过高斯金字塔结构下的光流场方法估计图像间的亚像素级平动,利用基于统计特性的方法估计图像噪声方差等.根据以上参数及部分先验知识,运用最速下降迭代算法实现基于最大似然的超分辨率复原,并对迭代结果进行维纳滤波.计算机模拟实验结果表明,该方法具有较好的复原效果,其性能优于典型的反向迭代投影法.利用实际视频图像的复原实验证明了该方法的实用性.     

一种不同分辨率异类图的融合算法

将较高分辨率的图像分解到各个较低分辨率，对最低分辨率的图像采用先加权平均，进而取亮度极大值的融合方法进行融合，并对上述最低分辨率上的融合图像和较高分辨率的图像利用基于Kalman滤波的多分辨图像融合算法进行融合；上述2步重复进行，最后可得最高分辨率下综合所有图像信息的融合图像。实验表明，本文所介绍的图像融合算法是有效的。     

近似稀疏正则化的红外图像超分辨率重建

针对红外图像分辨率低、受噪声影响严重等问题,引入近似稀疏正则化和K-奇异值分解（K-SVD）法,提出了基于近似稀疏表示模型的红外图像超分辨率重建方法。考虑到红外图像受到噪声污染,首先建立了稳健近似稀疏表示模型。针对已有字典训练方法时间消耗巨大问题,在假定低分辨率图像空间和高分辨率图像空间具有相似流形的前提下,联合近似稀疏表示模型和K-SVD方法,提出近似稀疏约束的基于K-SVD的高低分辨率字典对学习算法。最后,通过高分辨字典和对应的红外图像群稀疏表示系数重建得到高分辨率的红外图像。为了验证算法的性能,对提出的算法与稀疏性正则化的图像超分辨模型（SRSR）和Zeyde算法进行了实验比较。结果表明,本文方法能够较好地减少红外图像中的噪声,同时获得更好的超分辨率重建效果。     

无透镜片上显微成像系统及超分辨率算法研究

空间环境是开展生命科学研究的重要平台.显微镜是生命科学的重要研究工具,也是空间实验平台不可或缺的工具.传统光学显微技术无法兼顾高分辨率与大视场成像,在面临大视场观测需求时往往需要基于机械扫描结构实现.由于空间运输成本昂贵和实验平台空间的有限,同时,机电部件在持续扫描过程中还会产生可能的振动等原因,因而传统的大视场显微镜...     

基于超分辨图像复原的显微圆孔孔径测量方法

为提高圆孔的光学显微测量准确性,研究了基于超分辨图像复原的显微圆孔孔径测量方法。该方法通过超分辨图像复原处理圆孔显微图像,提高了传统光学显微系统对圆孔成像的分辨率,确定了以超分辨复原图像灰度值为0.399作为圆孔物理边缘判据,实现对圆孔边缘的准确探测。理论分析表明该方法可准确测量微米级及以上直径圆孔。核孔膜孔径测量实验中,由二值化图像得到孔径测量结果为6.35μm(测量不确定度为0.08μm),与扫描电镜测量结果6.268μm(测量不确定度为0.083μm)相符,测量误差仅0.08μm。该技术有助于实现对圆孔形状的快速、准确在线测量。     

基于PPF和机群结构的并行图象复原与超分辨处理系统

为实现海量大尺度图象的复原与超分辨算法的实时处理,完成了相应并行系统的设计,对该系统的技术方案、工作原理、关键算法、硬件结构和并行技术等进行了研究。首先,根据技术方案介绍了系统的工作原理及解模糊、去噪和超分辨等关键算法。接着,对DSP和机群两种体系结构进行了分析和比较,结果表明机群更适合于大规模并行处理,并给出其设备选型的原则。然后,提出了基于PPF结构的并行算法模型和基于MPI＋OpenMP混合结构的多层次并行与优化技术。最后,对算法在DSP和计算机系统上的处理效果和处理速度进行了实验和分析,给出了系统规模和性能的预测,确定了关键参数即处理器数目的选择依据。实验结果表明,该系统可将处理时间由2700s降低到29.39s,同时使处理后图象的清晰度、对比度和分辨率显著提高,满足应用需求并具有一定的通用性。     

Three-dimensional image restoration and super-resolution in fluorescence confocal microscopy

Confocal scanning laser microscopy (CSLM) provides optical sectioning of a fluorescent sample and improved resolution with respect to conventional optical microscopy. As a result, three-dimensional (3-D) imaging of biological objects becomes possible. A difficulty is that the lateral resolution is better than the axial resolution and, thus, the microscope provides orientation-dependent images. However, a theoretical investigation of the process of image formation in CSLM shows that it must be possible to improve the resolution obtained in practice. We present two methods for achieving such a result in the case of 3-D fluorescent objects. The first method applies to conventional CSLM, where the image is detected only on the optical axis for any scanning position. Since the resulting 3-D image is the convolution of the object with the impulse-response function of the instrument, the problem of image restoration is a deconvolution problem and is affected by numerical instability. A short introduction to the linear methods developed for obtaining stable solutions of these problems (the so-called regularization theory of ill-posed problems) is given and an application to a real image is discussed. The second method applies to a new version of CSLM proposed in recent years. In such a case the full image must be measured by a suitable array of detectors. For each scanning position the data are not single numbers but vectors. Then, in order to recover the object, one must solve a Fredholm integral equation of the first kind. A method for the solution of this equation is presented and the possibility of achieving super-resolution is demonstrated. More precisely, we show that it is possible to improve by about a factor of 2 the resolution of conventional CSLM both in the lateral and axial directions.     

基于梯度先验的水下图像恢复

由于水体对光线的吸收和散射作用,水下图像呈现出强衰减、高噪声和色彩畸变等问题,难以满足视觉观察和图像分析的需求。针对这一问题,提出了一种基于梯度先验的水下图像恢复方法,用以提高水下图像质量。首先,根据水下成像特性,建立水下图像梯度先验,水下图像中目标反射信息(水下清晰图层)的梯度大于散射噪声信息(水下噪声图层);其次,根据水下成像模型,对上述梯度先验进行表征建模;最后,建立水下图像的梯度分布优化函数,采用半二次优化方法分离出目标反信息,作为水下图像恢复结果。以UEIB和RUIE数据集为实验样本,与近年来所提出的5种水下图像处理方法进行比较,方法在定性和定量两类评价中均获得了出色的处理结果,峰值信噪比(PSNR)、结构相似性(SSIM)和水下图像质量评价指标(UIQM)评价指标分别达到20.066 5、0.696 1和3.902 9,均优于对比方法。因此,该方法能够有效地抑制水下图像噪声,提高水下图像的信噪比、清晰度和对比度。     

基于改进多尺度分形特征的红外图像弱小目标检测

为提高红外图像弱小目标检测的准确率和实时性,在分析用于红外图像增强的分形参数K相关的多尺度分形特征(MFFK)基础上,提出了一种基于改进多尺度分形特征(IMFFK)的红外图像弱小目标检测算法。首先,将基于地毯覆盖法的分形维数计算公式代入MFFK计算公式,提出了一种改进多尺度分形特征(IMFFK)用于图像增强。其次,对IMFFK特征计算进行简化,采用自适应阈值分割得到感兴趣目标区域,提出了一种具有较高计算效率的红外图像弱小目标检测算法。最后,通过仿真图像分析了主要参数对图像增强和算法耗时的影响,采用红外真实图像进行了算法检测性能测试,并与当前基于局部对比度测度的目标检测算法进行了对比。实验结果表明,提出的算法虽然在一些检测场景具有较多虚警,但能同时适用于弱小目标和较大目标检测,且无论目标为亮目标或暗目标。提出算法对于低分辨率红外图像(320×240)检测接近30 frame/s。提出算法具有较强的适用性,能够检测出红外图像中具有较高局部对比度的目标。     

基于自相似性与多任务高斯过程回归的单帧图像超分辨率重建

在单帧图像超分辨率问题中,基于高斯过程回归的超分辨率算法没有挖掘相似图像片间的关联关系或者无差别地用相似图像片来扩充训练集合,都会导致重建的高分辨率图像中存在明显的噪声和伪影。对此提出了一种基于多任务高斯过程回归的超分辨率算法。该算法通过引入多任务学习思想,将输入的低分辨率图像进行分片处理,把每一个图像片的超分辨率过程视为一个任务。在对相似任务建模的过程中,通过最优化求解的参数集合来体现任务间的共性及差异,从而使模型的泛化能力和预测精度得以提高,在重建高分辨率图像清晰锐利的同时,噪声和伪影受到明显抑制。用常见的测试图像以及公开的图像测试集合进行的大量试验表明该算法在主观评价和客观评价两个方面均优于同类型算法及当前经典算法,峰值信噪比较其它常见超分辨率算法可提高约0.5dB。     

一种基于局部图像复原的天文图像增强算法

大气湍流、光子和电子噪声等降低了地基观测天文图像的质量,影响了空间目标的检测,针对这种情况,提出一种基于局部图像复原的天文图像增强算法。首先利用已知的观测设备系统参数和图像建立初始点扩散函数的模型,然后将图像分割成N×N个区域,对满足条件的子区域进行基于盲反卷积的图像复原,最后采用改进的中值滤波器对复原图像进行去噪,实现天文图像的增强。采用实际天文图像进行算法验证,实验结果表明,该算法有效的抑制了大气湍流和噪声的影响,提高了图像的分辨率和空间目标背景的对比度,在保证图像增强效果的前提下减少了大约30%的运算量。     

改进免疫算法用于图像复原

为了更好地对图像进行超分辨率重建,对传统的正则化方法进行了改进,提出了更符合实际的新模型:加性广义高斯白噪声与各向异性正则化项.为求得新模型的最优解,引入免疫进化算法并做如下改进:引入记忆单元群,使算法并行地运行在两个抗体群上;提出一种疫苗的自适应选取及接种方法;将混沌算子作为防僵化算子嵌入.分析与实验表明, 基于新模型重建的图像不仅对噪声的类型与方差具有稳健性,而且重建图像的信噪比改善量(ISNR)比传统模型高1.5 dB左右, 同时提出的改进免疫进化算法能够更快收敛,所需步数仅是遗传算法的8%, 传统免疫算法的40%.结果表明,新模型与改进免疫算法组成的图像超分辨率复原系统具有稳定可靠的性能.     

基于运动模糊特征分割的空间移变降质复原

针对一类由动机座上的相机对运动目标拍摄得到的空间移变降质图像,提出基于像素运动模糊特征分割的图像复原方法。首先分析由于运动模糊的卷积作用,该类图像中的运动目标和背景产生相对位移,两者的像素发生叠加,发现若背景灰度均匀,则叠加区相邻像素灰度值的变化程度相似。根据该灰度变化特征检测运动模糊方向上的目标边缘,并结合canny算子检测平行于模糊方向的边缘,两部分边缘图像进行求或运算,然后利用形态学操作处理,从而分割得到完整的目标模糊图像。对该目标图像剔除叠加区的背景灰度信息,并补零扩充为完全卷积的模糊图像,最后利用反卷积复原算法去除模糊。实际复原结果证明,该方法能够有效地解决该类空间移变降质图像的复原问题。