一种新的基于HIS和小波变换的图像融合方法*

针对遥感图像影像分辨率低的问题,提出了一种新的基于HIS和小波变换的低分辨多光谱和高分辨全色图像的融合方法.该方法通过对高分辨全色图像小波分解后的低频分量进行低通滤波,将全色图像的低频信息中的高频分量融入到多光谱图像HIS空间的亮度信息的低频中;再将这个融合后的低频和高分辨全色图像的细节信息进行小波反变换,得到融合后的图像.该图像很大程度地保留了多光谱的光谱特性和高分辨图像的空间分辨率.仿真结果表明了本方法的有效性.     

基于深度卷积神经网络的图像帧间补偿研究

由于图像分辨率低,传输过程中容易出现图像丢失、不清晰现象。针对上述问题,提出一种深度卷积神经网络算法实现图像帧间补偿。首先依据深度卷积神经网络构建图像帧间补偿模型,其次采用稀疏自编码与线性解码方式提取出该补偿模型的图像特征,再通过多层卷积神经网络对图像特征做映射处理,最后根据稀疏算法重建图像帧分辨率,使图像帧间得到补偿。实验结果表明,基于深度卷积神经网络的图像帧补偿实训可以有效提高图像帧分辨率,解决图像丢失问题,实现了图像高清晰化。     

新颖的频域图像超分辨重建方法

图像频域解混叠超分辨算法要求输入低分辨率图像帧数及其帧间亚像元位移满足一定的条件,因此限制了其应用范围。利用单帧超分辨技术和再采样函数从每帧输入低分辨率图像产生16帧相同分辨率的图像,再从中挑选满足限制条件的图像帧,从而消除了原算法要求的两个主要限制条件,建立了改进的二至多帧输入图像频域解混叠超分辨算法。三组仿真实验结果表明,该算法消除了输入帧数和帧间亚像元位移的限制条件,并且可以使峰值信噪比提高5dB左右。     

基于深度金字塔网络的Pan-Sharpening算法

为了利用高空间分辨率单波段的全色(PAN)图像和低空间分辨率的多光谱图像(MS)生成高分辨率的多光谱图像,提出一种基于深度金字塔网络的遥感图像融合(即pan-sharpening)算法,通过图像金字塔的方式逐层上采样来重构高分辨率的多光谱图像.在细节保持方面,针对全色图像和多光谱图像在尺度上跨度过大的问题,采用深度金字塔网络多尺度地融合全色图像的细节信息;在光谱保持方面,使用反卷积层代替传统的超分辨算法来上采样低分率的多光谱图像;最后将这2部分相加,得到最终的融合图像. GeoEye-1数据集上的实验结果表明,文中算法综合性能优于BDSD, PRACS, PNN and PanNet算法.     

无源毫米波成像最大似然频域校正超分辨算法

在无源毫米波成像中, 因为天线孔径大小的限制而导致获取的图像分辨率低, 所以必须采取有效的后处理措施增强分辨率. 本文提出了一种针对无源毫米波成像应用的最大似然频域校正超分辨算法. 该算法首先使用Wiener滤波复原算法恢复图像通带内的频谱分量, 然后运用Richardson-Lucy算法实现频谱外推, 最后通过一种频域校正算法, 用Wiener滤波器恢复的频谱代替通带内的频谱, 保证图像的低频分量不被破坏. 实验结果表明, 该算法改善了收敛速度, 增强了图像的分辨率, 同时能够有效地减轻恢复图像中的振铃波纹, 有利于无源毫米波成像超分辨的实现.     

基于学习的多帧图像超分辨率重建技术研究

由于可用信息不足,多帧图像超分辨率重建问题常常是一个不适定问题。为解这一问题,需要额外的图像先验知识。本文提出一个基于学习的多帧图像超分辨率重建算法,该方法从训练图像集中学习先验知识。实验表明本文方法要优于传统基于最大后验概率估计的超分辨率重建算法。     

基于IHS变换与小波变换的图像融合

提出一种将IHS变换和小波变换相结合的图像融合算法,适用于多光谱图像和高分辨率图像的融合.算法首先对多光谱图像进行IHS变换,之后利用变换后得到的强度分量和高分辨图像具有较强的相关性的特点,在小波变换域进行图像融合,得到了同时具有较好的空间分辨率和光谱信息的融合图像.实验对比数据表明该方法具有较好的融合效果,融合图像优于传统的IHS变换法和传统小波变换方法.     

基于联合插值—恢复的超分辨率图像盲复原

常规的超分辨复原方法需要预知退化图像的点扩展函数,但实际应用中许多退化图像的点扩展函数是未知的,因此提出一种新的超分辨率图像盲复原算法,在点扩展函数未知或不确知的情况下对图像进行恢复。该联合插值—恢复的超分辨率图像盲复原方法,利用多信道盲复原估计未知的点扩展函数,迭代运用帧间相似性确定模糊特性,同时结合超分辨率方法得到高分辨率图像。实验结果表明,该算法能有效地实现超分辨率图像的盲复原。     

多分辨图像融合通用开发平台

多分辨图像融合是图像融合技术的一个研究热点，具有广泛的应用前景。为方便多分辨图像融合仿真应用系统的开发和对新融合算法的比较验证，提出了一个开放的多分辨图像融合应用与开发平台。该平台使用了一个新的通用的多分辨图像融合仿真模型，进行了详细的模块结构设计，并实现了12种典型的多分辨图像融合算法。在平台之上可以构筑相关工程应用仿真系统，也可方便地集成新的算法进行融合比较实验。最后为了验证平台功能，给出了一个工程应用实例和一个新融合算法的比较验证实例。     

基于灰度级映射函数建模的多曝光高动态图像重建

为解决传统多曝光图像融合的实时性和动态场景鬼影消除问题,提出了基于灰度级映射函数建模的多曝光高动态图像重建算法。对任意大小的低动态范围（Low dynamic range,LDR）图像序列,仅需拟合与灰阶数目相同个数而不是与相机分辨率个数相同的视觉适应的S形曲线,利用最佳成像值判别方法直接融合,提高了算法的融合效率,能够达到实时性图像融合要求。对动态场景的融合,设计灰度级映射关系恢复理想状态的多曝光图像,利用差分法检测运动目标区域,作鬼影消除处理,融合得到一幅能够反映真实场景信息且不受鬼影影响的高动态范围图像。     

Image super resolution model enabled by wavelet lifting with optimized deep convolutional neural network

This paper plans to develop an intelligent super resolution model with the linkage of Wavelet lifting scheme and Deep learning algorithm. Before initiating the resolution procedure, the entire HR images are converted into Low Resolution (LR) images using bicubic interpolation-based downsampling and upsampling. Further, the Wavelet lifting scheme helps to generate the four subbands of each image like LR wavelet Sub-Bands for LR images, and High Resolution (HR) wavelet Sub-Bands for HR images. The residual image is generated by taking the difference between the LR wavelet Sub-Bands and HR wavelet Sub-Bands images. The proposed model involves two main phases: Training phase and Testing. The training phase trains the residual image of all images by Deep Convolutional Neural Network with LR wavelet Sub-Bands as input and residual image as target. On the other hand, in testing phase, the LR wavelet Sub-Bands query image is subjected to Deep Convolutional Neural Network, which outputs the concerned residual image. This generated residual image is summed with LR wavelet Sub-Bands image, followed by inverse wavelet lifting scheme to obtain the final super resolution image. The main contribution of this paper is to improve the conventional Deep Convolutional Neural Network by optimizing the number of hidden layer, and hidden neurons using modified Whale Optimization Algorithm called Average Fitness Enabled Whale Optimization Algorithm by considering the objective of maximizing the Peak Signal-to-Noise Ratio. Finally, the proposed method achieves an improved quality of the results which is comparable the existing models.     

Learning-based super resolution using kernel partial least squares

In this paper, we propose a learning-based super resolution approach consisting of two steps. The first step uses the kernel partial least squares (KPLS) method to implement the regression between the low-resolution (LR) and high-resolution (HR) images in the training set. With the built KPLS regression model, a primitive super-resolved image can be obtained. However, this primitive HR image loses some detailed information and does not guarantee the compatibility with the LR one. Therefore, the second step compensates the primitive HR image with a residual HR image, which is the subtraction of the original and primitive HR images. Similarly, the residual LR image is obtained from the down-sampled version of the primitive HR and original LR image. The relation of the residual LR and HR images is again modeled with KPLS. Integration of the primitive and the residual HR image will achieve the final super-resolved image. The experiments with face, vehicle plate, and natural scene images demonstrate the effectiveness of the proposed approach in terms of visual quality and selected image quality metrics.     

统一最小二乘规则的单幅图像超分辨算法

基于机器学习的超分辨方法是一个很有发展前景的单幅图像超分辨方法,稀疏表达和字典学习是其中的研究热点。针对比较耗时的字典训练与恢复精度不高图像重建,从减小低分辨率(LR)和高分辨率(HR)特征空间之间差异性的角度提出了一种使用迭代最小二乘字典学习算法(ILS-DLA),并使用锚定邻域回归(ANR)进行图像重建的单幅图像超分辨算法。迭代最小二乘法的整体优化过程极大地缩短了低分辨字典/高分辨字典的训练时间,它采用了与锚定邻域回归相同的优化规则,有效地保证了字典学习和图像重建在理论上的一致性。实验结果表明,所提算法的字典学习效果比K-均值奇异值分解(K-SVD)和Beta过程联合字典学习(BPJDL)等算法更高效,图像重建的效果也优于许多优秀的超分辨算法。     

压缩图像空时自适应正则化超分辨率重建

所谓超分辨率(SR)技术就是由低分辨率(LR)图像序列来重建高分辨率(HR)图像的技术,而基于压缩图像的SR技术正成为当前研究的热点。为了提高压缩图像的重建质量,在正则化理论的基础上,通过利用比特流中的信息,提出了一种新颖的空时自适应超分辨率重建算法,该算法先利用正则化代价函数控制时域数据和空域先验信息之间的平衡,使正则化参数在SR重建过程中得到自适应地调整,然后利用迭代梯度下降法进行超分辨率重建。仿真实验表明,该自适应算法比采用传统算法重建的图像的主、客观质量有一定的提高,适合压缩图像的应用。     

基于迭代条件模型算法的图像超分辨率重建

图像超分辨重建是从一系列降质的低分辨率图像中获取高分辨率的图像。在最大后验概率算法基础上提出了一种基于马尔可夫随机场的超分辨率重建算法,并通过迭代条件模型实现超分辨率图像重建。实验结果表明,与传统的超分辨率重建算法相比,该算法是一种快速的计算最大后验概率的方法,采用Potts-Strauss模型作为图像的先验概率密度函数,经过五、六次的迭代就能达到理想的迭代效果,解决了最大后验概率算法计算量大的缺点,是一种高效的超分辨率重建算法,具有一定的实用价值。     

基于残差的图像超分辨率重建

提出一种基于图像残差的超分辨率重建算法.以原高分辨率图像与插值放大后图像之间的图像残差与低分辨率图像样本特征作为样本对,对其进行K均值分类,并对每类样本对采用KSVD(K-singular value decomposition)方法进行训练获得高、低分辨率字典对,然后根据测试样本与类中心的欧氏距离选择字典对,以与测试样本相近的多个类别所重建的结果加权获得图像残差,并结合低分辨率图像的插值结果获得高分辨率图像.实验结果表明,提出的方法具有更高的重建质量,且采用训练样本分类和相近类别的重建结果的加权和有利于提高图像重建质量.     

基于非负邻域嵌入和非局部正则化的单帧图像超分辨率重建算法

单帧图像超分辨率重建是指利用一幅低分辨率图像,通过相应的算法来获取一幅高分辨率图像的技术。提出了一种基于 非负邻域嵌入和 非局部正则化 的单帧图像超分辨率重建算法,以弥补传统邻域嵌入算法的不足。在训练阶段,首先对低分辨率图像预放大2倍,以保证在放大倍数较大时,高、低分辨率图像块之间的邻域关系也能得到较好的保持;在重建阶段,使用非负邻域嵌入来有效地解决近邻数的选取问题;最后利用图像块的非局部相似性构造非局部正则项对重建结果进行修正。实验结果表明,相对于传统算法,本方法的重建结果纹理丰富、边缘清晰。     

Locally affine patch mapping and global refinement for image super-resolution

This paper deals with the super-resolution (SR) problem based on a single low-resolution (LR) image. Inspired by the local tangent space alignment algorithm in [16] for nonlinear dimensionality reduction of manifolds, we propose a novel patch-learning method using locally affine patch mapping (LAPM) to solve the SR problem. This approach maps the patch manifold of low-resolution image to the patch manifold of the corresponding high-resolution (HR) image. This patch mapping is learned by a training set of pairs of LR/HR images, utilizing the affine equivalence between the local low-dimensional coordinates of the two manifolds. The latent HR image of the input (an LR image) is estimated by the HR patches which are generated by the proposed patch mapping on the LR patches of the input. We also give a simple analysis of the reconstruction errors of the algorithm LAPM. Furthermore we propose a global refinement technique to improve the estimated HR image. Numerical results are given to show the efficiency of our proposed methods by comparing these methods with other existing algorithms.     

基于模糊模式感知模块的场景文本图像超分辨率算法

现有的场景文本识别器容易受到模糊文本图像的困扰, 导致在实际应用中性能较差. 因此近年来研究人员提出了多种场景文本图像超分辨率模型作为场景文本识别的预处理器, 以提高输入图像的质量. 然而, 用于场景文本图像超分辨率任务的真实世界训练样本很难收集; 此外, 现有的场景文本图像超分辨率模型只学习将低分辨率(LR)文本图像转换为高分辨率(HR)文本图像, 而忽略了从HR到LR图像的模糊模式. 本文提出了模糊模式感知模块, 该模块从现有的真实世界HR-LR文本图像对中学习模糊模式, 并将其转移到其他HR图像中, 以生成具有不同退化程度的LR图像. 本文所提出的模糊模式感知模块可以为场景文本图像超分辨率模型生成大量的HR-LR图像对, 以弥补训练数据的不足, 从而显著提高性能. 实验结果表明, 当配备提出的模糊模式感知模块时, 场景文本图像超分辨率方法的性能可以进一步提高, 例如, SOTA方法TG在使用CRNN文本识别器进行评估时, 识别准确率提高了5.8%.     

稀疏梯度先验模型的正则化图像复原

传统Lucy-Richardson(LR)算法是一种基于贝叶斯分析的图像复原迭代算法,对高信噪比的退化图像能获得很好的复原结果,但对噪声过于敏感,对低信噪比的退化图像在迭代过程中易造成噪声的放大,虽然有一些正则化方法应用到LR算法中来抑制噪声,但往往容易产生过度平滑的问题。针对这些问题将图像稀疏先验模型作为正则项引入到LR算法中,抑制噪声在迭代过程中的放大。与常规的图像梯度约束算法不同,本文算法中根据模糊图像梯度分布特点的不同提出了可变参数的图像稀疏梯度正则化约束方法,使复原图像的梯度分布参数在迭代过程中更趋近于真实梯度分布,同时通过调整正则项系数可以避免复原图像的过度平滑。实验结果表明,同标准LR算法和常规梯度约束算法相比,本文算法能够实现在抑制噪声放大的同时较好地保留图像的细节。