基于图像自相似性及字典学习的超分辨率重建算法

图像超分辨率重建技术在重构图像细节,改善图像视觉效果等方面起着重要作用.为了提高超分辨率图像的重构质量,本文结合图像自身和自然图像库信息进行超分辨率重建.先利用图像在不同尺度的自相似性,形成图像金字塔,只用单幅低分辨率图像进行超分辨率重建;然后利用自然图像库进行字典学习并以初步得到的重建图像作为输入再次处理;在图像后处理时,利用图像非局部相似性和迭代反投影,进一步提高重建效果.实验结果表明,本文的方法与其它几种基于学习的超分辨率算法比较,无论主观视觉效果上还是峰值信噪比上都有明显提高.     

多路径递归网络结构的单帧图像超分辨率重建

卷积神经网络在单帧图像超分辨率重建任务中取得了巨大成功,但是其重建模型多是基于单链结构,层间联系较弱且不能充分利用网络提取的分层特征。针对这些问题,本文设计了一种多路径递归的网络结构(MRCN)。通过使用多路径结构来加强层之间的联系,实现特征的有效利用并且提取丰富的高频成分,同时使用递归结构降低训练难度。此外,通过引入特征融合的操作使得在重建的过程中可以充分利用各层提取的特征,并且自适应的选择有效特征。在常用的基准测试集上进行了大量实验表明,MRCN比现有的方法在重建效果上具有明显提升。     

视频图像超分辨率增强技术

随着电子现象技术的完善以及人们欣赏水平的逐步提高,使得对视频图像的清晰度也就是分辨率的要求提高。根据前人的不断研究发现,通过观测模型的改进、图像超高配准、超分辨率的重建等相应的步骤与方法能够达到提高分辨率的目的。在这基础至少系统的总结这一技术的发展与应用,为今后的研究提供理论基础。     

基于通道注意力与迁移学习的红外图像超分辨率重建算法

针对现有红外图像分辨率低、质量不高的问题,提出了基于通道注意力与迁移学习的红外图像超分辨率重建方法.该方法设计了一个深度卷积神经网络,融入通道注意力机制来增强网络的学习能力,并且使用残差学习方式来减轻梯度爆炸或消失问题,加速网络的收敛.考虑到高质量的红外图像难以采集、数目不足的情况,将网络的训练分成两步:第一步使用自然...     

彩色图像多尺度引导的深度图像超分辨率重建

为获得更优的深度图像超分辨率重建结果,本文构建了彩色图像多尺度引导深度图像超分辨率重建卷积神经网络。该网络使用多尺度融合方法实现高分辨率(HR)彩色图像特征对低分辨率(LR)深度图像特征的引导,有益于恢复图像细节信息。在对LR深度图像提取特征的过程中,构建了多感受野残差块(MRFRB)提取并融合不同感受野下的特征,然后将每一个MRFRB输出的特征连接、融合,得到全局融合特征。最后,通过亚像素卷积层和全局融合特征,得到HR深度图像。实验结果表明,该算法得到的超分辨率图像缓解了边缘失真和伪影问题,有较好的视觉效果。     

多正则化形式的超分辨率图像重建

为了抑制超分辨图像重建过程中的振铃锯齿效应,本文提出一种多正则化形式的超分辨率重建算法。文章首先给出了图像降质模型并推导出了图像重构约束项。利用重构项直接对低分辨率图像进行重建,获得的高分辨图像会有锯齿和振铃效应。针对此问题,本文利用自回归模型和滤波器组先验来正则化重建过程。自回归模型用来恢复图像局部细节描述,与此同时本文利用自然图像块的聚类集来估计自适应自回归模型参数。滤波器组先验用来约束重建图像的边缘,使得获取的高分辨率的图像边缘更加锐利。最后通过实验定性与定量的分析,证实了本文算法优于其他具有竞争力的算法。     

角度差异强化的光场图像超分网络

由于采用了更为先进的成像技术，光场相机可以同步获取场景的空间信息与角度信息。该技术以牺牲空间分辨率为代价，实现了更高维度的场景表示。为了提高光场相机拍摄场景的空间分辨率，本文搭建了角度差异强化的光场超分辨率重构网络。该网络先采用8个多分支残差块实现浅层特征提取，再采用4个强化的角度可变形对准模块实现深层特征提取，最后采用6个简化的残差特征蒸馏模块和像素洗牌模块完成数据重构。所提网络在利用光场角度差异完成空间信息超分时，更加强调视图自身特征的深入挖掘，以获得更加丰富的视图间差异特征。在5组公开的光场数据集上对本文所提网络的性能进行了验证，本文算法获得了PSNR、SSIM值更高的高分辨率光场子孔径图像。     

基于视觉对比度特性的红外图像超分辨率重建

针对现有超分辨率算法重建后的红外图像存在对比度差、信噪比低、视觉效果模糊的缺点,提出一种基于视觉对比度特性的红外图像超分辨率重建算法。该算法首先利用人眼在不同灰度级的分辨能力不同,通过引入红外图像对比度这一先验信息重建红外图像,其次构建一噪声度量因子以区分图像目标与噪声,然后对目标边缘进行增强,噪声进行滤除。实验结果表明:经过改进算法重建的超分辨率红外图像对比度提高了2倍,噪声得到了有效抑制,视觉效果明显改善。     

基于主动位移成像的图像超分辨率重建

超分辨重建算法是一种将低分辨率图像恢复为高分辨率图像的算法,被广泛用于医学、遥感、军事安防以及人脸识别等领域。在黑夜、远场场景下构建数据集比较困难,基于深度学习的超分辨重建算法应用受到阻碍。而微扫描成像技术扫描模式固定,对器件到位精度要求高。针对这两个问题,我们提出一种基于主动位移成像的图像超分辨率重建算法。具体地,在控制相机随机移动的同时记录采样时刻位移,通过解算、映射选图、精确匹配图像序列并获取多帧图像间的亚像素信息,然后对估计图像进行迭代和更新,最后重建获得高分辨率图像。实验结果表明,本算法在PSNR、SSIM和平均梯度三个指标上都优于最近提出的基于POCS的图像超分辨率重建算法MFPOCS,与基于CNN的方法 ACNet相比具有竞争力。值得提出的是,本算法无需固定的扫描模式,降低了微扫描技术对器件实时到位精度的要求,同时,本算法可以保证重建初始帧的优良选取,有效规避了POCS算法的固有缺点。     

基于脉冲耦合神经网络的红外图像增强

在分析了脉冲耦合神经网络的工作机理和行为特性后,指出可以利用神经元的点火-熄灭特性对图像进行增强.为了区分神经元的点火方式,提出一种根据链接矩阵判定神经元点火方式的方法,并利用自然点火和捕获点火建立了能使图像得到增强的非线性映射.文中对算法参数的设置及其对增强图像的影响做了详细地讨论,实验结果表明该算法不仅能使图像的对比度和亮度得到适当的增强,而且能够有效地抑制图像中的椒盐噪声,尤其适用于对比度和亮度都较低的红外图像.     

稀疏表示图像超分辨率重建的自适应方法

提出了一种参数自适应的图像超分辨率重建方法.在基于稀疏表示的图像超分辨率重建的经典算法模型框架下,正则化参数可以根据每个图像补丁本身情况自适应地确定,从而克服了人为选择参数且所有补丁参数需一致的缺点,因此使图像重建效果得到提升.实验结果表明,我们所提方法在不同尺寸扩大因子和噪声环境下都优于人工确定参数的情形,三种评价指标均表明所提方法是有效的.     

Convolution connection paradigm neural network enables linear system theory-based image enhancement

A new type of robust numeric solution of one form of the Fredholm integral equations of the first king has been discovered. This discovery has its most immediate and important applications in the deconvolution or deblurring of data acquired using scientific instruments. A solution of this integral equation has very general applications. For example, investigator-controlled mapping of the instrumental point-spread function to a more useful form is made feasible. The solution of the linear systems imaging model integral equation results from operations performed on the instrumental kernel, response, or point-spread function with the direct result being the production of a robust, effective inverse kernel. The effective inverse is robust even in the presence of noise. The generation of the inverse kernel in no way depends on the observational data. Therefore, the image enhancement produced by this method contrasts with other numeric schemes that operate only on the observed data. This is an important distinction. This technique, which uses simple numeric operations, offers the possibility of attaining real-time data enhancements for observational instruments. The concept of taking control of the instrument kernel or point-spread function forms the basis of the work presented. Investigations of the application of artificial neural networks to resolution enhancement of Hubble Space Telescope imagery have led to a novel extended instrument paradigm that permits reliable and robust resolution enhancement. In addition to resolution enhancement, the fruits of this investigation have provided a powerful data mapping tool that permits nontrivial, numeric apodization of observed data. The applications of the novel convolution connection paradigm neural network has a great potential for multidisciplinary applications such as resolution enhancement of image and spectral data.     

Multiframe image super-resolution adapted with local spatial information

Super-resolution image reconstruction, which has been a hot research topic in recent years, is a process to reconstruct high-resolution images from shifted, low-resolution, degraded observations. Among the available reconstruction frameworks, the maximum a posteriori (MAP) model is widely used. However, existing methods usually employ a fixed prior item and regularization parameter for the entire HR image, ignoring local spatially adaptive properties, and the large computation load caused by the solution of the large-scale ill-posed problem is another issue to be noted. In this paper, a block-based local spatially adaptive reconstruction algorithm is proposed. To reduce the large computation load and realize the local spatially adaptive process of the prior model and regularization parameter, first the target image is divided into several same-sized blocks and the structure tensor is used to analyze the local spatial properties of each block. Different property prior items and regularization parameters are then applied adaptively to different properties' blocks. Experimental results show that the proposed method achieves better performance than methods with a fixed prior item and regularization parameter.     

Efficient document-image super-resolution using convolutional neural network

Experiments performed by us using optical character recognizers (OCRs) show that the character level accuracy of the OCR reduces significantly with decrease in the spatial resolution of document images. There are real life scenarios, where high-resolution (HR) images are not available, where it is desirable to enhance the resolution of the low-resolution (LR) document image. In this paper, our objective is to construct a HR image, given a single LR binary image. The works reported in the literature mostly deal with super-resolution of natural images, whereas we try to overcome the spatial resolution problem in document images. We have trained and obtained a novel convolutional model based on neural networks, which achieves significant improvement in terms of the peak-signal-to-noise ratio (PSNR) of the reconstructed HR images. Using parametric rectified linear units, mean PSNR improvements of 2.32, 4.38, 6.43 and 8.92 dB have been achieved over those of LR input images of 50, 75, 100 and 150 dots per inch (dpi) resolution and average word level accuracy of almost 43%, 45% and 57% on 75 dpi Tamil, English and Kannada images, respectively.     

融合多尺度特征的光场图像超分辨率方法

光场相机作为新一代的成像设备,能够同时捕获光线的空间位置和入射角度,然而其记录的光场存在空间分辨率和角度分辨率之间的制约关系,尤其子孔径图像有限的空间分辨率在一定程度上限制了光场相机的应用场景。因此本文提出了一种融合多尺度特征的光场图像超分辨网络,以获取更高空间分辨率的光场子孔径图像。该基于深度学习的网络框架分为三大模块：多尺度特征提取模块、全局特征融合模块和上采样模块。网络首先通过多尺度特征提取模块学习4D光场中固有的结构特征,然后采用融合模块对多尺度特征进行融合与增强,最后使用上采样模块实现对光场的超分辨率。在合成光场数据集和真实光场数据集上的实验结果表明,该方法在视觉评估和评价指标上均优于现有算法。另外本文将超分辨后的光场图像用于深度估计,实验结果展示出光场图像空间超分辨率能够增强深度估计结果的准确性。     

图像对比度增强的非线性变换法

对原始图像用所提出的判据判断图像的对比度类型,针对不同类型直接确定灰度变换参数,实现图像全局对比度增强。再对图像进行离散平稳小波变换,利用所提出的非线性增强方法分别对各个分解层的高频子带进行细节增强。实验表明,提出的方法在有效提高图像整体对比度的同时,又能突出图像中目标的细节部分信息。     

一种深度级联网络结构的单帧超分辨重建算法

利用深度学习进行超分辨重建已经获得了极大的成功,但是目前绝大多数网络结构依然存在训练以及重建速度较慢,一个模型仅能重建一个尺度以及重建图像过于平滑等问题。针对这些问题,本文设计了一种级联的网络结构(DCN)来逐级对图像进行重建。使用L2和感知损失函数共同优化网络,在每一级的共同作用下得到了最终高质量的重建图像。此外,本文的方法可以同时重建多个尺度,比如4×的模型可以重建1.5×,2×,2.5×,3×,3.5×,4×。在几个常用数据集上的实验表明,该方法在准确性和视觉效果均优于现有的方法。