基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L₁范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解（K-SVD）算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为：71.0783、21.9708、3.6790、0.6603、0.7352和0.7339。该方法可以应用于临床诊断和辅助治疗。     

基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架。首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层。然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利用字典学习算法训练出一种联合字典,同时引入一种多范数的活跃度度量方法选择稀疏系数;细节层的融合则采用自适应加权局部区域能量的融合规则。最后将融合后的平滑层和细节层进行多尺度重构得到融合图像。针对三类不同成像模态的医学图像进行对比实验,结果表明,该方法较其他多尺度变换和稀疏表示的方法能够保留更多显著的边缘特征,对比度也有明显提升,在视觉效果和客观评价上都具有一定优势。     

基于稀疏表示的自适应图像融合方法研究

图像融合是将两幅或两幅以上由不同传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息融合为一幅图像,使得融合图像更有利于人们分析和理解。基于目前经典的图像融合方法的基础,提出一种新的基于稀疏表示的自适应图像融合算法。首先根据训练的超完备字典将两幅源图像表示为两组稀疏系数,然后根据系数的特征自适应地选取融合规则对系数进行融合,最后由融合系数和字典进行重构得到融合图像。该算法在稀疏表示的过程中能够有效地避免产生块效应且能去除噪声,从而提高图像质量。实验结果表明该方法在主观和客观评价上均优于其他算法。     

改进耦合字典学习的脑部CT/MR图像融合方法

针对目前使用单字典表示脑部医学图像难以得到精确的稀疏表示进而导致图像融合效果欠佳,以及字典训练时间过长的问题,提出了一种改进耦合字典学习的脑部计算机断层成像（CT）/磁共振成像（MR）图像融合方法。该方法首先将CT和MR图像对作为训练集,使用改进的K奇异值分解（K-SVD）算法联合训练分别得到耦合的CT字典和MR字典,再将CT和MR字典中的原子作为训练图像的特征,并使用信息熵计算字典原子的特征指标;然后,将特征指标相差较小的原子看作公共特征,其余为各自特征,并分别使用"平均"和"选择最大"的规则融合CT和MR字典的公共特征和各自特征得到融合字典;其次,将配准的源图像编纂成列向量并去除均值,在融合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到精确的稀疏表示系数,再分别使用"2范数最大"和"加权平均"的规则融合稀疏表示系数和均值向量;最后通过重建得到融合图像。实验结果表明,相对于3种基于多尺度变换的方法和3种基于稀疏表示的方法,所提方法融合后图像在亮度、清晰度和对比度上都更优,客观参数互信息、基于梯度、基于相位一致和基于通用图像质量指标在三组实验条件下的均值分别为：4.1133、0.7131、0.4636和0.7625,字典学习在10次实验条件下所消耗的平均时间为5.96 min。该方法可以应用于临床诊断和辅助治疗。     

基于结构组稀疏表示的遥感图像融合

目的 稀疏表示在遥感图像融合上取得引人注目的良好效果,但由于经典稀疏表示没有考虑图像块与块之间的相似性,导致求解出的稀疏系数不够准确及字典学习的计算复杂度高。为提高稀疏表示遥感图像融合算法的效果和快速性,提出一种基于结构组稀疏表示的遥感图像融合方法。方法 首先,将相似图像块组成结构组,再通过组稀疏表示算法分别计算亮度分量和全色图像的自适应组字典和组稀疏系数;然后,根据绝对值最大规则进行全色图像稀疏系数的部分替换得到新的稀疏系数,利用全色图像的组字典和新的稀疏系数重构出高空间分辨率亮度图像;最后,应用通用分量替换（GCOS）框架计算融合后的高分辨率多光谱图像。结果 针对3组不同类型遥感图像的全色图像和多光谱图像分别进行了退化和未退化遥感融合实验,实验结果表明：在退化融合实验中,本文方法的相关系数、均方根误差、相对全局融合误差、通用图像质量评价指标和光谱角等评价指标比传统的融合算法更优越,其中相对全局融合误差分别是2.326 1、1.888 5和1.816 8均远低于传统融合算法;在未退化融合实验中,除了在绿色植物融合效果上略差于AWLP（additive wavelet luminance proportional）方法外,其他融合结果仍占有优势。与经典稀疏表示方法相比,由于字典学习的优越性,计算复杂度上要远低于经典稀疏表示的遥感图像融合算法。结论 本文算法更能保持图像的光谱特性和空间信息,适用于不同类型遥感图像的全色图像和多光谱图像融合。     

改进稀疏表示与积化能量和的多聚焦图像融合

为解决多聚焦图像融合算法中细节信息保留受限的问题,提出改进稀疏表示与积化能量和的多聚焦图像融合算法。首先,对源图像采用非下采样剪切波变换,得到低频子带系数和高频子带系数。接着,通过滑动窗口技术从低频子带系数中提取图像块,构造联合局部自适应字典,利用正交匹配追踪算法计算得到稀疏表示系数,利用方差能量加权规则得到融合后的稀疏系数,再通过反向滑动窗口技术获得融合后的低频子带系数;然后,对于高频子带系数提出积化能量和的融合规则,得到融合后高频子带系数;最后,通过逆变换获得融合图像。实验结果表明,该算法能保留更详细的细节信息,在视觉质量和客观评价上具有一定的优势。     

基于训练字典的遥感图像融合

为了提高多光谱图像与全色图像的融合质量,利用稀疏表示理论,提出了一种基于训练字典的融合算法。该算法对多光谱图像的亮度分量进行亮度平滑滤波（SFIM）得到新的亮度分量,利用图像块随机采样学习得到的训练字典对全色图像和新的亮度分量进行稀疏表示,采用空间频率取大的融合规则对稀疏系数进行融合,通过重构和IHS逆变换得到融合结果。对不同场景、不同卫星的多光谱图像和全色图像进行实验,结果表明,该方法能在提高空间分辨率的同时更好地保持光谱特性。     

基于过完备字典稀疏表示的图像超分辨率研究

提出一种基于过完备字典稀疏表示的通用图像超分辨率算法。利用过完备字典代替稀疏基,采用学习的方法得到低分辨率图像和高分辨率图像之间的关系,最终从高分辨率图像块的字典中重构出超分辨率图像。实现了基于matlab的稀疏表示(omp算法)和字典更新(K-SVD算法)的字典学习算法,并通过仿真实验,以PSNR等指标论证了编码算法的有效性。     

基于字典学习与稀疏表示的灰度图像颜色重建算法

为了充分利用参考彩色图像与待处理灰度图像的关联关系,进一步提高图像颜色重建的自动化程度,利用稀疏表示理论和字典学习方法,提出一种自动全局图像着色算法.首先利用图像亮度、特征信息、图像颜色信息之间的相关性,依据参考图像训练出一个亮度-特征-颜色的联合字典;然后利用目标灰度图像的亮度和特征信息计算出其在该字典下的稀疏表示系数;最后利用上述联合字典与计算得到的稀疏表示系数进行灰度图像的颜色信息重建.文中算法无需进行图像分割,针对整幅图像进行着色,是一种自动的全局算法.实验结果表明,该算法可以有效地对灰度图像进行着色,对于色调单一的图像,着色效果更好.     

基于改进l1范数和稀疏表示的SAR与司见光图像快速融合算法

针对多尺度融合算法中合成孔径雷达(SAR)与可见光图像融合结果目标信息易缺失、对比度不高的缺点,提出了一种基于改进I1范数和稀疏表示的图像融合算法,以有效保留源图像的目标信息.首先对SAR与可见光图像经支持度变换(SVT)分解得到的低频系数进行过完备稀疏融合,采用改进l1范数的稀疏系数融合规则以有效保留源图像目标信息,并进行零均值化处理提高了算法运行效率,然后利用基于区域能量的高频融合规则,最大化保留边缘纹理等细节信息.实验结果证明了该算法的有效性.     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction

Recent researches have shown that the sparse representation based technology can lead to state of art super-resolution image reconstruction (SRIR) result. It relies on the idea that the low-resolution (LR) image patches can be regarded as down sampled version of high-resolution (HR) images, whose patches are assumed to have a sparser presentation with respect to a dictionary of prototype patches. In order to avoid a large training patches database and obtain more accurate recovery of HR images, in this paper we introduce the concept of examples-aided redundant dictionary learning into the single-image super-resolution reconstruction, and propose a multiple dictionaries learning scheme inspired by multitask learning. Compact redundant dictionaries are learned from samples classified by K-means clustering in order to provide each sample a more appropriate dictionary for image reconstruction. Compared with the available SRIR methods, the proposed method has the following characteristics: (1) introducing the example patches-aided dictionary learning in the sparse representation based SRIR, in order to reduce the intensive computation complexity brought by enormous dictionary, (2) using the multitask learning and prior from HR image examples to reconstruct similar HR images to obtain better reconstruction result and (3) adopting the offline dictionaries learning and online reconstruction, making a rapid reconstruction possible. Some experiments are taken on testing the proposed method on some natural images, and the results show that a small set of randomly chosen raw patches from training images and small number of atoms can produce good reconstruction result. Both the visual result and the numerical guidelines prove its superiority to some start-of-art SRIR methods.     

Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model

In this paper, a novel model-based pan-sharpening method via sparse representation and local autoregressive (AR) model is proposed. To recover the high-resolution multispectral (HRMS) image from the observed images, we impose sparsity prior on the unknown HRMS image in the restoration model. The quality of the recovered HRMS image depends on the employed sparse domain. Hence, a new sparse representation model for the HRMS image is constructed, in which we suppose that the low-frequency and high-frequency components of the HRMS image can be sparsely represented by a spectral dictionary and a spatial-detail dictionary respectively. The spectral dictionary and spatial-detail dictionary are learned from the source images: low-spatial-resolution multispectral (LRMS) image and high-spatial-resolution panchromatic (HRP) image adaptively. Additionally, local autoregressive (AR) model is employed to improve the spatial structure of the HRMS image patch. Firstly, a set of AR model parameters are learned from the PAN image patches. Then, the local spatial structure of a given HRMS image patch is regularized by an AR model with the learned parameters. By solving the l₁ -norm optimization problem, the HRMS image can be well reconstructed. Experiments are carried out on very high-resolution QuickBird and GeoEye-1 images. In the simulated and real experiments, our proposed method demonstrates its good performance in terms of visual analysis and quantitative evaluation.     

An image fusion framework using morphology and sparse representation

Image fusion is the process which aims to integrate the relevant and complementary information from a set of images into a single comprehensive image. Sparse representation (SR) is a powerful technique used in a wide variety of applications like denoising, compression and fusion. Building a compact and informative dictionary is the principal challenge in these applications. Hence, we propose a supervised classification based learning technique for the fusion algorithm. As an initial step, each patch of the training data set is pre-classified based on their gradient dominant direction. Then, a dictionary is learned using K-SVD algorithm. With this universal dictionary, sparse coefficients are estimated using greedy OMP algorithm to represent the given set of source images in the dominant direction. Finally, the Euclidean norm is used as a distance measure to reconstruct the fused image. Experimental results on different types of source images demonstrate the effectiveness of the proposed algorithm with conventional methods in terms of visual and quantitative evaluations.

     

Joint patch clustering-based dictionary learning for multimodal image fusion

Constructing a good dictionary is the key to a successful image fusion technique in sparsity-based models. An efficient dictionary learning method based on a joint patch clustering is proposed for multimodal image fusion. To construct an over-complete dictionary to ensure sufficient number of useful atoms for representing a fused image, which conveys image information from different sensor modalities, all patches from different source images are clustered together with their structural similarities. For constructing a compact but informative dictionary, only a few principal components that effectively describe each of joint patch clusters are selected and combined to form the over-complete dictionary. Finally, sparse coefficients are estimated by a simultaneous orthogonal matching pursuit algorithm to represent multimodal images with the common dictionary learned by the proposed method. The experimental results with various pairs of source images validate effectiveness of the proposed method for image fusion task.     

基于MCA与判别字典学习的场景图文字检测方法

传统的文字检测方法在场景图像复杂背景、噪声污染和文字的多种形态特征的干扰下,检测的准确率很低,漏检、误检非常严重.针对这些问题,提出了基于形态成分分析(MCA)与判别字典学习的场景图像文字检测的方法.通过学习过完备字典将文字检测问题转化成稀疏和鲁棒表示的问题.利用MCA与改进的Fisher判别准则学习一个过完备字典,求解待检测图像文字部分的稀疏系数,重建待检测图像中的文字图像,进行文字检测.通过在ICDAR2003/2005/2011和MSRA-TDS00数据库中的大量的实验证明了与其他文字检测方法相比,该方法能有效提高检测准确率.     

基于内容自适应稀疏字典的图像集压缩算法

大数据时代巨大的图像信息量,给实际的存储、传输带来了相当大的困难。有效利用图像集自身内容,去除图像之间的信息冗余,是图像集压缩的主要目的。本文提出一种基于内容自适应稀疏字典的图像集压缩方案。通过对图像内容信息进行分类学习,得到分组稀疏字典,将稀疏编码替代传统的变换编码,并利用图像非局部相似特征优化图像解码,得到更高质量的重建图像。实验结果表明,与JPEG方法以及基于递归最小二乘字典学习算法（RLS-DLA）的压缩框架相比,本方案提出的图像集压缩方法有效提高了图像集编码性能。