NSCT域内基于改进PCNN和区域能量的多光谱和全色图像融合方法

针对多光谱和全色图像的融合,提出了一种NSCT域内基于改进脉冲耦合神经网络（PCNN）和区域能量的融合方法。首先,利用NSCT将图像分解为一个低频子带和多个不同方向的带通子带。然后,对分解后的低频子带采用基于区域能量的自适应加权算法进行融合;在带通方向子带,结合改进的脉冲耦合神经网络,使用带通方向子带系数作为PCNN的外部输入激励,经过PCNN点火获得待融合图像的点火映射图,根据点火时间计算点火映射图的区域能量,通过判决算子选择待融合图像的带通方向子带系数作为融合系数。最后,对融合处理后的NSCT变换系数进行重构生成融合图像。实验结果显示:在迭代次数为100次时,与改进小波算法相比,标准差提高了9.48%,熵提高了0.95%,相关系数提高了21.56%,偏差指数降低了29.66%;与Contourlet算法相比,标准差提高了9.73%,熵提高了0.94%,相关系数提高了11.27%,偏差指数降低了9.45%;与NSCT算法相比,标准差提高了3.84%,熵提高了3.34%,相关系数提高了7.89%,偏差指数降低了7.42%。     

采用NSCT与FCM相结合的SAR和多光谱图像融合算法

合成孔径雷达（SAR）和多光谱（MS）图像的融合,有助于得到对观察对象的更好地视觉感知。但是,由于其内在成像机制上的差异,许多经典的方法已被证明不适合这一研究,因此本文提出了采用非下采样contourlet变换（NSCT）和模糊C均值聚类（FCM）相结合的图像融合算法。采用FCM对SAR图像进行分割,得到目标区域和背景区域;采用NSCT对SAR图像和多光谱图像进行分解,得到低频子带和高频方向子带;对于低频部分,不同分割区域采用不同的自适应融合准则进行融合;对于高频部分,采用区域块能量准则进行融合;最后,通过NSCT逆变换得到融合后图像。实验结果表明,该算法的融合图像能很好的保留SAR图像的目标信息和多光谱图像的光谱信息,融合效果优于大部分传统的融合算法。      

基于多阈值分割的红外与可见光图像融合

对基于NSCT分解的可见光和红外图像的融合算法进行了优化技术研究.在场景复杂或有多个区域需要同时关注时,低频子图融合阶段采用简单的二值化区域分割方法并不能将不同区域的感兴趣目标有效地反映到融合结果中.所以本文采用基于最大熵的多阈值分割方法,并对每一个分割区域计算其区域能量比指导融合系数的求取;高频融合阶段采用最能保持图像细节的梯度最大规则.实验结果表明本文算法能够将多个区域中的感兴趣目标很好地反映到融合结果中,并保留了可见光图像丰富的细节信息和分辨率高特征,融合图像具有更好的视觉效果.     

基于NSCT的多光谱和全色图像的融合

提出了一种基于无下采样Contourlet变换的多光谱和全色图像的融合方法.该方法在对多光谱影像进行IHS变换的基础上,对多光谱的I分量和高分辨率的全色影像分别进行无下采样Contourlet变换(NSCT),然后对分解得到的近似分量以及各层金字塔各方向的细节分量利用本文提出的一定的融合准则分别对近似分量和细节分量进行影像融合,最后通过无下采样Conlourlet逆变换得到新的I分量,与H,S分量一起还原到RGB空间,最终得到融合后的高分辨率多光谱彩色图像.本文采用一组多光谱图像和全色图像数据进行融合实验,其实验融合图像的目视效果和统计指标均优于传统的IHS融合方法、小波融合方法以及Contourlet变换方法.     

基于非下采样Contourlet变换的多传感器图像融合

根据非下采样Contourlet变换同时具有多尺度多分辨分析和平移不变性质的特点,提出一种基于非下采样Contourlet变换的多传感器图像融合方法,将其应用于多传感器图像融合的两个重要领域——多聚焦图像融合和高分辨、多光谱图像融合,从视觉效果和信息量指标方面对融合图像进行主观评判和数值评价.实验中将本文方法与Contourlet变换、小波变换、主成分分析等方法进行了比较,结果表明本文方法得到的融合结果具有更优的视觉质量和量化指标,能很好地将源图像的细节信息融合在一起,拓广了NSCT的应用范围.     

基于双特征量和NSCT的多波段SAR图像融合算法

不同波段的SAR图像进行融合,能够综合不同波段SAR图像的信息,得到包含更多信息的SAR图像。针对传统融合方法不能很好地处理SAR图像中边缘及纹理等细节信息的问题,该文提出一种基于双特征量的在非下采样Contourlet变换域融合的方法。对NSCT分解后的高频分量提出了一种基于区域能量和梯度两个特征量,采用平均与选择相结合的规则来计算高频子带系数。实验结果表明,该方法得到的融合图像在客观评价上要优于传统融合方法,这说明该方法在综合了不同波段SAR图像信息的同时能更好地保持细节信息。      

基于区域分割的序列红外图像融合算法

针对传统的基于像素点和窗口策略的融合算法对图像特征表征的失真,提出了一种基于区域分割的序列图像融合算法.首先将序列红外图像分割为3个不同的特征区域,目标区域、背景区域以及灰度区域,并将分割结果映射到可见光图像中.随后,利用多尺度几何分析工具非下采样Contourlet变换(NSCT)有效提取图像特征的特点,根据不同区域的特性在NSCT域设计不同的融合规则.对试验结果进行主观和客观的对比,结果表明:基于区域分割的序列图像融合算法不仅能够为融合图像保留更全面、丰富的背景信息,还能够更加有效、准确地提取图像中的目标特征.该算法优于传统的基于像素点和窗口规则的融合算法,是一种有效可行的图像融合算法.     

基于非亚采样Contourlet和SWT的多光谱图像和全色图像的融合算法

该文研究了多尺度几何分析工具非亚采样Contourlet变换(NSCT),提出一种新的全色图像和多光谱图像融合的方法。该方法首先对全色图像和进行过IHS变换的多光谱图像的亮度分量进行NSCT变换,对于二者的低频近似系数再进行平稳小波变换(SWT)并融合,进一步提高融合图像的空间信息量,对于高频细节系数,采用基于局部平均梯度的方法进行融合,经过逆NSCT得到融合图像。实验结果表明,该文提出的方法在保留多光谱图像的光谱信息的同时,增强了融合图像的空间细节表现能力,提高了信息量,并且优于传统的基于IHS变换、小波变换、双树复小波变换及Contourlet变换的融合方法,该方法是有效可行的。     

Contourlet变换耦合特征投票的遥感图像融合算法

为了解决图像系数融合问题,设计了基于非下采样Contourlet变换与特征投票机制的遥感图像融合算法。采用色相饱和度(HSV)变换从多光谱图像中提取其亮度成分。随后,对该亮度成分与全色图像进行非下采样Contourlet变换,以计算相应的高频、低频系数。再建立特征投票机制,完成低频系数的融合。通过构造高频系数融合规则,获取融合高频系数。最后,对融合系数进行处理,生成融合图像。实验结果显示,所设计算法具有更好的光谱特性以及清晰度。     

基于局部能量的NSCT域红外与可见光图像融合算法

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合方法。首先对红外和可见光源图像进行多尺度、多方向分解;在低频系数上,采用基于局部能量比与基于局部能量加权相结合的方法进行融合;在高频系数上,定义了局部尺度方差的概念,并以局部尺度方差为测度进行取大融合;最后对融合系数进行重构得到融合图像。使用该算法对两类不同目的的红外与可见光图像进行了融合实验,实验结果表明,文中提出的算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

基于区域互信息的特征级多光谱图像配准

提出了一种基于点特征的多光谱图像配准方法.利用SUSAN算法提取角点特征,采用域互信息(RMI)作为相似性测度获取初始匹配特征点集;在精匹配阶段,首先计算初始匹配征点对的匹配强度和明确度,进行松弛迭代,得到匹配强度和明确度都较大的一一对应关系的特征点对,然后利用马氏距离的仿射不变性筛选出正确的点对,将不正确的点对从初始匹配特征点集中删除,重新进行松弛迭代,重复上面的步骤,直到筛选不出新的正确点对为止;获取了足够多的同名控制点后,用最小二乘法估计初始仿射变换参数并迭代修正.实验结果表明,算法可以达到亚像素级的配准精度.     

Image fusion metric based on mutual information and Tsallis entropy

A novel image fusion performance metric using mutual information is proposed. The metric is based on Tsallis entropy, which is a one-parameter generalisation of Shannon entropy. Experimental results have confirmed that the proposed metric outperforms the standard MI metric by correlating better with the subjective quality of fused images.     

色散型多光谱图像的全数字对焦算法

色散型的多光谱成像系统对不同波长的单色光有 不同的折射率,不同波长的滤光片的 折射率会导致 每个波段图像聚焦清晰时的镜头位置也各不相同。因此,对于全部波段,在同一位置采集一 系列的图像会 影响各波段图像的准确对焦。本文从频域角度出发,选用高斯点扩散函数的反演模型对多光 谱图像进行全 数字对焦处理,并乘上一个低通滤波器降低高频分量的噪声。结果显示,本文算法能够在不 改变多光谱各波 段图像能量分布的同时,增强离焦图像的细节信息、降低图像的噪声,恢复出接近准确对焦 的理想图像。 基于以上研究结果,采用性能较高的客观评价函数——灰度差分函数,从主客观两方面评价 了本文算法对多光谱图像全数字对焦的有效性。     

改进的PCNN模型在多光谱与全色图像融合中的应用研究

介绍了PCNN模型原理,提出了基于双通道自适应的PCNN多光谱与全色图像融合算法。该算法首先将RGB空间的多光谱图像转换为HSV彩色空间,然后将HSV彩色空间中的非彩色通道(V通道)的灰度像素值和全色图像的像素灰度值分别作为PCNN-1及PCNN-2的神经元输入,利用方向性信息作为自适应链接强度系数,对非彩色通道图像和全色图像进行自适应分解,再将点火时间序列送入判决因子得到新的非彩色通道图像,最后将原多光谱图像的H通道分量、S通道分量及新的V通道分量经HSV空间逆变换获得最终的融合图像。实验结果表明,该算法不仅解决了链接强度系数自动设置的问题,而且充分考虑到图像边缘和方向特征的影响,无论在主观视觉效果,还是客观评价标准上均优于IHS、PCA、小波融合等其他图像融合算法,同时降低了计算复杂度。     

基于多小波的高分辨率与多光谱图像融合

为了将高分辨率与多光谱图像进行有效地融合,本文提出了一种将 HIS 变换,多小波变换及 PCNN神经网络相结合的图像融合算法。该算法首先采用HIS变换将多光谱图像分为 H、I、S 3个分量,然后使用多小波分别分解I分量和高分辨率图像得到各自的高频和低频分量,接着低频采用矢量融合,高频采用PCNN融合,最后采用多小波逆变换以及HIS逆变换得到融合图像。实验结果显示本文方法在融合时间、视觉效果及客观评价指标上综合效果比较好。     

Multivariate mutual information for audio video fusion

Information fusion is one of the essential part of distributed wireless sensor networks as well as perceptual user interfaces. Irrelevant and redundant data severely affect the performance of the information fusion process. In this paper, a method based on multivariate mutual information is presented to validate the acceptability of data from two sources (visual and auditory). The audiovisual information is fused to observe the ventriloquism effect to validate the algorithm. Unlike the preceding algorithms, this framework does not require any preprocessing such as automatic face recognition. Moreover, statistical modeling or feature extraction and learning algorithms are not required to extract the maximum information regions. The results for various cases, containing a single speaker as well as a group of speakers, are also presented.     

Image registration by maximization of combined mutual information and gradient information

Mutual information has developed into an accurate measure for rigid and affine monomodality and multimodality image registration. The robustness of the measure is questionable, however. A possible reason for this is the absence of spatial information in the measure. The present paper proposes to include spatial information by combining mutual information with a term based on the image gradient of the images to be registered. The gradient term not only seeks to align locations of high gradient magnitude, but also aims for a similar orientation of the gradients at these locations. Results of combining both standard mutual information as well as a normalized measure are presented for rigid registration of three-dimensional clinical images [magnetic resonance (MR), computed tomography (CT), and positron emission tomography (PET)]. The results indicate that the combined measures yield a better registration function does mutual information or normalized mutual information per se. The registration functions are less sensitive to low sampling resolution, do not contain incorrect global maxima that are sometimes found in the mutual information function, and interpolation-induced local minima can be reduced. These characteristics yield the promise of more robust registration measures. The accuracy of the combined measures is similar to that of mutual information-based methods.     

采用改进梯度互信息和粒子群优化算法的红外与可见光图像配准算法

针对传统互信息图像配准容易产生局部极值,以及传统梯度互信息配准方法计算量大等问题,在互信息和梯度方法基础上构建了一种改进的梯度互信息方法,该方法直接统计梯度图像的互信息,有效地将图像梯度信息和灰度信息结合起来,不仅保证了配准精度,而且较传统梯度互信息方法减少了计算量。在参量优化的过程中,针对传统粒子群优化算法易陷入局部极值的缺点,提出了改进的粒子群优化算法,该算法在传统粒子群优化算法基础上引入混沌优化思想和遗传算法中的杂交思想,不仅能够有效抑制局部极值,而且加快了收敛速度。多种红外与可见光图像配准实验结果证明,文中提出的算法能够有效提高配准精度和速度。     

亚米级全色遥感影像云地检测算法研究

为解决现行云地检测算法不适用于亚米级全色遥感 影像云地检测的问题,提出一种大尺度自适应匹配阈值(LS-AMTH,large-scale adaptiv e matching threshold)算法。算法构建包含光谱、纹理 与边缘特征的特征参量集,利用提升算法对影像子块进行大尺度云地分类;之后对大尺度分 类所得云地子 块进行阈值的自适应匹配选择,最终实现像素级云地区域检测并统计云地占比。试验表明, 针对亚米级全 色影像,本文算法准确度达97.3%,在复杂云地混合区域取得良好检 测效果。     

Fusion of hyperspectral and panchromatic images with guided filter

Guided filter has been widely used in image fusion. However, most of the guided filter-based fusion methods generate the spatial detail image by making a compromise between the spatial detail of the panchromatic (PAN) and that of the hyperspectral (HS) intensity component. The intensity component cannot well present the edge and texture features of the HS image. The spectral distortion usually occurs due to the injected redundant spatial detail. To overcome this problem, this study presents a novel HS image fusion method by taking the advantage of the guided filter. The characteristics of the PAN and HS images are simultaneously considered. The guided filter is employed to generate the spatial detail image of each HS image band successively. The generated spatial detail image is further optimized by minimizing the difference between each band of the spatial detail image and its corresponding band of the HS image, with the help of a novel injection gains matrix. Experiments performed on various satellite datasets demonstrate that the superiority of the proposed method in spectral maintenance and spatial quality aspects.