基于张量优化的高动态范围微光相机设计与实现

针对空间低照度环境下,互补金属氧化物半导体(CMOS)相机成像视觉效果不佳的问题,基于张量优化的图像融合方法研制一款高动态范围的微光相机。分析基于科学互补金属氧化物半导体(sCMOS)图像传感器亮暗场双通道ADC的电路特性,利用同源双通道图像数据构建三阶特征张量,通过对特征张量的平行因子分析,以融合图像动态范围最优为评价函数,引入拉格朗日乘数法作为张量分解的优化算法,实现实时的高分辨力高动态范围成像。研制一款基于LTN4625的微光相机,并进行成像实验。仿真实验结果表明,相机实现了50帧/s,4 608×2 592像素的高分辨力高动态范围成像,图像动态范围从低增益数据的5.2 dB和高增益数据的11.4 dB提高到了54.7 dB。该设计是一种微弱光环境下动态响应范围高、成像效果好的微光相机设计方法。     

基于随机森林的红外图像超分辨力算法

为提高低分辨力红外图像的分辨力,提出了一种红外图像超分辨力算法。该算法训练2个随机森林模型：红外图像训练第1个模型、配准的多传感器图像训练第2个模型。采用自适应边缘提取算法提取红外图像与可见光图像的边缘,计算输入的低分辨力红外图像块与对应的高分辨力可见光图像块之间的相关系数。根据相关性选择合适的重建模型,用选择的模型重建高分辨力红外图像块,并整合为高分辨力红外图像。实验结果表明,与超分辨力随机森林算法相比,算法重建的高分辨力红外图像具有更高的客观指标,峰值信噪比(PSNR)平均提升了0.09 dB,并且获得更为清晰的主观视觉效果,更接近原始图像。     

基于多特征多分辨率融合的高光谱图像分类

由于数据维数高,利用高光谱数据对地物进行分类,常规方法难以获得令人满意的结果,在基于小波多分辨率融合方法进行特征图像的提取过程中,提出了利用多个空间特征所构成的特征矢量确定多分辨率融合权值的算法,有效地降低了原始图像的数据维并获得了用于后续分类的特征图像．对AVIRIS数据进行的实验表明,利用新方法提取的特征进行分类,获得了高于传统方法确定融合权值的结果。     

PHI高光谱数据和高空间分辨率遥感图像融合技术研究

提出了一种新的高光谱图像融合技术———基于最佳指数准则的高光谱小波包图像融合方法,即首先利用最佳指数选择高光谱的最佳合成波段,得到低分辨率的彩色合成影像,然后采用一种基于区域多特征的小波包融合算法进行融合处理.文中利用上海地区PH I高光谱数据和高分辨率全色航空像片来验证算法的有效性,实验结果表明该方法可有效的实现高光谱数据和高空间分辨率遥感图像的融合处理.     

基于图像与数据双层融合的高光谱图像拼接

针对传统拼接技术对图像信息利用率不足的问题,提出一种基于图像与数据双层融合的高光谱图像拼接技术。对于图像层,采用尺度不变特征变换算法对图像进行特征提取,使用欧氏距离确定特征匹配范围,根据坐标转换关系对特征进行匹配,完成图像层的拼接;对于数据层,首先将数据拆分高、低位数据,然后采用加权和法计算数据的新值并对其进行拼接,最后通过位移运算合并高、低位数据,完成数据层的拼接;最后将图像与数据按照BIL方式进行存储,完成图像与数据的双层融合。在某地域进行高光谱图像拼接实验,实验结果表明图像层和数据层的平均拼接精度分别为0.9214和0.9663,说明该技术具有有效性和准确性。     

基于瓦片金字塔模型的高分辨力岩心图像浏览

相对低分辨力岩心图像,高分辨力岩心图像由于像素点较多,数据量较大,在传输、处理和显示过程中都将占用很大的内存开销,传统的处理方式无法实现高分辨力岩心图像的浏览显示。针对此问题,提出一种基于瓦片金字塔模型的瓦片图像分割技术,将原始高分辨力岩心图像转换为以瓦片结构存储的具有多个分辨力层的标签图像文件格式（TIFF）图像,利用分块传输和分块加载来实现高分辨力岩心图像在浏览器端的浏览显示。     

引入特征交互的红外与可见光图像自适应融合北大核心CSCD

在图像融合领域,现有的基于卷积神经网络(CNN)或Transformer架构的方法存在两个局限性:首先,浅层纹理特征与深层语义特征之间无法有效聚合;其次,红外与可见光特征的权重比例无法自适应变化。本文提出一种引入特征交互的红外与可见光图像自适应融合方法。首先,构建一种基于Transformer的特征交互模块,聚合跨尺度特征信息,增强特征表达能力。其次,设计一种融合模块,自适应地调整特征权重比例。所提出的融合方法通过两阶段训练策略完成。第一个阶段,应用创新的特征交互概念训练编码器,增强特征表达,重建特征图像。第二个阶段,基于设计的权重自适应调整模块训练红外与可见光特征融合任务。公开数据集的实验结果表明,与现有方法相比,本方法在主观和客观的评价方面均优于其他典型方法。     

一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法

为了减轻卷积神经网络模型对训练样本的依赖性 和提高高光谱图像的分类性能,本 文提出了一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法。首先,三维Gabor滤 波器用于处理原始高光谱数据以生成空谱隧道信息;其次,利用三维卷积操作提取生成的 空谱隧道信息的深层特征;然后,再利用二维卷积进一步提取图像的空间信息;最后,通 过Softmax分类器完成高光谱图像分类。为验证模型性能,将提出的方法与CNN、2D- CNN、3D-CNN-LR、SSRN算法在Indian Pines、Pavia University、Salinas数据集上进行 对 比实验。实验结果表明,提出的方法在三个数据集上的总体识别精度分别达到99.51%、99.94%、99.99%,均高于其 他方法,能够有效提高分类性能,是一种简单而高效的高光谱图像分类算法。     

基于深层-浅层双流学习图模型的无监督少样本红外空中目标识别网络

在军事空中目标识别领域,由于样本数量缺失,现有人工智能算法无法完成准确识别。文章利用已有足量辅助域图像辅助少样本应用域进行跨域目标识别,解决因标签缺失与样本稀疏导致的识别模型泛化能力不强及性能不佳问题。文章提出一种基于深层-浅层双流学习图模型（D-SLGM）的跨域目标识别算法。首先,提出一种深层-浅层双流特征提取算法,解决无监督少样本条件下特征表示困难的问题;同时,提出一种基于图模型的特征融合算法,实现特征间高精度融合;基于融合后的特征训练识别模型,提升算法的泛化能力。使用自建空中目标数据集,设计三种应用场景。实验结果表明,D-SLGM平均识别准确率均值达到78.2%,优于对比方法,在实际空中目标识别应用中具有较大潜力。     

基于增强超分辨率网络的单对图像时空融合

由于高质量的对地观测需要时空连续的高分辨率遥感图像,故对时空融合的研究广泛开展,并且集中在Landsat和MODIS卫星之间.目前已经提出了使用卷积神经网络进行时空融合的方法,但是网络较浅,故融合性能有限.针对应用最广泛的单对图像时空融合问题,建立了一种基于深度神经网络的新时空融合方法.首先,基本网络框架由两个级联的4倍上采样器构成以近似Landsat和MODIS卫星之间的空间差异和传感器差异.然后,利用卷积神经网络学习重建图像与真实图像之间的残差,使重建图像与真实图像更接近.接着,使用高通调制策略进行时间上的预测.最后,将所提方法在不同的Landsat和MODIS卫星图像上进行了测试,并与多种时空融合算法进行了比较.实验结果表明,与现有融合算法相比,所提方法的重建效果更好,且处理速度更快.     

基于Contourlet系数局部特征的选择性遥感图像融合算法

为了使融合后的多光谱图像在显著提高空间分辨率的同时,尽可能多地保持原始多光谱特性,提出了一种基于Contourlet变换系数局部特征的选择性遥感图像融合方法。根据多光谱和全色图像融合过程中Contourlet变换后的低频和高频部分融合目的的不同,对得到的近似和各层各方向的细节分量分别运用窗口邻域移动模板逐一计算相应区域Contourlet系数阵的不同局部特征量,然后选择适当的准则,对图像的近似和细节分量分别应用不同的策略在Contourlet系数域内进行选择性融合,通过Contourlet和亮度-色调-饱和度(IHS)逆变换得到融合的高分辨率多光谱图像。采用Landsat TM多光谱和SPOT全色图像进行的融合实验结果表明:提出的算法在显著提高空间分辨率的同时,又能很好地保持原始图像的光谱特征,并优于传统的融合方法。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

基于深度卷积神经网络和多核学习的遥感图像分类方法

为解决传统遥感图像分类方法特征提取过程复杂、特征表现力不强等问题,该文提出一种基于深度卷积神经网络和多核学习的高分辨率遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;然后采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现两种高层特征在高维空间的自适应融合;最后在多核融合特征的基础上,设计一种基于多核学习-支持向量机的遥感图像分类器,对遥感图像进行精确分类。实验结果表明,与目前已有的基于深度学习的遥感图像分类方法相比,该算法在分类准确率、误分类率和Kappa系数等性能指标上均有所提升,在实验测试集上3个指标分别达到了96.43%, 3.57%和96.25%,取得了令人满意的结果。     

基于压缩卷积神经网络的图像超分辨率算法

为了有效提高深度图像的分辨率,文中借鉴经典SqueezeNet网络结构,提出一种基于Fire Module的卷积神经网络模型。该算法实现了直接从低分辨率图像到高分辨率图像的映射和转化,其中Fire Module作为网络的非线性映射模块,在减少参数的同时可学习图像的深层特征。为了避免插值预处理,在网络的输出层引入反卷积层,实现3倍上采样和高分辨率图像的输出。实验表明,采用该基于Fire Module的卷积神经网络模型的反卷积算法得到的超分辨率图像细节更加丰富,客观指标PSNR值和SSIM值的评价也明显优于其他算法。     

Image super-resolution reconstruction based on sparse representation and deep learning

Super-resolution reconstruction technology has important scientific significance and application value in the field of image processing by performing image restoration processing on one or more low-resolution images to improve image spatial resolution. Based on the SCSR algorithm and VDSR network, in order to further improve the image reconstruction quality, an image super-resolution reconstruction algorithm combined with multi-residual network and multi-feature SCSR(MRMFSCSR) is proposed. Firstly, at the sparse reconstruction stage, according to the characteristics of image blocks, our algorithm extracts the contour features of non-flat blocks by NSCT transform, extracts the texture features of flat blocks by Gabor transform, then obtains the reconstructed high-resolution (HR) images by using sparse models. Secondly, according to improve the VDSR deep network and introduce the feature fusion idea, the multi-residual network structure (MR) is designed. The reconstructed HR image obtained by the sparse reconstruction stage is used as the input of the MR network structure to optimize the high-frequency detail residual information. Finally, we can obtain a higher quality super-resolution image compared with the SCSR algorithm and the VDSR algorithm.     

MULTI-SPECTRAL AND HYPERSPECTRAL IMAGE FUSION USING 3-D WAVELET TRANSFORM

Image fusion is performed between one band of multi-spectral image and two bands of hyperspectral image to produce fused image with the same spatial resolution as source multi-spectral image and the same spectral resolution as source hyperspeetral image. According to the characteristics and 3-Dimensional （3-D） feature analysis of multi-spectral and hyperspectral image data volume, the new fusion approach using 3-D wavelet based method is proposed. This approach is composed of four major procedures： Spatial and spectral resampling, 3-D wavelet transform, wavelet coefficient integration and 3-D inverse wavelet transform. Especially, a novel method, Ratio Image Based Spectral Resampling （RIBSR）method, is proposed to accomplish data resampling in spectral domain by utilizing the property of ratio image. And a new fusion rule, Average and Substitution （A＆S） rule, is employed as the fusion rule to accomplish wavelet coefficient integration. Experimental results illustrate that the fusion approach using 3-D wavelet transform can utilize both spatial and spectral characteristics of source images more adequately and produce fused image with higher quality and fewer artifacts than fusion approach using 2-D wavelet transform. It is also revealed that RIBSR method is capable of interpolating the missing data more effectively and correctly, and A＆S rule can integrate coefficients of source images in 3-D wavelet domain to preserve both spatial and spectral features of source images more properly.     

一种改进的可见光与红外图像融合算法

针对红外和可见光图像的特点,提出一种基于加权对比度和局部熵相结合的多分辨图像融合算法.利用小波变换得到待融合图像的多分辨结构,在图像多分辨结构相应各级上采取不同的融合规则,得到融合图像的多分辨结构,利用小波逆变换重构融合图像.实验结果表明,该方法在保留可见光图像高的空间分辨率和丰富的纹理细节信息的同时,融合了红外图像对热目标比较敏感的特点,提高了图像的可判读性.     

基于多融合多尺度特征的高光谱图像分类研究

针对高光谱图像(HSI)波段之间的冗余性给高光谱图像分类结果产生的不利影响,研究基于多融合多尺度特征的高光谱图像分类方法。将采用于主成分分析降维处理的HSI数据作为多尺度特征多融合残差网络输入,利用多尺度特征多融合残差块提取HSI中的光谱特征和空间特征,并组成若干组光谱-空间特征;采用支持向量机展开分类处理,获取各光谱-空间特征的概率输出结果和权重,建立多特征加权概率融合模型,利用最大后验概率获取高光谱图像分类结果。实验结果表明:光谱-空间多尺度特征融合残差块数量为2+2模式、空间输入尺寸大小为9×9,可获取最佳多尺度特征融合残差网络;所提方法抗噪能力较好,可较好体现地物细节信息;且具备较高的高光谱图像分类精度。     

基于多尺度信息融合的SAR图像建筑物提取

根据高分辨力合成孔径雷达(SAR)图像中建筑物的特性,提出了一种基于多尺度信息融合的建筑物提取方法。以非下采样轮廓波变换(NSCT)为多尺度分析框架,通过融合基于NSCT低频子带的多尺度区域分析结果提取潜在建筑物区域;同时,融合基于NSCT高频信息的边缘检测结果与均值比算子结果提取边缘结构信息;在此基础上,结合区域与边缘结构信息对虚警进行滤除,对漏检建筑物进行补充,完成建筑物提取。实验结果显示：该方法优于基于多特征融合的建筑物检测算法,在实验所用图像上的平均查全率达到94%,表明文中方法的有效性。