基于LK-3DCNN网络特征的高光谱遥感图像分类算法

传统的高光谱图像分类方法均采用手工提取特征的方式,其表达能力有限,不能满足分类任务的高精度需求。因此,提出一种基于LK-3D卷积神经网络（Convolutional Neural Network,CNN）特征的高光谱遥感图像分类算法。该算法结合空洞卷积和三维卷积神经网络的双分支融合结构,对遥感图像进行深度特征提取,有利于提升小样本高光谱遥感图像数据分类的性能。在公开的3组高光谱遥感图像数据集上,与主成分分析（Principal Components Analysis,PCA）+3DCNN、PCA+3D-2DCNN算法进行对比,实验结果表明所提出的双分支融合网络提升了高光谱遥感图像的分类精度,具有较好的鲁棒性。     

基于深度金字塔网络的Pan-Sharpening算法

为了利用高空间分辨率单波段的全色(PAN)图像和低空间分辨率的多光谱图像(MS)生成高分辨率的多光谱图像,提出一种基于深度金字塔网络的遥感图像融合(即pan-sharpening)算法,通过图像金字塔的方式逐层上采样来重构高分辨率的多光谱图像.在细节保持方面,针对全色图像和多光谱图像在尺度上跨度过大的问题,采用深度金字塔网络多尺度地融合全色图像的细节信息;在光谱保持方面,使用反卷积层代替传统的超分辨算法来上采样低分率的多光谱图像;最后将这2部分相加,得到最终的融合图像. GeoEye-1数据集上的实验结果表明,文中算法综合性能优于BDSD, PRACS, PNN and PanNet算法.     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

多源空—谱遥感图像融合方法进展与挑战

多源空—谱遥感图像融合方法作为两路不完全观测多通道数据的计算重构反问题,其挑战在于补充信息不足、模糊和噪声等引起的病态性,现有方法在互补特征保持的分辨率增强方面仍有很大的改进空间。为了推动遥感图像融合技术的发展,本文系统概述目前融合建模的代表性方法,包括成分替代、多分辨率分析、变量回归、贝叶斯、变分和模型与数据混合驱动等方法体系及其存在问题。从贝叶斯融合建模的角度,分析了互补特征保真和图像先验在优化融合中的关键作用和建模机理,并综述了目前若干图像先验建模的新趋势,包括：分数阶正则化、非局部正则化、结构化稀疏表示、矩阵低秩至张量低秩表示、解析先验与深度先验的复合等。本文对各领域面临的主要挑战和可能的研究方向进行了概述和讨论,指出解析模型和数据混合驱动将是图像融合的重要发展方向,并需要结合成像退化机理、数据紧致表示和高效计算等问题,突破现有模型优化融合的技术瓶颈,进一步发展更优良的光谱信息保真和更低算法复杂度的融合方法。同时,为了解决大数据问题,有必要在Hadoop和SPARK等大数据平台上进行高性能计算,以更有利于多源数据融合算法的加速实现。     

基于比值变换的全色与多光谱图像高保真融合方法

随着遥感技术的快速发展,越来越多的成像卫星可采集同时相的全色和多光谱图像。通常,多光谱图像的分辨率低于全色图像,但实际应用中人们更迫切需要提升多光谱图像的分辨率。当前,研究人员已提出了大量的图像融合方法来解决这个问题,但依然存在光谱失真、细节模糊等问题。此外,真实遥感图像的尺寸较大,现有融合方法难以满足实际应用的高时效要求。为此,提出了基于比值变换的全色与多光谱图像高保真融合方法。根据全色与多光谱图像分辨率之比,该方法对全色图像先下采样,再上采样,生成全色降质图像;同时,对多光谱图像进行上采样,得到多光谱降质图像;然后,计算全色与其降质图像的比值,将多光谱降质图像乘以该比值生成融合图像。实验表明,本方法的保真效果好,性能优于对比方法。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

近红外高光谱图像数据预测技术

目的 受到传感器光谱响应范围的影响,可见光区域和近红外区域（400~2 500 nm）的高光谱数据通常使用不同的感光芯片进行成像,现有这一光谱区域典型的高光谱成像系统,如AVIRIS （airborne visible infrared imaging spectrometer）成像光谱仪,通常由多组感光芯片组成,整个成像系统成本和体积通常比较大,严重限制了该谱段高光谱探测技术的发展。为了能够扩展单感光芯片成像系统获得的高光谱图像的光谱范围,本文探索基于卷积神经网络的近红外光谱数据预测技术。方法 结合AVIRIS成像光谱仪的光谱配置,设计了基于残差学习的红外谱段图像预测网络,利用计算成像的方式从可见光范围的高光谱图像预测出近红外波段的光谱图像,并在典型的卫星高光谱遥感数据上进行红外光谱预测重构和基于重构的数据分类实验,以验证论文提出的红外光谱数据预测技术的可行性以及有效性。结果 本文设计的预测网络在Cuprite数据集上得到的预测近红外图像峰值信噪比为40.145 dB,结构相似度为0.996,光谱角为0.777 rad;在Salinas数据集上得到的预测近红外图像峰值信噪比为39.55 dB,结构相似性为0.997,光谱角为1.78 rad。在分类实验中,相比于只使用可见光图像,利用预测的近红外图像使得支持向量机（support vector machine,SVM）的准确率提升了0.6%,LeNet的准确率提升了1.1%。结论 基于AVIRIS传感器获取的两组典型卫星高光谱数据实验表明,本文提出的红外光谱数据预测技术不仅可基于计算成像的方式扩展可见光光谱成像系统的光谱成像范围,对于减小成像系统体积和质量具有重要意义,而且可有效提高可见光区域光谱图像数据在典型应用中的处理性能,对于提高高光谱数据处理精度提供新的技术支撑。     

深度学习时代图像融合技术进展

为提升真实场景视觉信号的采集质量,往往需要通过多种融合方式获取相应的图像,例如,多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性,图像融合技术旨在利用同一场景不同视觉信号的优势,生成单图像信息描述,提升视觉低、中、高级任务的性能。目前,依托端对端学习强大的特征提取、表征及重构能力,深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比,基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入,一些新颖的理论和方法也促进了图像融合技术的发展,如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展,本文首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势给出了展望。     

基于物理先验的深度特征融合水下图像复原北大核心CSCD

由于水下环境的浮游生物悬浮杂质及不同光谱吸收率等干扰因素,水下图像往往会出现图像模糊、颜色失真和光照不均等退化问题。本文提出联合水下物理成像规律与数据驱动深度学习方法的水下图像重建模型。利用深度神经网络推断物理成像模型中的可学习参数,通过调制卷积和物理先验知识分别生成基于数据驱动的复原特征图和基于物理先验的复原特征图,引入混合注意力机制的深层特征级融合,重建最终的复原图像。实验结果表明该方法可以在减少噪声、提高对比度的同时,恢复图像的细节,提高水下图像的可视化质量和目标检测精度,增强水下学习模型的鲁棒性和泛化能力。     

基于局部学习的遥感图像融合

本文提出了一种基于局部学习的遥感图像融合方法。兵基本思想是在局部区域划融合图像与全色图像建立对应的局部线性关系。由于图像数据在局部区域相对简单,因此局部模型相比全局模型更为合理。在局部学习的基础上,将全色图像与融合图像的全局回归误差表示为图拉普拉斯的形式,其本质是利用局部学习使得融合图像保持全色图像的流形结构。同时为了保持多光谱图像的性质,通过图像的尺度空间表示,建立融合图像与多光谱例像之间的尺度关系。最后通过集成融合图像的二次拉普拉斯形式和足度空间表示,构建图像融合的全局目标函数。为了优化目标函数,本文提出了闭合求解法和快速迭代求解法。实验结果表明：本文所提出的融合方法比传统融合方法具有更好的效果。     

中国图像工程25年

本文是对至今已连续发表25年的中国图像工程年度文献综述系列的概括回顾。近25年来，为了使国内广大从事图像工程研究和图像技术应用的科技人员能够较全面地了解图像工程研究和发展的现状，能够有针对性地查询有关文献，并向期刊编者和作者提供有用的参考，笔者每年都对上一年度图像工程的相关文献进行统计和分析。25年间，该综述系列从国内15种有关图像工程重要期刊所发行的共2 964期上所发表的65 040篇学术研究和技术应用文献中，选取出15 856篇属于图像工程领域的文献，并根据各文献的主要内容将其分别归入图像处理、图像分析、图像理解、技术应用和综述评论5个大类，然后进一步分入23个专业小类，并在此基础上分别进行各期刊各类文献的统计和分析。此次回顾，除汇总了25年的统计分类情况，还着重对一些主要的研究方向进行了分析和讨论。这样，不仅可从中了解最近四分之一个世纪图像工程相关文献的发表情况，还可以提供全面和可信的各研究方向发展趋势的信息。     

基于低分辨率图像融合的超分辨率恢复方法

提出一种基于多帧低分辨图像融合的超分辨率图像恢复算法。将多帧低分辨图像融合成一帧与高分辨图像分辨率一致的图像,并对其中一幅低分辨图像插值,形成迭代恢复算法的初始值,在此基础上以Tikhonov正则化方法求解原始高分辨图像。分析和实验结果表明,该算法具有良好的鲁棒性,并且计算速度较快。     

遗传算法在基于内容的图像检索中的应用

利用遗传算法对图像的统计特征进行了特征选取，并应用于颅脑CT图像检索中。实验结果表明，该方法能够有效地选取特征，提高检索精度，改善检索效果。     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

基于K-均值聚类的彩色图像质量评价及优化

针对彩色图像质量无法实时评价及优化的问题,提出了基于K-均值聚类的彩色图像质量评价及优化算法。首先利用K-均值聚类的方式构建样本数据集;然后通过待评价图像与聚类数据集之间的相似性来构建特征集;之后再将待优化图像与聚类数据集之间进行融合,对融合后的矩阵进行PCA变换实现了图像质量的优化;通过实验证明,所提评价算法与人眼主观视觉具有较好的一致性;同时,还能通过评价结果实现图像质量的自适应优化。     

基于整体变分模型的矢量图像修复

基于灰度图像修复的整体变分法,提出解决矢量图像修复处理的4步法：对待修补图像进行标注,根据标注的像素灰度值求掩模图像,对掩模图像进行膨胀,根据膨胀信息进行修复。对3幅彩色图像进行实验,取得了很好的修复效果,对含有噪声的图像,也能很好地去噪并保持图像的清晰边界。     

基于改进人工鱼群算法的图像边缘检测①

提出了一种基于带混沌差分进化变异算子的人工鱼群算法的图像边缘检测方法,该算法通过灰度图像矩阵的一阶导数得到灰度图像的梯度值矩阵,然后利用人工鱼群搜索图像梯度最大值,达到快速、准确检测图像边缘的目的。在差分变异算子中引入调节因子加强搜索能力,并且动态调整人工鱼的视野,使鱼群能快速跳出局部极值。通过仿真实验表明,该算法用于图像边缘检测是可行的和有效的。     

平面狭缝图像场

提出了一种新的基于图像的绘制技术:平面狭缝图像场,即利用狭缝图像的集合来表示和生成场景.在分析平面狭缝图像场性质的基础上,提出了相似狭缝图像概念,从而推导出用有限采样拟合平面狭缝图像场,进而可以实时生成具有高真实感漫游场景的方法.据此提出了采样和拟合的实现.最后,提出了分段狭缝图像映射的方法,大大压缩了所用到的数据量.     

基于LP融合和亮度变换的图像增强

将图像融合与亮度变换结合,提出一种图像增强的新方法。该方法利用拉普拉斯塔融合,在亮度变换中引入克隆选择算法优化参数,取得较好的增强效果。与PCA方法和小波方法相比,图像的信息熵保持在较高水平,平均梯度值分别提高3．28和0．14左右,标准差平均提高6．92和5．14左右。     

基于PCNN与LR的低对比度图像增强方法

图像增强是指对图像进行加工,以获得更“好”的视觉效果的一种图像处理技术。由于图像的最终接收者是人,所以评价图像“好坏”的关键在于其是否符合人类视觉系统的特性。针对低对比度图像,结合人眼视觉神经系统的感知特性,提出了一种基于PCNN与LR模型的图像增强方法。分析和仿真结果表明,该法能够较好地突出图像的边缘细节信息,明显地改善图像的视觉效果。