融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

基于剪切波变换的光场图像质量评价方法

光场成像作为新一代成像技术可采集更丰富的视觉信息,但在其各个处理过程中都会引入失真导致光场图像主观质量的下降,因此需要设计与人类视觉系统(Human Visual System,HVS)保持一致的客观评价方法以自动评价光场图像的质量。本文提出了一种基于剪切波变换的光场图像全参考质量评价方法。首先,为了同时考虑光场的空间域和角度域失真,分别在光场视图和极平面图(Epipolar Plane Image,EPI)上提取特征。其次,在光场视图上进行剪切波变换后,分别提取局部相似性特征和全局统计特征。然后,在EPI上分别提取局部相似性特征和全局方向统计特征。最后,采用随机森林对以上特征进行池化得到最终质量预测值。在密集光场图像数据库中进行测试的实验结果表明,所提出方法优于现有的图像质量评价指标,与主观视觉评价结果的一致性较高。     

混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真

光场描述了光在自由空间传播的全四维信息,光场相机可用来获得光场图像。在传统的光场相机中,最终获得图像的空间分辨率受限于微透镜阵列中透镜的个数。聚焦型光场相机相较于传统光场相机能够获得更高的空间分辨率,但是以牺牲其角度分辨率作为代价。在Zemax中建立了传统光场相机与将聚焦光场相机的成像模型,仿真获得了两种光场相机的光场图像,分析了两种不同类型光场相机采样模式的区别。提出将可变焦液体透镜阵列放置在光场相机中,可以同时获得聚焦和非聚焦两种模式下的光场图像。根据记录的光场信息,讨论了相应的重聚焦方法,计算仿真了在不同景深下的重聚焦图像,并提出了一种基于图像融合和超分辨率重构的方法来提高重聚焦图像的分辨率,最终在相同的景深范围内获得了3倍于传统光场相机分辨率的重聚焦图像。     

基于多视点伪序列的光场图像压缩

近年来，作为一种能够提供更富有沉浸感的多媒体媒质，光场图像（Light Field Image，LFI）引起广泛的关注。针对光场图像数据量巨大的问题，本文提出了一种基于多视点伪序列的光场图像高效压缩方案。在编码端，所提方法首先将光场相机捕获得到的原始光场图像根据相机的微透镜阵列分解成子孔径图像。接着根据子孔径图像存在较强视点内和视点间相关性，选取部分子孔径图像进行多视点伪序列构建，基于MV-HEVC设计适用于多视点伪序列的预测编码结构进行编码。在解码端，所提方法基于已解码多视点伪序列通过视频帧插值方法重建出未编码传输的子孔径视图，从而重建出全部光场图像。实验结果表明本文所提算法优于现有基于视差引导稀疏编码的光场图像压缩方法，BD-rate平均节约18.5%，BD-PSNR平均提高1.28dB。      

基于多层小波深度聚合网络的高光谱图像超分辨率方法

利用低空间分辨率高光谱（Low Resolution HyperSpectral Image,LR-HSI）和高空间分辨率多光谱图像（High Resolution Multi Spectral Image,HR-MSI）的有机结合,实现高光谱空间分辨率增强,是当前高光谱图像处理的热点问题.目前,深度学习已成为高光谱-多光谱图像融合超分辨率的代表性方法,然而如何有效挖掘两者的互补空谱信息,实现空间结构和细节注入,在提升高光谱图像空间分辨率的同时保持高保真光谱信息,依然存在诸多挑战.本文提出了一种多层小波深度聚合网络（Multilevel Wavelet-Deep Aggregation Network,MW-DAN）.该网络有机结合非抽取小波（Un Decimated Wavelet Transform,UDWT）分解和深度残差网络,建立双分支互补信息融合网络,提升图像重建性能.其中,通过深度残差网络中引入跳层汇聚连接,设计信息聚合型结构,并对多光谱图像进行UDWT方向子带分解,逐层注入到网络中间隐层,增强了方向子带结构的细节注入和光谱保真能力.整个网络通过LR-HSI,HR-MSI和...     

面向光场显示的虚拟视点生成技术进展

随着元宇宙产业的发展，光场显示技术因其可以将数字世界与物理世界完美融合，已经成为信息显示技术领域的研究热点，并呈现出视点数量更多、视点密度更大、渲染速度更快的发展趋势。然而，现有的光场显示技术面临着分辨率低、深度受限、视疲劳等多种挑战。本文从人眼立体视觉感知原理出发，对现有的双视点、多视点和超多视点光场显示技术的成像原理和典型方案进行整理和总结。同时，对现有基于单信源和多信源虚拟视点生成技术进行归纳对比，着重分析各项技术在虚拟视点生成质量和渲染速度等方面的可行性和实现效率，并对光场显示技术的未来发展方向进行了展望。     

超多视点的大视角光场三维显示方法

针对传统自由立体显示技术视点数目少和视角窄的问题,提出一种超多视点的大视角光场三维(3D)显示方法.基于集成成像全视差光场构建原理,该方法利用大节距的非连续柱透镜阵列(DLLA)以特定的水平方向角将基元图像(EI)中所有平面像素发出的光线进行水平调制,在大视角范围内构建出水平方向密集排列的超多视点.此外,对DLLA进行光学成像优化设计以抑制像差,保证高质量3D成像.在实验部分,利用分辨率为1280 pixel×720 pixel的54 inch(1 inch=2.54 cm)发光二极管(LED)显示器实现了视角为42.8°、视点数目为100的水平光场3D显示效果,且3D成像的畸变率为2.23％,呈现的3D影像具有连续的运动视差和自然的深度信息表达,这些结果验证了本文方法的优越性和可行性.     

基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法

3D光场显示技术因具有较大的观看视角、密集的观看视点而被研究学者们关注.分辨率是3D光场显示技术的一个重要参数,提升分辨率的方法较为复杂,因此研究学者们开始关注视觉分辨率.为了提高3D光场显示的视觉分辨率,提出了一种基于深度学习获取预处理基元图像阵列(PEIA)的方法.在光场显示的成像过程中,透镜的像差会使成像平面上形...     

遥感面阵凝视图像并行超分辨重建方法

遥感面阵凝视成像系统可以得到同一场景的多幅图像,研究者常利用这一特点进行多幅图像超分辨重建,以提高遥感图像空间分辨率。但是这类研究往往将超分辨过程独立出来,很少结合成像系统的几何参数优化超分辨重建模型。因此,对成像姿态影响图像不同方向上分辨率的问题进行了分析,提出了基于姿态角的各向异性模糊估计,使退化模型更加准确。同时,为了进一步精确面阵凝视成像系统超分辨重建中的匹配参数估计,提高由系统引起的全局初始匹配误差的包容性,基于最大后验法提出并行优化超分辨率图像和匹配参数的方法。算法充分利用成像过程信息并实时优化匹配参数,实验结果证明与现有方法相比,不仅可以得到细节信息更丰富,更易于人眼观察的遥感图像,并且均方误差降低0.3倍左右,信息熵平均提高1.2。     

超分辨率重构复眼成像技术的研究进展

超分辨率图像重构复眼成像将超分辨率重构技术与复眼成像技术相结合。复眼成像系统获取低分辨率图像,超分辨率重构算法计算获取高分辨率图像。总结了超分辨率图像重构复眼成像的研究现状,介绍了复眼图像超分辨率重构的基本原理和现阶段主要成像系统。结合成像模型角度,分析了常用的复眼图像超分辨率重构算法,以及定量测试评价与视觉角度评价的主要方法。为深入研究超分辨率图像重构复眼成像提供了参考。     

Learning from EPI-Volume-Stack for Light Field image angular super-resolution

Light Field (LF) image angular super-resolution aims to synthesize a high angular resolution LF image from a low angular resolution one, and is drawing increased attention because of its wide applications. In order to reconstruct a high angular resolution LF image, many learning based LF image angular super-resolution methods have been proposed. However, most existing methods are based on LF Epipolar Plane Image or Epipolar Plane Image volume representation, which underuse the LF image structure. The LF view spatial correlation and neighboring LF views angular correlations which can reflect LF image structure are not fully explored, which reduces LF angular super-resolution quality. In order to alleviate this problem, this paper introduces an Epipolar Plane Image Volume Stack (EPI-VS) representation for LF angular super-resolution. The EPI-VS is constituted by arranging all LF views in a raster order, which benefits in exploring LF view spatial correlation and neighboring LF views angular correlations. Based on such representation, we further propose an LF angular super-resolution network. 3D convolutions are applied in the whole super-resolution network to better accommodate the input EPI-VS data and allow information propagation between two spatial and one directional dimensions of EPI-VS data. Extensive experiments on synthetic and real-world LF scenes demonstrate the effectiveness of the proposed network. Moreover, we also illustrate the superiority of our network by applying it in scene depth estimation task.     

Image synthesis via adversarial geometric consistency pursuit

Realistic image synthesis is a class of vision problems where the goal is to synthesize new images by fusing a source image and a target image. It is a challenging problem due to the visual gap between the two images, including geometry and appearance. To synthetically address the geometric distortion and appearance realism, we propose a novel method, the adversarial geometric consistency pursuit model (AGCP), which explicitly allows seamless image synthesis. The proposed method takes geometric correction and appearance harmonization into account, handling the relative scaling, spatial layout, color, viewpoint, and distortion transformation to generate a realistic composite image. Moreover, we also propose a joint geometric consistency pursuit loss that handles the geometric consistency and enhances the network to generalize better for different scales of source images. Our comparative evaluation demonstrates the effectiveness of the proposed method in the aforementioned challenging cases.     

基于最近迭代点的毫米波雷达点云数据处理方法

毫米波雷达具有小型化、低成本等特点,可全天候、全天时工作,在高级辅助驾驶系统中发挥着重要作用。基于多芯片级联方案的多发多收（multiple-input multiple-out, MIMO）技术可有效提高毫米波雷达的角度分辨率,使得毫米波雷达点云成像成为可能。针对毫米波雷达图像点云稀疏、噪点多等问题,本文提出了一种基于最近迭代点的毫米波雷达多帧融合和自适应邻域半径的DBSCAN算法。首先,利用MIMO毫米波雷达技术获得多帧观测场景目标点云图像。其次,利用辅助信息得到点云匹配的初值,通过最近迭代点算法估计平移旋转矩阵进行精确匹配,实现多帧数据融合以改善图像点云稀疏问题。然后,设计自适应阈值的DBSCAN算法去除噪声,获得目标的点簇信息,再对聚类后的点簇目标求取最小外接矩形,结合目标散射强度,实现对车辆和围栏等不同类型目标区分。最后,利用外场（典型停车场场景）测试数据,对本文所提算法的有效性进行了验证。     

数字图像空间分辨率改善的插值--模拟采样迭代方法

在遥感图像和计算机视觉的一些应用中,需要从已有的一些低分辨率图像来获得更高分辨率的图像.已有一些方法都是针对大小完全相同和图像之间不存在局部的几何畸变(或假设如此)的图像,而对从大小不同或分辨率不同的图像和图像之间存在相对的几何畸变等更普遍存在的实际图像来重构更高分辨率图像的问题未加涉及.本文用从带限信号的非均匀采样进行信号重构的迭代方法和凸集投影方法出发,导出了一种应用范围更加广泛的从多幅空间分辨率低的图像重构更高空间分辨率图像的一般性空间域插值-模拟采样迭代方法,并提出了凸集投影的变权迭代解法.该迭代方法可以对付图像之间存在相对的几何畸变、辐射亮度差异、空间分辨率差异及图像存在噪声等情形.实验表明,该迭代解法具有很好的收敛性和很好的收敛效果.     

Light field all-in-focus image fusion based on spatially-guided angular information

Compared to traditional 2D images, light field images record both spatial and angular information of the scene, which can provide more data for image fusion. In this paper, a light field all-in-focus image fusion algorithm based on spatially-guided angular information is proposed. In the proposed method, the initial weight maps carrying the angular information are calculated by comparing the block variance of the 4D light field data. The initial weight maps are then guided by digital refocused images carrying the spatial information to obtain the refined weight maps. In the refocused image multi-scale decomposition, the micro-lens calibration error is considered and the additional edge layers are extracted to suppress the edge artifacts. Experiments demonstrate the effectiveness of the proposed algorithm. Quantitative evaluation results show that the proposed algorithm performs the best in the feature-based index and structural similarity-based index without sacrificing the information and perceptual sharpness of the fused image.     

一种基于非采样Contourlet变换的遥感图像融合算法

为使融合后的多光谱图像尽可能保持原多光谱图像光谱特性的同时提高空间质量,提出了一种基于非采样Contourlet变换（NSCT）和多尺度边缘检测的融合算法。介绍了非采样Contourlet变换和多尺度边缘检测;设计了基于多尺度边缘检测、直接替代的高频、低频子带融合规则;用QuickBird卫星高分辨率遥感图像进行仿真实验。实验结果表明该算法能够在保持光谱信息的同时注入更丰富的空间细节信息,优于传统的Wavelet变换法和Contourlet变换法。     

双约束深度卷积网络的高光谱图像空谱解混方法

高光谱图像凭借其“图谱合一”的特点逐渐在军事、环境、农业等方面发挥出重要作用。但是，由于传感器空间分辨率的限制以及地物分布的复杂多样性，高光谱遥感图像中通常存在大量的混合像元，严重制约了高光谱遥感的应用范围。目前，处理混合像元问题最有效的分析方法是混合像元分解（解混）。近年来，深度学习的发展对高光谱遥感产生了重大影响，也催生出一系列基于深度学习的解混方法。现有基于深度学习的解混方法在隐藏信息挖掘方面表现出极大的潜力和优势，通常情况下能够取得更加准确的结果。然而，这些方法大多只考虑了地物的光谱信息而忽略空间分布规律，导致在复杂场景中估算结果可能并不理想，逐渐难以满足工程应用的实际需求。为进一步发掘和利用空间信息提升解混的准确性，本文构建了一种新的深度学习网络来实现高光谱图像解混。新提出的解混网络采用卷积层来获取先验信息，利用高斯核函数的特性来协助区分物质属性，并且通过分配中心像元与邻域像元间的权重来增进丰度平滑性。在新网络中，本文使用Softmax作为丰度对应层的激活函数来约束丰度的输出。此外，在Softmax中，本文采用了L1/2正则化来避免节点出现过拟合而影响最终结果，进一步强化了网...     

Generalized IHS‐Based Satellite Imagery Fusion Using Spectral Response Functions

Image fusion is a technical method to integrate the spatial details of the high‐resolution panchromatic (HRP) image and the spectral information of low‐resolution multispectral (LRM) images to produce high‐resolution multispectral images. The most important point in image fusion is enhancing the spatial details of the HRP image and simultaneously maintaining the spectral information of the LRM images. This implies that the physical characteristics of a satellite sensor should be considered in the fusion process. Also, to fuse massive satellite images, the fusion method should have low computation costs. In this paper, we propose a fast and efficient satellite image fusion method. The proposed method uses the spectral response functions of a satellite sensor; thus, it rationally reflects the physical characteristics of the satellite sensor to the fused image. As a result, the proposed method provides high‐quality fused images in terms of spectral and spatial evaluations. The experimental results of IKONOS images indicate that the proposed method outperforms the intensity‐hue‐saturation and wavelet‐based methods.     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。