基于投影网络的遥感影像超分辨率重建方法

针对遥感影像数据量大、地形起伏大、覆盖范围 广的特点,本文提出了一种基于卷积神经网络的遥感影像超分辨重建 方法,该方法联合密集网络和深度反投影网络,组成了密集投影单元,形成深度密集投影网 络,解决了传统算法在遥感影像超分 辨率重建中存在的纹理表征不够,细节提取不足、训练困难等问题。实验结果表明,在多个 遥感影像数据集上,本文与其他对比 方法相比,PSNR和SSIM有明显提升,重建出的遥感影像纹理标征和细节特征更加丰富。     

基于Transformer和双残差网络的图像去模糊算法研究

在单幅图像去模糊网络的设计中,已广泛采用了由“粗到精”的策略。经典的基于深度学习的多尺度网络模型通常将子网络与多尺度输入图像堆叠,并从底层子网络到顶层子网络逐渐提高图像的清晰度,将不可避免地产生图像特征信息丢失问题以及较高的时间成本。针对上述问题,构建了一种基于编解码器结构的多输入多输出U型网络。首先,在编码器结构中采用Transformer模型代替传统卷积网络模型以充分获取图像特征信息;其次为了恢复高频细节特征,在解码器结构中设计了双残差网络;最后,提出多尺度融合算法,有效融合了多尺度特征。在GoPro上的仿真实验表明,通过引入Transformer,所提算法分别在PSNR与SSIM评价指标和运行时间上均优于主流算法,PSNR与SSIM值分别为31.15 dB、0.957 7,同时从视觉上可以得到更多的图像细节。     

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

基于注意力机制的双向生成对抗压缩网络

针对现有的图像超分辨率算法网络模型参数量大、计算复杂度高、前向推理过程中耗时长等问题,将深度可分离卷积层引入双向对抗生成网络模型中,同时为了保证双向生成对抗网络的精度,在下采样网络中引入混合注意力机制,以保证模拟生成的低分辨率图片更加贴近现实.在i78700 CPU上对Urban100测试集的图像放大4倍,所提算法的重建速度对比SRGAN算法提升了近5倍.在通用的测试数据集DIV2K中,将所提方法分别与Bicubic、SRCNN、SRGAN、ESRGAN等经典方法做实验对比,实验结果表明所提出的算法与其他算法相比在PSNR客观评价指标上平均提升了约0.7 dB,SSIM指标提升了约2.36％.     

基于并行多轴自注意力的图像去高光算法

图像高光层模型的模糊性和高光动态范围大的特点,使得图像去高光成为了一个挑战性的视觉任务。纯局部性方法容易导致图像高光区出现伪影,纯全局性方法容易使图像非高光区色彩失真。针对图像去高光中局部和全局特征不平衡导致的上述问题,以及高光层建模的模糊性,提出了基于并行多轴自注意力机制的门限融合U型深度网络图像去高光算法。该方法通过隐式建模避免了高光层模型模糊引入的问题,利用U型网络结构将上下文信息与低层信息融合对无高光图像进行估计,并在U型结构编码器和解码器之间引入门限融合结构进一步提升网络模型的特征表达能力。此外,U型网络的单元结构通过融合局部和全局自注意力平衡了局部和全局特征的编码和解码。定性实验结果表明,文中方法可以更有效地去除图像中的高光,其他对比算法在高光处容易产生伪影和失真。定量实验结果表明,文中方法在PSNR和SSIM指标上优于其他五种典型的图像去高光方法,在三个数据集上,PSNR值分别高于次优方法 4.10、7.09、6.58 dB,SSIM值分别取得了4%、9%和3%的增量。     

基于局部路径特征信息神经网络的图像去噪

图像去噪旨在减少或消除噪声对图像的影响,这一过程往往会有高频细节信息的丢失。为了在去除图像噪声的同时保护图像的边缘信息与纹理细节,本文提出了一种能够连接图像局部路径信息的神经网络,该网络训练完成后可以直接对含噪声图像进行降噪,不需要对图像进行预处理。本文提出的神经网络包括3个部分特征提取层、信息连接模块、信息重建层。信息连接模块是该网络的关键部分,通过残差学习连接局部长路径和局部短路径的特征信息。实验结果表明,经本文处理后的图像在有参考的图像质量评价指标PSNR和SSIM上均有明显提升,PSNR最高可以达到34.87 dB,SSIM可以达到0.87以上;在无参考的图像质量评价指标BRISQUE和NIQE上均有明显下降。本文算法对不同水平、不同种类的算法都有相对较好的效果,且性能优于一般算法,在去噪工作中有一定的实用价值。     

时域注意力特征对齐的视频压缩感知重构网络

现有视频压缩感知神经网络重构算法采用的光流对齐和可变形卷积对齐的运动补偿方式存在误差积聚、信息感知范围有限等问题,极大地限制了其有效性和实用性.为了在不引入额外参数的条件下自适应提取参考帧的全局信息,本文提出了利用注意力机制实现视频压缩感知重构过程中运动估计/运动补偿的创新思想,并设计了时域注意力特征对齐网络（Temporal-Attention Feature Alignment Network,TAFA-Net）进行实现.在此基础上,提出了联合深度重构网络（Joint Deep Reconstruction Network Based on TAFA-Net,JDR-TAFA-Net）,实现非关键帧的高性能重构.先利用本文所提的TAFA-Net获得参考帧到当前帧的对齐帧;然后,利用基于自编码器架构的融合网络充分提取已有帧信息,增强非关键帧的重构质量.仿真结果表明,与最优的迭代优化算法SSIM-InterF-GSR相比,所提算法重构帧的峰值信噪比（Peak Signal to Noise Ratio,PSNR）最高提升了4.74 dB;与最优的深度学习算法STM-Net相比,所提算法...     

复合残差网络在低照度图像增强中的技术研究

成像设备在暗光照环境下会出现对比度不高、图像细节信息丢失、颜色失真等问题,这会对视频监控、智能交通、人脸识别等应用场景产生巨大干扰。为了解决这一问题,本文提出了一种融合了注意力机制的的复合残差网络来实现对低照度图像的增强。该算法首先通过色彩空间上的转换（RGB-HSV）将亮度分量V放入构造的神经网络中,然后神经网络通过融合了注意力机制的多分支结构进行图像浅层特征的提取,接着经过复合残差网络提取深层特征,再经过图像重建得到增强后的V分量,最后通过分量融合实现图像增强。实验结果表明,对比目前国内外主流低照度图像增强算法,所提算法在主观视觉上对图像亮度与对比度有显著提升,在PSNR、SSIM指标上与传统算法的对比结果分别提升了约20%和15%,与深度学习算法的对比结果分别提升约9%和3%,不论是在人工合成的低照度图像还是真实、自然低照度图像中均有良好表现,基本满足图像增强的颜色自然、对比度和鲁棒性高等要求。     

基于改进U-Net的低剂量CT图像重建方法

针对低剂量CT图像重建会产生噪声和伪影的问题,在U-Net神经网络基础上引入残差学习和空间注意力机制,在编解码过程中嵌入跳跃连接为上采样增加多尺度信息,使用AAPM公开数据集CT影像进行模型训练和测试。选取峰值信噪比（PSNR）、结构相似性（SSIM）和均方根误差（RMSE）作为图像性能评价指标。在CT重建结果的测试中,与未处理的图像相比,网络模型处理后图像的PSNR、SSIM和RMSE指标平均值分别提升21.699%、2.263%和40.833%。实验结果表明,改进的U-Net神经网络模型能够减少噪声和伪影,保留了更多的纹理细节,对低剂量CT重建图像质量的提高有一定效果。     

考虑圆形特征边缘模糊和偏心误差修正的高精度相机标定方法

针对立体视觉系统采用圆形特征点标定时存在的空间圆形投影边缘模糊和偏心现象问题,利用改进Zernike矩和偏心误差修正进行圆心的高精度定位,以此提高相机参数的标定精度。首先考虑了由于立体视觉成像系统的标定场景光照强度不均匀引起的圆形特征投影图像边缘模糊的问题,引入高斯误差函数对边缘过渡段的灰度分布进行描述,建立了高斯边缘模型,并基于该模型计算投影图像的Zernike矩,然后利用改进Zernike矩实现高精度的圆形特征投影边缘像素坐标定位。此外,分析了影响圆形特征中心投影点和拟合圆心间偏差大小的因素,基于该分析对迭代拟合圆心进行偏差补偿使之逼近真实的圆心投影,最后通过所提算法对99圆形标志点进行圆心坐标提取并用于相机参数的标定。仿真实验表明,文中算法对投影图像边缘定位的精度以及圆心拟合的精度均高于传统的算法;实测实验中,基于圆心高精度坐标得到的相机标定参数对标准杆进行三维重建,长度测量精度比传统算法提高了30%。     

Multi-scale fusion residual encoder-decoder approach for low illumination image enhancement

The sensing light source of the line scan camera cannot be fully exposed in a low light environment due to the extremely small number of photons and high noise, which leads to a reduction in image quality. A multi-scale fusion residual encoder-decoder (FRED) was proposed to solve the problem. By directly learning the end-to-end mapping between light and dark images, FRED can enhance the image's brightness with the details and colors of the original image fully restored. A residual block (RB) was added to the network structure to increase feature diversity and speed up network training. Moreover, the addition of a dense context feature aggregation module (DCFAM) made up for the deficiency of spatial information in the deep network by aggregating the context's global multi-scale features. The experimental results show that the FRED is superior to most other algorithms in visual effect and quantitative evaluation of peak signa-to-noise ratio (PSNR) and structural similarity index measure (SSIM). For the factor that FRED can restore the brightness of images while representing the edge and color of the image effectively, a satisfactory visual quality is obtained under the enhancement of low-light.     

基于多尺度小波U型网络的低光照图像增强

成像系统实时采集的低光照环境图像具有照度低、噪声严重、视觉效果差等问题,为了提高低光照环境成像质量,本文提出基于多尺度小波U型网络的低光照图像增强方法.该方法采用多级编解码器构建U型网络,并引入小波变换构建特征分频单元,分离高频和低频信息,增强对低频照度特征和高频纹理信息的感知.设计多尺度感知损失函数,指导网络学习低频...     

基于移位窗口多头自注意力U型网络的低照度图像增强方法

针对低照度图像增强模型中的亮度提升、噪声抑制以及保持纹理颜色一致性等难点问题,该文提出一种基于移位窗口自注意力机制的低照度图像增强方法。该文以U型结构为基本框架,以移位窗口多头自注意力模型为基础,构建了由编码器、解码器以及跳跃连接组成的图像增强网络。该网络将自注意力机制的特征提取优势应用到低照度图像增强领域,建立图像特征信息之间的长期依赖关系,能够有效获取全局特征。将所提方法与当前流行的算法进行定量和定性对比试验,主观感受上,该文方法显著提升了图像亮度,抑制图像噪声效果明显并较好地保持了纹理细节和颜色信息;在峰值信噪比(PSNR)、结构相似性(SSIM)和图像感知相似度(LPIPS)等客观指标方面,该方法较其他方法的最优值分别提高了0.35 dB, 0.041和0.031。实验结果表明,该文所提方法能够有效提升低照度图像的主观感受质量和客观评价指标,具有一定的应用价值。     

基于有约束最小二乘法的IQA算法曲线拟合

为了实现准确评估图像质量评价算法的目标,采纳VQEG报告中提到的性能指标,完成了将算法数据的曲线拟合过程转换为有约束最小二乘法形式的数学模型,然后编写Matlab程序求解。以PSNR、SSIM和MSSIM三种图像质量评价算法为例的评估结果表明,此法结果准确,求解效率高。     

一种应用于高阶数据修复的非负稀疏Tucker分解算法

针对传统的张量填充算法对于不满足低秩条件的张量填充效果难以保证,本文采用张量分 解的方法实现缺失张 量的修复,即对传统Tucker分解算法进行改造,在其目标函数中增加对核心张量和系数矩 阵的非负性以及 核心张量的稀疏性约束,再利用凸优化理论中的交替近端梯度算法(APGM)对目标函数进 行迭代寻优, 在分解的同时实现缺失数据点的填充。医学图像、彩色图像和视频图像的修复结果表明,本 文 算法能够对高阶非负张量的缺失实现较好地修复,修复的视觉效果和技术指标都优于当前主 流算法。     

基于无监督学习的单样本红外图像生成方法

针对当前可见光-红外图像数据集匮乏导致的模型特征学习能力不够以及生成图像质量低下等问题,提出了单样本的无监督学习方法来训练红外图像生成模型。首先,在数据集难以获取、匮乏的情况下,仅采用一对可见光-红外图像作为模型训练的数据,降低了数据获取的难度,解决了数据匮乏的问题。其次,为了在训练模型时充分提取图像特征,改进了网络结构。实验数据表明,本文方法能够在单样本图像生成中取得较好的效果。在艾睿光电数据集中,本文方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity, SSIM)指标分别达到了26.5588 dB和0.8846;在俄亥俄州立大学(Ohio State University, OSU)数据集上的PSNR和SSIM分别达到了30.3528 dB和0.9182。与基于风格的生成对抗网络(Style-based Generative Adversarial Network, StyleGAN)方法相比,本文方法在艾睿光电数据集上的PSNR和SSIM指标分别提高了16.07%和23.78%;在OSU数据...     

A novel discrete wavelet transform framework for full reference image quality assessment

In this paper, we present a general framework for computing full reference image quality scores in the discrete wavelet domain using the Haar wavelet. In our framework, quality metrics are categorized as either map-based, which generate a quality (distortion) map to be pooled for the final score, e.g., structural similarity (SSIM), or nonmap-based, which only give a final score, e.g., Peak signal-to-noise ratio (PSNR). For map-based metrics, the proposed framework defines a contrast map in the wavelet domain for pooling the quality maps. We also derive a formula to enable the framework to automatically calculate the appropriate level of wavelet decomposition for error-based metrics at a desired viewing distance. To consider the effect of very fine image details in quality assessment, the proposed method defines a multi-level edge map for each image, which comprises only the most informative image subbands. To clarify the application of the framework in computing quality scores, we give some examples to show how the framework can be applied to improve well-known metrics such as SSIM, visual information fidelity (VIF), PSNR, and absolute difference. The proposed framework presents an excellent tradeoff between accuracy and complexity. We compare the complexity of various algorithms obtained by the framework to the IPP-based H.264 baseline profile encoding using C/C++ implementations. For example, by using the framework, we can compute the VIF at about 5% of the complexity of its original version, but with higher accuracy.