基于多尺度网络的运动模糊图像复原算法

动态场景的非均匀盲去模糊一直是图像复原领域中的一个难题。针对目前的模糊图像复原算法不能很好地解决多样性模糊源的问题,提出了一种端到端的基于多尺度网络的运动模糊图像复原算法。所提算法使用修剪过的残差块作为基本单元,且在每一级尺度上都采用相同的非对称编解码网络。为了更好地提取输入图像特征,在编码端使用引入注意力机制的残差模块,还加入了空间金字塔池化层。编码端和解码端中间的循环单元可以获取图像的空间信息,从而利用图像空间的连续性来进行非均匀运动模糊图像的复原。测试结果显示,在GoPro数据集上所提算法的峰值信噪比（PSNR）达到33.69 dB,结构相似性（SSIM）达到0.953 7,且能够更好地复原模糊图像的细节信息,而在Blur数据集上所提算法的PSNR为31.47 dB,SSIM为0.904 7。实验结果表明,与尺度递归网络和深度层次化多patch网络相比,所提算法取得了更优的模糊图像复原效果。     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比（PSNR）和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×10⁹ frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

基于自注意力连接UNet的磁共振成像去吉布斯伪影算法

为去除磁共振成像（MRI）中的吉布斯伪影，提出一种基于自蒸馏训练的自注意力连接UNet(SDSacUNet)算法。为了缩小UNet框架中跳连接两端编码和解码特征之间的语义差距，帮助捕捉伪影的位置信息，将UNet编码端每个下采样层的输出特征分别输入各自的自注意力连接模块进行自注意力机制的运算，而后与解码特征进行融合，参与特征的重建；在网络解码端进行自蒸馏训练，通过建立深层与浅层特征之间的损失函数，使深层重建网络的特征信息可以用于指导浅层网络的训练，同时优化整个网络，提升图像重建水平。在公开的MRI数据集CC359上评估SD-SacUNet算法的性能，获得的峰值信噪比（PSNR）为30.26 dB，结构相似性（SSIM）为0.917 9；与GRACNN(Gibbs-Ringing Artifact reduction using Convolutional Neural Network)、SwinIR(Image Restoration using Swin Transformer)相比，SD-SacUNet的PSNR分别提高了0.77 dB、0.14 dB,SSIM分别提高了0.018 ...     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题，提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先，将破损图片掩码输入由若干门控卷积堆叠成的粗网络中，在上采样时添加通道注意力（SE），结合L1重建损失，得到初步修复图；然后，将初步修复图输入精细网络，精细网络由若干门控卷积块和通道注意力块构成，结合重构损失、感知损失和对抗损失完善重要特征和细节，将破损图像的完好区域覆盖到精细网络的修复图上，得到完成修复的图片；最后，使用双判别网络结构进行训练，使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验，所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比（PSNR）上达到了27.39 dB，相较于部分卷积提升了6.74%，在结构相似性（SSIM）上达到了0.921 6，较部分卷积提升了2.95%。实验结果表明，引入通道注意力和双判别结构有助于提升图像修复的细节。     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时，现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题，提出基于密集连接块的U-Net结构的端到端图像修复模型，以实现对任意模板的语义人脸图像的修复。首先，采用生成对抗网络思想，生成器采用密集连接块代替U-Net中的普通卷积模块，以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用；然后，使用跳连接以减少通过下采样而造成的信息损失，从而提取图像缺损区域的语义；最后，通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器，确保了修复边界和周围真实图像的视觉一致，并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明，所提模型能有效提取人脸图像语义信息，修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC，所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%，Frechet Inception距离（FID）降低了7.86%；对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%，FID降低了6.85%。     

一种压缩比自适应的快速矢量量化算法

提出了一种压缩比自适应的矢量量化(VQ)编解码算法,将图像预先分为16×16的分块,根据图像块的平滑程度,减少重复搜索的运算量,大幅提高压缩比和编码速度,而解码图像的峰值信噪比(PSNR)只有很少下降。对于10幅标准图像的测试结果表明,与普通VQ相比,该文算法的压缩比平均提高54%,PSNR平均仅降低0.86%。对于单纯背景的图像,压缩比可达到200∶1左右。算法简单,适合硬件实现。     

基于上下文门控残差和多尺度注意力的图像重照明网络

图像重照明普遍应用于图像编辑和数据增强等任务。现有图像重照明方法去除和重建复杂场景下的阴影时，存在阴影形状估计不准确、物体纹理模糊和结构变形等缺陷。针对以上问题，提出了基于上下文门控残差和多尺度注意力的图像重照明网络。上下文门控残差通过聚合局部和全局的空间上下文信息获取像素的长程依赖，保持阴影方向和照明方向的一致性。此外，利用门控机制有效提高网络对纹理和结构的恢复能力。多尺度注意力通过迭代提取和聚合不同尺度的特征，在不损失分辨率的基础上增大感受野，它通过串联通道注意力和空间注意力激活图像中重要的特征，并抑制无关特征的响应。文中还提出了照明梯度损失，它通过有效学习各方向照明梯度，获得了视觉感知效果更好的图像。实验结果表明，与现有的最优方法相比，所提方法在PSNR指标和SSIM指标上分别提升了7.47%和12.37%。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

图像子块特征匹配的快速分形编码算法

基于分块迭代函数的全搜索分形图像编码算法,因其编码过程特别耗时而限制了它的诸多应用。为了减少编码时间,通过定义每个range块和domain块的子块特征,根据匹配均方根误差与它的关系,设计出一个限制搜索空间的新算法。一个待编码range块和它的最佳匹配domain块的子块特征应该接近,因此,每个range块的最佳匹配块搜索范围仅限定在与其子块特征接近的domain块邻域内,以达到加快编码过程的目标。14幅图像的仿真结果表明,该算法能够在[PSNR]降低0.73 dB（其结构相似性[SSIM]值仅下降0.002）的情况下,平均加快全搜索分形编码算法的编码速度99倍左右,而且也优于其他特征算法。     

改进的分形矢量量化编码

为了提高图象的分形矢量量化编码效果，在利用四叉树对图象进行自适应分割的基础上，基于正交基三维分量投影准则，提出了图象块非平面近似方法，进而形成一种新的静态图象分形矢量量化编码方法。该方法首先通过对投影参数进行DPCM编码来构造粗糙图象，然后由此来构成差值图象编码的码书。由于该方法把分形和矢量量化编码结合起来，因此解码时只需查找码书，并仅进行对比度变换。计算机编、解码实验结果表明，该编码方法具有码书不需外部训练，解码也不需迭代等优点，且与其他同类编码器相比，该方法在压缩比和恢复图象质量（PSRN）方面均有明显改善。     

基于循环生成对抗网络的图像去雾算法

大气散射模型与有雾图像及对应清晰图像间的映射模型不适配,导致使用大气散射模型进行图像去雾处理时,图像存在颜色偏差、纹理细节粗糙等问题。基于模拟生物视觉系统的反馈原理,提出一种端到端的循环生成对抗网络算法,以解决误差累积造成的去雾图像低质的问题。通过生成模块将循环神经网络的隐藏状态作为反馈信息,以指导低级模糊特征信息生成更加丰富的高级特征。循环结构能够保证先前的网络层可以使用到后面网络层的高级特征信息,从而减少误差累积。此外,该算法能够根据判别模块的损失来评估重建图像的质量。实验结果表明,与GCANet算法相比,所提算法在SOTS测试集上的平均峰值信噪比和结构相似性,在室内分别提升3.41%和0.57%,在室外分别提升3.48%和1.39%,且在真实世界的数据集上进行图像去雾后,在视觉上避免了颜色失真和光晕问题。     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

Image restoration of compressed image using classified vector quantization

To reduce communication bandwidth or storage space, image compression is needed. However, the subjective quality of compressed images may be unacceptable and the improvement of quality for compressed images may be desirable. This paper extends and modifies classified vector quantization (CVQ) to improve the quality of compressed images. The process consists of two phases: the encoding phase and the decoding phase. The encoding procedure needs a codebook for the encoder, which transforms a compressed image to a set of codeword-indices. The decoding phase also requires a different codebook for the decoder, which enhances a compressed image from a set of codeword-indices. Using CVQ to improve a compressed image's quality is different from the existing algorithm, which cannot reconstruct the high frequency components for compressed images. The experimental results show that the image quality is improved dramatically. For images in the training set, the improvement of PSNR is about 3 dB. For images, which are outside the training set, the improvement of PSNR is about 0.57 dB, which is comparable to the existing method.     

De-Noising Brain MRI Images by Mixing Concatenation and Residual Learning (MCR)

Brain magnetic resonance images (MRI) are used to diagnose the different diseases of the brain, such as swelling and tumor detection. The quality of the brain MR images is degraded by different noises, usually salt & pepper and Gaussian noises, which are added to the MR images during the acquisition process. In the presence of these noises, medical experts are facing problems in diagnosing diseases from noisy brain MR images. Therefore, we have proposed a de-noising method by mixing concatenation, and residual deep learning techniques called the MCR de-noising method. Our proposed MCR method is to eliminate salt & pepper and gaussian noises as much as possible from the brain MRI images. The MCR method has been trained and tested on the noise quantity levels 2% to 20% for both salt & pepper and gaussian noise. The experiments have been done on publically available brain MRI image datasets, which can easily be accessible in the experiments and result section. The Structure Similarity Index Measure (SSIM) and Peak Signal-to-Noise Ratio (PSNR) calculate the similarity score between the denoised images by the proposed MCR method and the original clean images. Also, the Mean Squared Error (MSE) measures the error or difference between generated denoised and the original images. The proposed MCR de-noising method has a 0.9763 SSIM score, 84.3182 PSNR, and 0.0004 MSE for salt & pepper noise; similarly, 0.7402 SSIM score, 72.7601 PSNR, and 0.0041 MSE for Gaussian noise at the highest level of 20% noise. In the end, we have compared the MCR method with the state-of-the-art de-noising filters such as median and wiener de-noising filters.     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。     

自适应融合层级特征的混合退化图像复原算法

多种退化类型混合的图像比单一类型的退化图像降质更严重,很难建立精确模型对其复原,研究端到端的神经网络算法是复原的关键.现有的基于操作选择注意力网络的算法(operation-wiseattentionnetwork,OWAN)虽然有一定的性能提升,但是其网络过于复杂,运行较慢,复原图像缺乏高频细节,整体效果也有提升的空间.针对这些问题,提出一种基于层级特征融合的自适应复原算法.该算法直接融合不同感受野分支的特征,增强复原图像的结构;用注意力机制对不同层级的特征进行动态融合,增加模型的自适应性,降低了模型冗余;另外,结合L1损失和感知损失,增强了复原图像的视觉感知效果.在DIV2K,BSD500等数据集上的实验结果表明,该算法无论是在峰值信噪比和结构相似性上的定量分析,还是在主观视觉质量方面,均优于OWAN算法,充分证明了该算法的有效性.