基于HSI颜色空间的深度学习单幅图像去雾方法

针对传统的单幅图像去雾算法容易受到雾图先验知识制约导致颜色失真等问题,本文提出了一种基于HSI颜色空间的深度学习多尺度卷积神经网络单幅图像去雾方法,即通过设计深度学习网络结构来直接学习雾天图像与其无雾清晰图像色调、饱和度和亮度之间的映射关系,从而实现图像去雾.该方法首先将有雾图像从RGB颜色空间转换到HSI颜色空间,然后设计了一个端到端的多尺度全卷积神经网络模型,通过色调H、饱和度I、强度S三个不同的去雾子网分别进行多尺度提取,深度学习得到有雾图像与清晰图像之间的映射关系,从而恢复出无雾图像.实验结果表明,本文方法对于雾天图像具有良好的去雾效果,在主观评价和客观评价上均优于其它对比算法.     

块核范数的RPCA分解与熵权类稀疏的壁画修复

针对图像修复过程中,颜色纹理光学属性分离不彻底,以及在稀疏表示图像修复时字典设计单一,导致壁画图像修复结果易出现结构不连贯和模糊效应等问题,提出了一种基于块核范数的鲁棒主成分分析(robust principal component analysis, RPCA)分解与熵权类稀疏的壁画修复方法。首先,采用提出的基于块核范数的RPCA图像分解算法,将壁画图像分解为结构层和纹理层,利用块核范数进行纹理矫正操作,克服了RPCA结构纹理分离不完全的问题。然后,提出熵加权k-means方法对结构层图像进行聚类,构建得到稀疏子类字典,并通过奇异值分解和分裂Bregman迭代优化的类稀疏修复方法,完成结构层图像的重构。最后,利用双三次插值算法实现对纹理层图像的修复,将修复后的结构层和纹理层进行融合,完成破损壁画的修复。通过对真实敦煌壁画数字化修复,实验结果表明,该算法能够有效地保护壁画图像的边缘和纹理等重要特征信息,无论从视觉效果还是从峰值信噪比等定量评价方面,提出的方法修复效果均优于比较算法,且修复执行效率更高。     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。