融合图像局部和退化表征信息的盲超分辨重建

针对假设的退化模型与实际模型不一致时图像超分辨性能显著降低的问题，提出了一种融合图像空间局部和退化表征信息的深度卷积神经网络模型。首先对低分辨图像提取初始特征和退化表达量；然后构建级联的空间局部信息和退化信息模块以及特征融合块，这些模块进一步级联组成特征变换子网络；最后，利用反卷积层得到高分辨率图像。在基准测试数据集上的实验表明，当高斯核宽度不为0时，算法在采样因子为×2和×4的盲超分辨重建中均取得了较当前主流算法更高的峰值信噪比值(PSNR),其中×2盲超分辨时最高的PSNR值为37.56,×4盲超分辨时最高的PSNR值为31.87,并且与主流算法相比也有较高的重建效率和较好重建视觉效果。     

基于聚合多尺度特征的图像轮廓增强超分辨率重建算法

为了提高超分辨率重构算法对图像边缘轮廓的修复能力,消除重构图像存在伪影的问题,提出一种基于聚合多尺度特征的图像轮廓增强超分辨重建生成对抗网络。将多尺度卷积与通道注意力机制相结合,使用一次性聚合多尺度特征结构,构建多级残差模块,让生成器网络能自适应地提取特征层中的潜在关键信息,同时完成不同特征层的信息融合。定义高斯滤波卷积核与不同方向的索贝尔卷积核,构建边缘损失函数,该损失函数能加强对图像边缘轮廓信息的修复;结合全变分损失函数,减少低分辨率图像噪声对重构图像的影响,进一步提高图像轮廓信息修复能力。为了提高判别器对不同特征的自适应学习能力,在判别器中使用自适应归一化层,增强网络的收敛能力。在Set5、Set14、BSD100数据集上进行图像重构,经实验结果表明,提出的算法使重构图像的轮廓进一步加强,整体视觉质量更好。同时所提算法与超分辨率生成对抗网络(SRGAN)对比,2倍超分辨重建图像的峰值信噪比平均提高了1.696dB,结构相似性指标平均提高了0.03;4倍超分辨重建图像的峰值信噪比平均提高了1.348dB,结构相似性指标平均提高了0.033。     

基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法

针对现有红外图像分辨率低、清晰度差,易影响基于红外图像的电气设备故障检测效果的缺点,提出一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法.该文构建了基于多尺度协作模型的电气设备红外图像超分辨率重建网络,该网络以生成对抗网络为基础,通过引入多尺度协作模型和双通道结构,改善了超分辨率重建网络对红外图像的适应性,并优化了图像特征提取效果.在实现红外图像超分辨率重建基础上,结合深度学习目标检测方法,建立电气设备红外图像超分辨率故障辨识模型.针对所提方法进行了实验验证,实验结果表明:经该文所提超分辨率重建网络后,红外图像质量可明显提升,峰值信噪比(PSNR)、结构相似性(SSIM)值可分别提高至27.26dB、0.8283;采用该文所提红外图像超分辨率故障辨识模型可显著提高故障辨识效果,mAP、mAR、mAC和mAIOU值平均相对提高了19.34％、19.14％、11.83％和25.03％.     

自适应加权的多特征融合ECT图像重建算法

为了解决电容层析成像(electrical cpacitance tomography, ECT)图像重建中电容值与介电常数这一非线性病态问题,提出一种自适应加权的多特征融合(adaptive weighted multi-feature fusion, AWMF) ECT图像重建算法,利用网络模型拟合电容张量和介电常数的非线性映射关系。首先,在网络模型中采用密集卷积网络(DenseNet),不仅缓解梯度消失现象,还融合不同通道的特征信息;添加挤压激励网络(squeeze excitation network, SENet)自适应调整特征通道的权重,用以提取不同通道的关键特征,提高重建图像的精度。其次,构建树形聚合结构（tree aggregation structure network, TASN）网络模块,扩大感受野并提取丰富的多尺度特征信息,消除普通卷积所带来的伪影现象。在COMSOL5.3软件上建模仿真后,通过MATLAB2014a对图像进行重建。实验结果表明,重建图像误差系数降低至0.0256,相关系数提高至0.9717,与传统算法和CNN算法相比,具有更高的图像重建质量。     

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一 种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。 本文整体架构是一种自编码器网络,首先,利用存在 最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合, 网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、 场景有关的细节信息。 最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。 本文提 出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好 的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合 性能。     

多尺度残差网络模型的研究及其应用

针对传统的卷积神经网络不能充分利用图像的多尺度信息,以及网络层数的增加导致优化参数增加的问题。提出多尺度残差网络模型通过多尺度跨通道的卷积融合提高图像的特征表征能力;然后把大的卷积核分解成小的非对称卷积核降低网络的参数计算;接着利用残差网络原理来降低深层网络的梯度消失问题;最后将提出的多尺度卷积模块嵌入到Lenet网络中。在Mnist数据集上的测试结果证明分类准确率比原始Lenet网络提高了0. 24%,在LFW数据集上的测试结果表明分类准确率优于Deep Face、Web Face等传统算法。     

基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062～0.122 dB和0.03～0.08。     

改进的双阶段生成对抗数字壁画修复算法

数字壁画修复是计算机视觉在图像修复领域的一个重要应用。为解决修复过程中存在的模糊、结构紊乱、细节丢失等问题，提出了改进的双阶段生成对抗数字壁画修复模型。首先在第1阶段生成器中设计了特征优化融合策略，将编码器中不同尺度的特征进行优化并在解码器部分按比例融合，减少卷积过程中特征信息的丢失；然后在第2阶段生成器中用空洞残差模块代替空洞卷积，将小膨胀率的空洞卷积与残差模块结合，增大感受野的同时减少空洞的累积，有效缓解了修复产生的网格伪影现象。实验结果表明：与其他几种修复算法相比，该方法在敦煌壁画数据集上的视觉效果和客观指标均有明显优势，其中峰值信噪比平均提升了3～5 dB,结构相似度平均提升了2%～6%。     

通道可分离残差网络的图像超分辨率重建

针对现有图像超分辨率重建技术中存在的特征提取方式单一、中间层特征提取不充分等问题，提出了一种通道可分离残差网络。首先，利用多尺度卷积的思想设计出多分支卷积块，充分提取图像的低频信息；其次，利用通道压缩进行降维以精简特征信息，并引入坐标注意力机制对局部融合特征进行增强，通过长短跳跃连接，在加速收敛的同时使得主干网络专注于提取高频特征；最后通过上采样层重建出高分辨率图像。将本算法在Set5、Set14、BSD100和Urban100等4个超分辨率重建领域中公共数据集上进行对比分析，其中在2倍重建任务的Set5数据集上，与DBPN相比，参数量是它的2/5，PSNR和SSIM分别高出0.09 dB和0.001 6。实验结果表明，该算法对图像特征充分提取，以较少的参数量实现了与其他大型模型性能相近甚至更好的重建效果。     

基于加权感受野和跨层融合的遥感小目标检测

针对遥感图像中小目标特征易丢失、易受背景噪声影响和定位难的问题，本文对YOLOX-S目标检测模型进行改进。使用二维离散余弦变换对CBAM注意力模块进行改进并加入到主干网络当中，提高网络对小目标的关注度；其次提出一种加权多重感受野空间金字塔池化模块，提升模型对多尺度目标尤其是小尺度目标的感知能力；采用跨层特征融合的思想，提出一种跨层注意力融合模块，使深层结构中尽可能保留更多的小目标特征；最后使用EIoU损失加强对小目标的定位能力。由大量实验分析可知，在RSOD数据集上，改进模型的APs值相对于基准模型提高了5.1%，在DIOR数据集上提高了2.4%，参数量仅增加了1.01 M，检测速度达到93.6 fps，满足实时性的检测要求。此外，相对于当前最新的目标检测模型，本文改进模型也具有一定优势。     

基于改进 U-Net 网络的眼底血管图像分割研究

针对眼底血管图像存在血管细小、视网膜病变而导致分割精度低的问题,提出了一种引入残差块、级联空洞卷积、嵌入注意力机制的U-Net视网膜血管图像分割模型.首先采用提高视网膜图像分辨率,以点噪声为中心、512为边长裁剪来扩增数据集,然后在U-Net模型中引入残差块,增加像素特征的利用率和避免深层网络的退化;并将U-Net网络的底部替换为级联空洞卷积模块,扩大特征图的感受野,提取更丰富的像素特征;最后在解码器中嵌入注意力机制,加重目标特征的权重,减缓无用信息的干扰.基于CHASE数据集的实验结果表明,所提模型的准确率达到了98.2％,灵敏度达到了81.72％,特异值达到了98.90％,与其他多尺度神经网络方法相比体现了更好的分割效果,充分验证了提出改进的U-Net网络模型能有效提高血管分割精度、辅助确诊血管病变.     

结合深度线索和几何结构的稀疏光场密集重建

光场一次成像可以同时获得空间和角度的四维信息。现有方法进行角度超分辨率重建时多用于小基线场景的光场图像,在处理大基线场景重建时存在模糊等现象,同时在光场重建过程中遮挡区域重建效果差、长距离的空间关系难以捕获。针对上述问题,提出一种结合深度线索和几何结构的稀疏光场密集重建方法。该方法采用空间金字塔池化提取多尺度特征,更好地保留了图像的纹理细节和高频信息;通过在深度估计模块的部分引入空洞卷积并进行密集连接,扩大了感受野,提高了大基线场景深度估计的精度;利用视图细化模块对图像进行优化处理,在保留视差结构的同时重建了遮挡区域。实验结果表明,本文方法较好地解决了大基线场景光场重建问题,在光场大基线场景数据集上超越了其他算法,PSNR提高了2 dB,SSIM提高了0.018,重建图像的质量均优于现有的算法。     

基于关键点的遥感图像旋转目标检测

高分辨率的遥感图像与普通图像相比,遥感图像目标具有方向多样性和尺度变化较大等特点。针对遥感图像目标检测问题,提出一种R-CenterNet遥感图像目标检测算法。首先,对CenterNet网络重新设计,在网络结构中加入旋转因子为检测框提供角度信息;其次,增加网络深度,提高网络检测性能;最后,为聚合不同区域的信息,进一步提取目标的多尺度信息,提出一种将目标特征注意力信息与多尺度池化信息相融合的注意力金字塔池化模块。实验结果表明R-CenterNet的检测结果比原始CenterNet提升了8%的平均精度值(mAP),具有更好的检测效果。     

一种有效的图像超分辨率重建算法

本文提出了一种基于频域图像配准和边缘指导插值的图像超分辨率重建算法.该算法先在频域中对低分辨率(LR)混迭图像序列进行精确配准,再利用边缘指导插值算法对配准后的图像进行插值,实现高分辨率(HR)图像重建.考虑到信号低频部分的信噪比最高又不存在混迭,图像配准中只使用序列的低频信息进行运算.插值算法则是先计算LR图像各像素点的局部协方差系数,再利用LR和HR图像协方差间的几何对偶性来计算HR图像插入像素点的值.实验结果表明,本文提出的算法能有效地实现序列超分辨率重建.     

基于多通道采样和注意力重构的图像压缩感知

近年来用于图像压缩感知的深度学习网络得到广泛关注,深度学习网络可以实现图像的压缩采样,并从采样数据重构出原始图像。但现有的压缩感知算法在信息分布不均匀的图像场景中,无法有效提取原始图像信息,导致重构精度较低。针对上述问题,本文提出了基于多通道采样和注意力重构的图像压缩感知算法。该算法包含了多个不同采样率的采样通道,能够根据视觉显著性对图像不同区域应用不同的采样率,使得采样数据中能够包含更多原始图像信息。重构采用了残差通道注意力结构,自适应调整通道特征来提高网络的表示能力。通过对比实验表明,本文提出的基于多通道采样和注意力重构的图像压缩感知算法能够取得更好的重构质量与视觉观感。     

基于门控循环深度范围预测网络的多视角重建

针对三维重建技术难以处理高分辨率图像、重建后的点云图精度低、边界模糊的问题,本文提出基于门控循环单元的多阶段多尺度动态深度范围预测网络模型。首先,利用曲率引导的动态尺度卷积网络作为特征提取模块,通过计算图像上多个尺度的表面法曲率,得到图像最优像素的特征信息;然后,将精细的特征信息与一种新的深度范围估计模块相结合,动态估计下阶段的深度范围假设,从而更好的合并邻域像素的信息,实现参考图像和源图像之间的精确匹配。本文网络与其他10多种方法进行了比较,在DTU数据集上,整体性能比第2的网络提高2.2%。在Tank&Temple数据集上,Lighthouse、M60和Panther等场景的重建表现都有大幅提升。同时,本文进行了对比和消融实验,实验结果证明本文提出的动态深度预测网络,减小内存消耗的同时,显著提高了重建后点云图的精度和完整度。     

基于边缘增强生成对抗网络的电力设备热成像超分辨率重建

非接触式红外热成像的温度数据,对于电力设备状态监测与健康状态评估具有重要意义。但高分辨率红外成像仪的昂贵造价和技术壁垒,限制了高分辨率热成像图像在基于电力物联网的设备在线监测中的应用。超分辨率重建满足分辨率要求的同时可以降低成本。通过构建改进边缘增强的生成对抗网络实现了电力设备热成像的增强,该网络在超分辨率生成对抗网络(super-resolution generative adversarial networks,SRGAN)的基础上新增了深度残差收缩网络模块,在降低图像噪声的基础上,提高了训练的稳定性,并通过边缘提取技术对图像的峰值信息进行加强重建,提高了边缘恢复效果。利用峰值信噪比(peak signal-to-noise ratio,PSNR)以及结构相似性(structural similarity,SSIM)指标,对重建后的整体数据以及边缘数据进行分析,结果显示,2项指标均显著提高,重建后的主观视觉效果也更加清晰,具有较高的工程实用价值。