基于通道注意力的多尺度全卷积压缩感知重构

现有分块压缩感知图像重建算法存在计算量大、重构时间长,以及在低采样率下重构的图像具有严重的块效应等问题。提出一种基于通道注意力的多尺度全卷积压缩感知图像重构模型。通过均值滤波消除完整场景图像中的噪声点,减少冗余信息,以提取更加有效的信息,采用不同卷积核大小的卷积层对低频信息进行多尺度全卷积采样,得到不同感受野的图像特征信息,丰富网络中原始图像的特征信息。在此基础上,设计一种新的注意力残差模块,通过挖掘特征图通道之间的关联性以提取关键特征信息,提升重构图像的质量。在DIV2K、Set0和Set5数据集上的实验结果表明,当采样率为1%时,该模型的峰值信噪比和结构相似性相较于深度学习模型ISTA-Net分别平均提升了2.02 dB和0.078 2,相较于迭代优化模型TVAL3,重构一张256×256像素图像所花费的时间平均缩短2.608 4 s。所提模型在低采样率下能够有效利用原始图像中的信息生成更清晰的重构图像。     

基于多尺度密集连接网络的图像超分辨算法

图像超分辨率旨在通过软件技术从低分辨率图像中获得高分辨率图像.受深层神经网络对非线性关系强大表示启发,提出一种基于多尺度密集连接网络的图像超分辨算法.利用多尺度和密集连接思想设计了两个并行子网络提取图像特征,一个子网络中引人多尺度卷积层以提取低分辨图像的多种特征,另一个子网络则利用密集连接模块加深网络结构尽可能提取丰富的纹理特征,同时还可以避免模型训练过程中梯度消失的问题.最后对两个子网络提取的特征求残差并对其行重构得到高分辨率图像.仿真结果表明,提出的算法无论在客观评价还是视觉效果上均优于其它同类超分辨算法.     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

曲波域高斯混合尺度模型的图像压缩重构

压缩传感理论将信号的采样与压缩同时进行,利用信号在变换基上可以稀疏表示的先验知识,从比香农采样少的多的观测值中重构原始信号。近年来,两步迭代阈值算法作为一种求解反问题的优化方法,因其与多尺度几何分析存在紧密联系,且算法参数少,思想比较简单等特点,已经应用到了压缩重构中。但其使用时域的软硬阈值算子,不能获得很好的图像稀疏表示,从而使得算法重构精度不高。针对上述问题,本文在研究两步迭代阈值算法的基础上,提出了一种自适应的两步迭代阈值算法。该算法利用当前估计值提供的信息自适应估计步长参数,保证了估计值向最优解方向移动,提高了算法的重构精度,且针对其稀疏表示信号能力不足的缺点,运用高斯混合尺度模型对曲波邻域系数进行建模,充分利用曲波变换平移不变性和多方向选择性的优点,增加了图像表示的稀疏度。最后将其应用到图像压缩重构中,实验结果表明,该算法在峰值信噪比和主观视觉上都优于小波域高斯混合尺度模型和曲波硬阈值重构方法。     

基于卷积盲降噪的混合式核磁共振成像

为了解决图像压缩感知重建研究领域中通过有效的图像先验信息重构与原图相似性高且保留细节消除伪影的高质量图像的问题, 针对不足采样的K空间数据, 在经典的CNN算法CBDNet算法的基础上, 通过融合深度学习先验信息及传统图像恢复各自优势的方法, 研究了基于深度神经网络去噪先验和BM3D块压缩感知算法的混合式重构算法. 该算法采用交互式方法训练多尺度残差网络抑制噪声水平, 借优化选择的方式将深度学习与传统块匹配多尺度结合以提取图像不同尺度的特征数据从而实现抑制伪影、快速重建高质量MRI. 实结果表明深度学习结合BM3D在MR图像重构领域能够有效降低伪影保留细节信息, 加强重构效果. 与此同时, 通过采用GPU的加速运算, 算法的计算复杂度较使用单一算法并未增加很多. 可见基于卷积盲降噪的混合式核磁共振成像效果更佳.     

基于深度卷积网络的复杂环境中绝缘子串特征检测

绝缘子串工作状态的智能监测是实现智能电网的重要前提。针对电网巡检图像中绝缘子串特征检测效果受复杂环境的影响。本文引入超像素和统计方法来降低复杂场景的难度,首先采用多尺度方式将图像分解为不同的层,然后采用SLIC将每层图像分解为不同大小的超像素,采用超像素特征来描述多尺度图像的某个区域位置的特征信息,得到图像的粗略显著区域,并作为样本集输入区域网络Region net进行处理,最后通过网络训练迭代得到准确完整的显著特征图。将本文算法和其它流行算法对不同环境中绝缘子串图像进行特征检测对比实验,证明本文算法的F-Measure 以及平均误差MAE均优于当前流行算法。     

基于深度金字塔网络的Pan-Sharpening算法

为了利用高空间分辨率单波段的全色(PAN)图像和低空间分辨率的多光谱图像(MS)生成高分辨率的多光谱图像,提出一种基于深度金字塔网络的遥感图像融合(即pan-sharpening)算法,通过图像金字塔的方式逐层上采样来重构高分辨率的多光谱图像.在细节保持方面,针对全色图像和多光谱图像在尺度上跨度过大的问题,采用深度金字塔网络多尺度地融合全色图像的细节信息;在光谱保持方面,使用反卷积层代替传统的超分辨算法来上采样低分率的多光谱图像;最后将这2部分相加,得到最终的融合图像. GeoEye-1数据集上的实验结果表明,文中算法综合性能优于BDSD, PRACS, PNN and PanNet算法.     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

多层局部块坐标下降法及其驱动的分类重构网络

卷积稀疏编码(Convolutional sparse coding, CSC)已广泛应用于信号或图像处理、重构和分类等任务中, 基于深度学习思想的多层卷积稀疏编码(Multi-layer convolutional sparse coding, ML-CSC)模型的多层基追踪(Multi-layer basic pursuit, ML-BP)问题和多层字典学习问题成为研究热点. 但基于傅里叶域的交替方向乘子法(Alternating direction multiplier method, ADMM)求解器和基于图像块(Patch)空间域思想的传统基追踪算法不能容易地扩展到多层情况. 在切片(Slice)局部处理思想的基础上, 本文提出了一种新的多层基追踪算法: 多层局部块坐标下降(Multi-layer local block coordinatedescent, ML-LoBCoD)算法. 在多层迭代软阈值算法(Multi-layer iterative soft threshold algorithm, ML-ISTA)和对应的迭代展开网络ML-ISTA-Net 的启发下, 提出了对应的迭代展开网络ML-LoBCoD-Net. ML-LoBCoD-Net实现信号的表征学习功能, 输出的最深层卷积稀疏编码用于分类. 此外, 为了获得更好的信号重构, 本文提出了一种新的多层切片卷积重构网络(Multi-layer slice convolutional reconstruction network, ML-SCRN), ML-SCRN实现从信号稀疏编码到信号重构. 我们对这两个网络分别进行实验验证. 然后将ML-LoBCoD-Net和ML-SCRN 进行级联得到ML-LoBCoD-SCRN合并网, 同时实现图像的分类和重构. 与传统基于全连接层对图像进行重建的方法相比, 本文提出的ML-LoBCoD-SCRN合并网所需参数少, 收敛速度快, 重构精度高. 本文将ML-ISTA和多层快速迭代软阈值算法(Multi-layer fast iterative soft threshold algorithm, ML-FISTA) 构建为ML-ISTA-SCRN和ML-FISTA-SCRN进行对比实验, 初步证明了所提出的ML-LoBCoD-SCRN分类重构网在MNIST、CIFAR10和CIFAR100数据集上是有效的, 分类准确率、损失函数和信号重构结果都优于ML-ISTA-SCRN和ML-FISTA-SCRN.     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

自适应多尺度分块压缩感知算法

目的 基于小波域的多尺度分块压缩感知重构算法忽略了高频信号在重构过程中的作用,丢失了大量的边缘与细节信息。针对上述问题,提出一种自适应多尺度分块压缩感知算法,不仅合理利用低频信息还充分利用图像的高频信息,在图像细节复杂度提高的情况下保证图像重构质量的提高。方法 首先进行3层小波变换,得到一个低频信号和9个高频信号,分别进行小波逆变换后分成大小相同互不重叠的块,对低频部分采用2维邻块边缘自适应加权滤波的方法进行处理,对高频部分采用纹理自适应分块采样,最后利用平滑投影Landweber（SPL）算法对其进行重构。结果 与已有的分块压缩感知算法、基于边缘和方向的分块压缩感知算法和基于纹理和方向的分块压缩感知算法相比,本文算法在不同的采样率下,性能均有所提升,代表细节信息的高频信号得到充分重建,改进的算法所得到的重建图像具有较高的分辨率,尤其对细节较为丰富的图像进行重建后具有较高的峰值信噪比;2维邻块边缘自适应加权滤波有效的去除了重建图像的块效应,且重建时间平均减少了0.3 s。结论 将三层小波变换后的高频分量作为纹理部分,利用自适应多尺度分块重建出图像的轮廓与边缘;将低频分量直接视为平坦部分,邻块边缘自适应加权滤波重建出图像细节,不仅充分利用了图像的高低频信息,还减少了平坦块检测过程,使得重建时间有效缩短。经实验验证,本文算法重建图像质量较好,尤其是对复杂图像明显消除了块效应,边缘和纹理细节较清晰。因此主要适用于纹理细节较复杂的人脸图像、建筑图像和遥感图像等。     

一种恢复图像自然色彩的重构方法

现代数码相机是通过颜色过滤矩阵在每个像素位置采集一个颜色分量,重构出全彩色数字图像。压缩感知理论证明了该重构是误差有界的,但在实际应用时却隐含着一个问题:重构图像所需的稀疏编码字典是从图像数据库学习出来的,而目前数字图像都是重构出来的,因此存在着从重构的图像学习字典去重构图像的循环悖论。针对这个问题,提出并构建了新的完全采样彩色图像的Sandwich图像数据集,打破了压缩感知理论在应用于图像重构时的循环悖论,使得压缩感知方法能够真正地重建自然彩色图像。Sandwich图像数据集的构建及其训练得到的字典可以应用于如图像超分辨率重构、去噪、修复等领域。深入的图像重建实验表明,使用sandwich图像集训练的字典不论是字典原子特性还是由其重构得到的图像质量均好于基于传统数据集的结果。     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

基于物联网技术的小波域分块压缩感知算法的图像重构系统设计

针对低照明度重构图像分辨率不高、重构时间长的问题,提出了基于小波域分块压缩感知算法的图像重构系统。建立低照明度图像采样模型,采用图像的景深自适应调节方法进行小波域分块压缩感知和信息融合处理。利用多尺度的Retinex算法进行小波域分块压缩感知和信息提取,提取图像的信息熵特征量。采取图像自适应增强方法进行低照度图像增强处理,使用物联网技术进行低照明度图像的三维信息重构,结合细节增强方法进行低照度图像增强处理,完成重构系统设计,实现透射率图的轮廓检测和特征重构。仿真结果表明,采用该方法进行低照明度图像重构的分辨率较高,边缘感知能力较好,且重构耗时较短,实际应用效率较高。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于PCA硬阈值收缩的平滑投影Landweber图像压缩感知重构

利用压缩感知理论对图像进行测量和重构时,基于分块思想可有效提高重构速度,但同时会带来较强的块效应.为了解决该问题,在编码端提出了一种基于边缘检测的自适应分块压缩感知测量方案;在解码端提出了一种基于主成分分析(PCA)的平滑投影Landweber(SPL)重构法,该算法运用PCA训练出适合于图像结构的稀疏字典,用于进行硬阈值收缩,从而有效消除了块效应,提升了重构图像的质量.为了提高硬阈值收缩效率和减少训练复杂度,采用了3种基于块的PCA硬阈值收缩方案:全局PCA、局部PCA和分层PCA.仿真实验结果表明:所提出的自适应压缩感知测量方案与SPL重构法相结合,和传统分块压缩感知方案相比,峰值信噪比(PSNR)值均提升了1～3 dB;本文算法,无论在传统分块压缩感知方案下还是在自适应分块压缩感知方案下,与基于方向小波阈值收缩的SPL重构算法相比,均获得了更高的PSNR值.     

Compressed sensing based remote sensing image reconstruction via employing similarities of reference images

In the traditional reconstruction algorithm for compressed sensing, we use the measurement matrix and the corresponding observed image to recover the target image. In the application of remote sensing, there are many multi-source and multi-temporal reference images that have similar information to that of the target image. In this paper, we propose an algorithm to reconstruct the target image with information from multi-source and multi-temporal reference images to improve the image reconstruction accuracy, in other words, to improve the degree of similarity between the reconstructed image and the target image. The basic principle of our method is to construct a penalty term with the similarity of the target sparse coefficient and the reference sparse coefficient to constrain the reconstruction process. The experimental results demonstrate the effectiveness of our method.     

抗混叠Contourlet变换在煤矿图像重构算法中的应用

将抗混叠的Contourlet变换应用到基于压缩感知理论的矿井图像重构算法中。仿真实验表明,在相同的观测系统下采用OMP算法对矿井图像进行重建时,相比于传统的Contourlet变换和Sym4小波变换,基于抗混叠Contourlet变换的压缩感知重构的图像恢复效果更佳。