基于卷积神经网络的欠采样脑部核磁共振图像重建方法

针对目前基于深度学习的欠采样磁共振（MR）图像重建方法都是基于单个切片的重建而忽略相邻切片间的数据冗余的问题，提出一种用于欠采样的多切片脑部MR图像重建的混合级联卷积神经网络（HC-CNN）。首先，将传统的重建方法拓展为基于深度学习的重建模型，并使用级联卷积神经网络来代替传统的迭代重建框架。然后，在每次迭代重建中，分别使用3D卷积模块和2D卷积模块来学习脑部MR图像序列中存在的相邻切片间与单幅切片内部的数据冗余。最后，在每次迭代中使用数据一致性（DC）模块来保持重建图像在k-空间的数据保真度。在单线圈脑部MR图像数据集上的仿真实验结果显示，相较于基于单幅MR图像的重建方法，所提方法在4倍加速因子下的峰值信噪比（PSNR）值平均提升了1.75 dB，在6倍降采样因子下的PSNR值平均提升了2.57 dB，而且该方法的单张图像重建平均用时为15.4 ms。实验结果表明：所提方法不仅能够有效利用切片间的数据冗余并重建出更高质量的图像，而且具有较高的实时性。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

深度学习的快速磁共振成像及欠采样轨迹设计

目的 快速成像一直是磁共振成像（MRI）技术中的焦点之一,现有多通道并行成像和部分k空间数据重建都是通过减少梯度编码步数来降低数据的获取时间,两者结合起来更能有效地提高扫描速度。然而,在欠采样倍数加高的情况下,依然有很严重的混叠伪影,因此研究一种在保证成像精度的前提下加快成像速度的方法尤为重要。方法 基于卷积神经网络的磁共振成像（CNN-MRI）方法利用大量现有的全采样多通道数据的先验信息,设计并线下训练一个深度卷积神经网络,学习待重建图像与全采样图像之间的映射关系,从而在线上成像时,欠采样所丢失数据能被训练好的网络进行预测。本文探讨了对于深度学习磁共振成像的可选择性欠采样方式,提出了一种新的欠采样轨迹方案。为了判断本文方法的性能,用峰值信噪比（PSNR）、结构相似度（SSIM）以及均方根差（RMSE）来作为衡量的指标。结果 实验结果表明,所提出欠采样方案的综合性能要优于传统欠采样轨迹,PSNR要高出12 dB,SSIM高出近0.1,RMSE要降低0.020.04左右。此外重建结果还与经典的并行重建方法GRAPPA（geneRalized autocalibrating partially parallel acquisitions）、SPIRiT（iterative self-consistent parallel imaging reconstruction from arbitrary k-space）以及SAKE（simultaneous autocalibrating and k-space estimation）作比较,从视觉效果以及各项量化指标得出本文方法能重建出更准确的结果,并且重建速度要快5倍以上。结论 深度学习方法能很好地在线下训练时从大量数据集中提取并学习到有价值的先验信息,所以在线上测试时能在较短时间内重建出优于经典算法的高质量结果;提出的1维低频汉明滤波欠采样方案则有利于提升该网络的性能。     

基于高斯模糊的CNN的单幅图像超分辨率重建算法

近几年卷积神经网络在单幅图像超分辨率重建工作中取得了很大的进步,但是大部分基于卷积神经网络(CNN)的单幅图像超分辨重建算法是建立在低分辨率图像由高分辨率图像通过双三次插值法下采样取得的前提下,当这个假设不成立时,图像重建的客观评价指标PSNR以及主观的视觉效果就会较差.针对此问题,提出一种基于高斯模糊的CNN的单幅图...     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。     

多尺度自适应上采样的图像超分辨率重建算法

针对现有基于卷积神经网络的图像超分辨率重建网络中存在的训练难以收敛、无法适配多个放大系数和无法进行非整数放大系数上采样的问题,提出了一种基于多尺度和分而治之思想的自适应上采样图像超分辨率重建算法。该算法通过改进后的多尺度通道注意力特征提取模块对低分辨率图像进行多尺度特征提取以生成不同尺度下的特征图,再将其输入瓶颈层实现全局特征融合,使用基于分而治之的自适应上采样模块获得超分辨率图像,从而解决了不同放大系数的适配问题和非整数放大系数的上采样问题。在对比实验中,该算法在不使用任何初始化方法时仍然具有良好的收敛性。在整数放大系数下,该算法的图像重建性能超过当前主流的超分辨率网络,PSNR和SSIM性能相比MRFN分别提升了0.34 dB和0.039 1。在非整数放大系数下,其PSNR性能相比双三次插值方法平均提升1.24 dB,且不需要对每一个放大系数都进行训练。     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于形变估计与运动补偿的医学CT图像层间超分辨率算法

针对医学断层图像层间分辨率较低的问题,提出了基于形变估计与运动补偿的医学CT图像层间超分辨率算法用于生成切片间图像,从而提高层间分辨率。首先利用U-Net对相邻两幅图像作多尺度特征提取与融合;其次,为了处理层间图像的复杂形变,使用基于自适应协作流的变形扭曲模块来实现相邻切片间的双向形变估计,设计层级信息递进融合模块对金字塔特征层进行特征聚合,对生成图进行运动补偿;最后经过后处理网络以减少异常像素点。该算法在两种CT数据集上进行验证,平均PSNR值分别达到了35.59 dB和30.76 dB,输出图能较好地恢复图像细节。与现有的一些方法对比,相关实验证明了该算法的有效性。     

结合结构自相似性和卷积网络的单幅图像超分辨率

针对单幅图像超分辨率（SR）复原病态逆问题,在重建过程边缘细节丢失导致的模糊,提出一种结合结构自相似和卷积网络的单幅图像超分辨率算法。首先,通过将尺度分解获得待重构图片样本的自身结构相似性,结合外部数据库样本结合作为训练样本,可以解决样本过于分散的问题;其次,将样本输入卷积神经网络（CNN）进行训练学习,得到单幅图像超分辨率的先验知识;然后,利用非局部约束项自适应选择最优字典重建图像;最后,利用迭代反投影算法对图像超分辨率效果进一步提升。实验结果表明,与双三次插值（Bicubic）方法、K-SVD算法和基于卷积神经网络的图像超分辨率（SRCNN）方法等优秀算法相比,所提算法可以得到边缘更为清晰的超分辨率重建效果。     

基于改进卷积神经网络的单幅图像超分辨率重建方法

对于重建图像存在的边缘失真和纹理细节信息模糊的问题，提出一种基于改进卷积神经网络（CNN）的图像超分辨率重建方法。首先在底层特征提取层以三种插值方法和五种锐化方法进行多种预处理操作，并将只进行一次插值操作的图像和先进行一次插值后进行一次锐化的图像合并排列成三维矩阵；然后在非线性映射层将预处理后构成的三维特征映射作为深层残差网络的多通道输入，以获取更深层次的纹理细节信息；最后在重建层为减少图像重建时间在网络结构中引入亚像素卷积来完成图像重建操作。在多个常用数据集上的实验结果表明，与经典方法相比，所提方法重建图像的纹理细节信息和高频信息能得到更好的恢复，峰值信噪比（PSNR）平均增加0.23 dB，结构相似性（SSIM）平均增加0.0066。在保证图像重建时间的前提下，所提方法更好地保持重建图像的纹理细节并减少图像边缘失真，提升重建图像的性能。     

多层次感知残差卷积网络的单幅图像超分重建

目的 单幅图像超分辨率重建的深度学习算法中,大多数网络都采用了单一尺度的卷积核来提取特征（如3×3的卷积核）,往往忽略了不同卷积核尺寸带来的不同大小感受域的问题,而不同大小的感受域会使网络注意到不同程度的特征,因此只采用单一尺度的卷积核会使网络忽略了不同特征图之间的宏观联系。针对上述问题,本文提出了多层次感知残差卷积网络（multi-level perception residual convolutional network,MLP-Net,用于单幅图像超分辨率重建）。方法 通过特征提取模块提取图像低频特征作为输入。输入部分由密集连接的多个多层次感知模块组成,其中多层次感知模块分为浅层多层次特征提取和深层多层次特征提取,以确保网络既能注意到图像的低级特征,又能注意到高级特征,同时也能保证特征之间的宏观联系。结果 实验结果采用客观评价的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）两个指标,将本文算法其他超分辨率算法进行了对比。最终结果表明本文算法在4个基准测试集上（Set5、Set14、Urban100和BSD100（Berkeley Segmentation Dataset））放大2倍的平均峰值信噪比分别为37.851 1 dB,33.933 8 dB,32.219 1 dB,32.148 9 dB,均高于其他几种算法的结果。结论 本文提出的卷积网络采用多尺度卷积充分提取分层特征中的不同层次特征,同时利用低分辨率图像本身的结构信息完成重建,并取得不错的重建效果。     

基于磁共振影像层间插值的超分辨率及多视角融合

针对磁共振（MR）图像切片内分辨率高而切片间分辨率低,导致MR在冠状面和矢状面上缺乏医学诊断意义的问题,提出了一种基于层间插值及多视角融合网络的医学图像处理算法。首先,引入了层间插值模块,用来将MR体数据沿冠状和矢状方向从三维数据切割成二维图像;然后,在分别对冠状面和矢状面进行特征提取之后,通过空间矩阵滤波器动态计算权重用于任意大小的上采样因子放大图像;最后,将冠状图和矢状图在层间插值模块中得到的结果聚合成三维数据后再次沿轴状方向切割成二维图像,对得到的二维图像两两进行融合并通过轴状方向数据进行修正。实验结果表明,所提算法相较于其他超分辨率算法在×2、×3、×4尺度下的峰值信噪比（PSNR）均有1 dB左右的提升,可见所提算法有效提升了图像的重建质量。     

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展，如何在更好提升重构性能的同时，有效降低重构模型的复杂度，以满足低成本及实时应用的需要，是该领域研究关注的重要问题。为此，提出了一种基于通道注意力（channel attention，CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer，CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征，不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势，而且将对应特征进行自适应增强与融合，有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集，与6种代表性方法进行了实验比较，结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时，比较先进的SwinIR （image restoration using swin Transformer）方法，峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升，在Manga109数据集提升了0.30 dB，具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法，通过融合卷积特征与Transformer特征，并自适应嵌入通道注意力特征增强，可以在较好地平衡网络模型轻量化同时，得到图像超分辨率性能的有效提升，在多个公共实验数据集的测试结果验证了本文方法的有效性。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于退化感知和序列残差的图像盲超分辨率重建

针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题,提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法,设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络,进一步构建了对称的增强型多尺度残差模块,并且在图像重建部分,将瓶颈注意力模块与像素重组上采样模块级联,强调图像的多维元素,最后进行了全局残差连接。实验表明,与当前代表性算法DASR相比,该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.001 4,在Set14×3/4上PSNR分别提高1.898 dB、0.252 dB,且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。     

基于权重量化与信息压缩的车载图像超分辨率重建

针对智能驾驶领域中需要在内存受限的情况下得到高质量的超分辨率图像的问题,提出一种基于权重八位二进制量化的车载图像超分辨率重建算法。首先,基于八位二进制量化卷积设计信息压缩模块,减少内部冗余,增强网络内信息流动,提高重建速率;然后,整个网络由一个特征提取模块、多个堆叠的信息压缩模块和一个图像重建模块构成,并利用插值后超分辨率空间的信息与低分辨率空间重建后的图像融合,在不增加模型复杂度的基础上,提高网络表达能力;最后,算法中整个网络结构基于对抗生成网络（GAN）框架进行训练,使得到的图片有更好主观视觉效果。实验结果表明,所提算法的车载图像重建结果的峰值信噪比（PSNR）比基于GAN的超分辨率重建（SRGAN）算法提高了0.22 dB,同时其生成模型大小缩小为LapSRN的39%,重建速度提高为LapSRN的7.57倍。     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

局部特征增强的转置自注意力图像超分辨率重建

目的 超分辨率（super resolution,SR）重建任务通过划分窗口引入自注意力机制进行特征提取,获得了令人瞩目的成绩。针对划分窗口应用自注意力机制时会限制图像信息聚合范围、制约模型对特征信息进行建模的问题,本文基于转置自注意力机制构建全局和局部信息建模网络捕捉图像像素依赖关系。方法 首先采用轻量的基线模型对特征进行简单关系建模,然后将空间维度上的自注意力机制转换到通道维度,通过计算交叉协方差矩阵构建各像素点之间的长距离依赖关系,接着通过引入通道注意力块补充图像重建所需的局部信息,最后构建双门控机制控制信息在模型中的流动,提高模型对特征的建模能力及其鲁棒性。结果 实验在5个基准数据集Set5、Set14、BSD100、Urban100、Manga109上与主流方法进行了比较,在不同比例因子的SR任务中均获得了最佳或者次佳的结果。与SwinIR（image restoration using swin Transformer）在×2倍SR任务中相比,在以上5个数据集上的峰值信噪比分别提升了0.03dB、0.21dB、0.05dB、0.29dB和0.10dB,结构相似度也获得了极大提升,同时视觉感知优化十分明显。结论 所提出的网络模型能够更充分地对特征信息全局关系进行建模,同时也不会丢失图像特有的局部相关性。重建图像质量明显提高,细节更加丰富,充分说明了本文方法的有效性与先进性。