改进的全卷积神经网络的脑肿瘤图像分割

针对现有机器学习算法分割脑肿瘤图像精度不高的问题,提出一种基于改进的全卷积神经网络的脑肿瘤图像分割算法。算法首先将FLAIR、T2和T1C三种模态的MR脑肿瘤图像进行灰度归一化,随后利用灰度图像融合技术得到肿瘤信息更加全面的预处理图像;然后采用融合三次脑肿瘤特征信息的改进全卷积神经网络对预处理图像进行粗分割,并且在每个卷积层后加入批量正则化层以加快网络训练的收敛速度,提高训练模型精度;最后融合全连接条件随机场细化粗分割结果中的脑肿瘤边界。实验结果表明,相较于传统的卷积神经网络脑肿瘤图像分割算法,本算法在分割精度和稳定性上有了较大提升,平均Dice可达91.29%,实时性较好,利用训练模型平均1s内可完成单张脑肿瘤图像的分割。      

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于3D卷积神经网络的脑肿瘤医学图像分割优化

针对2D卷积神级网络不能够较好地提取各模态之间的差异信息,不同的图像层肿瘤大小差异显著,且分割精度低,单模态MRI无法清晰地反映GBM的不同组织结构,提出一种基于3D多池化卷积神经网络拟解决以上实际问题。将卷积神经网络应用到脑肿瘤分割上,并针对脑肿瘤的特点,提出3D多池化卷积神经网络模型,通过多尺度的输入与多尺度的下采样,且在后端使用条件随机场(CRF)使图片尽量在边界处分割,增加图像的分割精度,克服脑肿瘤的个体差异,同时适应脑肿瘤不同图像层之间的大小位置差异。通过对100例患者的多模态磁共振图像进行分割,Dice系数达到91.64%;MRI脑肿瘤分割的改进方法可使分割精度得到明显提高,可更好地提取各模态之间的差异信息,实现适应范围更广的MRI肿瘤分割,并准确有效地分割脑肿瘤。     

多视图卷积轻量级脑肿瘤分割算法

脑肿瘤分割对医学图像处理领域发展与人类健康都具有积极意义。针对三维卷积神经网络存在复杂度大且对硬件设备要求高等问题,提出一种多视图卷积轻量级脑肿瘤分割算法。首先使用复用器模块有效融合各通道间的信息,并为模型增加提取非线性特征的能力。其次使用伪三维卷积分别从轴向位、矢状位和冠状位进行卷积,并加入组卷积以节约计算资源和降低设备显存使用。最后使用可训练参数权衡不同视图下提取的特征的重要性,提高模型分割精度。此外,实验使用分布式数据并行方法训练模型,以提升图形处理器的利用率。在2019年脑肿瘤分割大赛公开数据集上的实验结果表明,所提算法的平均Dice相似度系数仅低于第一名算法2.52个百分点,然而参数量与浮点运算次数分别降低了84.83%和96.67%,且平均Dice相似度系数高于第二名算法0.05%。通过对比实验分析,验证了所提算法的精确与轻量,为脑肿瘤分割模型的广泛应用提供了可能性。     

基于卷积神经网络的脑肿瘤分割的研究进展

基于卷积神经网络的脑肿瘤图像分割是近年来图像处理领域的研究热点.基于此现状,首先阐述了脑肿瘤图像分割的意义、研究现状以及将卷积神经网络应用于脑肿瘤图像分割的具体优势.然后,对二维卷积神经网络、三维卷积神经网络以及卷积神经网络的经典改进模型应用于脑肿瘤图像分割的研究进展进行了详细综述,总结了在多模态脑肿瘤分割挑战赛的数据...     

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力UNet(Multiscale Even Convolution Attention U-Net,MECAU-Net)网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。     

基于多尺度融合卷积神经网络的图像去雾算法

为解决图像去雾后颜色偏暗以及去雾不彻底等问题,本文提出了一种基于多尺度融合卷积神经网络的图像去雾算法.以有雾图像为输入,首先经过预处理模块由单尺度卷积层提取有雾图像浅层信息,然后设计多尺度映射模块实现深度特征学习以及深、浅层特征融合,由反卷积模块还原图像尺寸,通过卷积操作得到有雾图像对应的粗透射率图.采用双边滤波法优化...     

基于U-net卷积神经网络的多尺度遥感图像分割算法

多尺度遥感图像的非本质特征量较大,不仅易导致图像噪声较大,也增加了图像分割的难度。为充分保留分割后多尺度遥感图像的边缘特征,在U-net卷积神经网络下提出新的图像分割算法。以U-net卷积神经网络为基网,提取被分割图像特征,获得被分割图像细节信息;计算相邻像素和原始像素特征向量的欧氏距离,结合去噪算法,通过归一化参数处理,建立相似性函数,实现对多尺度遥感图像分割特征增强处理;计算分割框候选偏差值;根据U-net卷积神经网络结构确定局部最优合并区域对;计算度量区域的距离,使用全局最优区域合并方法更新分割时间复杂度,实现多尺度遥感图像整体分割。由实验结果可知,该算法能够精准确定指定建筑物位置,并保留建筑物完整边缘细节信息。     

基于多尺度细节的孪生卷积神经网络图像融合算法

图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量.针对这一任务,本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法.首先,使用孪生卷积神经网络学习图像特征,并以此获得包含源图像显著特征的权值映射图.随后,使用改进的滚动引导滤波对图像进行多尺度分解,结合信息熵使滚动引导滤波权重参数...     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

Multi-focus image fusion with the all convolutional neural network

A decision map contains complete and clear information about the image to be fused, which is crucial to various image fusion issues, especially multi-focus image fusion. However, in order to get a satisfactory image fusion effect, getting a decision map is very necessary and usually difficult to finish. In this letter, we address this problem with convolutional neural network (CNN), aiming to get a state-of-the-art decision map. The main idea is that the max-pooling of CNN is replaced by a convolution layer, the residuals are propagated backwards by gradient descent, and the training parameters of the individual layers of the CNN are updated layer by layer. Based on this, we propose a new all CNN (ACNN)-based multi-focus image fusion method in spatial domain. We demonstrate that the decision map obtained from the ACNN is reliable and can lead to high-quality fusion results. Experimental results clearly validate that the proposed algorithm can obtain state-of-the-art fusion performance in terms of both qualitative and quantitative evaluations.     

基于多尺度多路径FCN的视网膜血管分割

视网膜血管的形态结构信息可以为糖尿病、高血压等疾病提供诊断依据。提出了一种基于多尺度多路径的全卷积神经网络的视网膜血管分割方法。首先,利用空洞卷积代替池化层和上采样操作,在不增加参数的情况下增加感受野,避免了细节信息的丢失;其次,通过使用不同空洞率的空洞卷积实现图像数据的多尺度特征提取,充分学习图像的多尺度特征,避免网络过深,并提升了细小血管的提取能力;同时,利用跳层结构在网络中建立多条信息流通路径,通过多路径信息流充分传递多尺度特征信息,提高网络预测效果。实验结果表明,该算法在DRIVE数据集上的平均准确度、灵敏度和特异性分别为95. 46%、81. 24%、97. 77%,取得了较好的视网膜血管的分割效果。     

A deep recursive multi-scale feature fusion network for image super-resolution

Recently, Convolutional Neural Networks (CNNs) have achieved great success in Single Image Super-Resolution (SISR). In particular, the recursive networks are now widely used. However, existing recursion-based SISR networks can only make use of multi-scale features in a layer-wise manner. In this paper, a Deep Recursive Multi-Scale Feature Fusion Network (DRMSFFN) is proposed to address this issue. Specifically, we propose a Recursive Multi-Scale Feature Fusion Block (RMSFFB) to make full use of multi-scale features. Besides, a Progressive Feature Fusion (PFF) technique is proposed to take advantage of the hierarchical features from the RMSFFB in a global manner. At the reconstruction stage, we use a deconvolutional layer to upscale the feature maps to the desired size. Extensive experimental results on benchmark datasets demonstrate the superiority of the proposed DRMSFFN in comparison with the state-of-the-art methods in both quantitative and qualitative evaluations.     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

A fuzzy convolutional neural network for enhancing multi-focus image fusion

The images captured by the cameras contain distortions, misclassified pixels, uncertainties and poor contrast. Therefore, the multi-focus image fusion (MFIF) integrates various input image features to produce a single fused image using all its objects in focus. However, it is computationally complex, which leads to inconsistency. Hence, the MFIF method is employed to generate the fused image by integrating the fuzzy sets (FS) and convolutional neural network (CNN) to detect focused and unfocused parts in both source images. It is also compared with other competing six MFIF methods like Neutrosophic set based stationary wavelet transform (NSWT), guided filters, CNN, ensemble CNN, image fusion-based CNN and deep regression pair learning (DRPL). Benchmark datasets validate the superiority of the proposed FCNN method in terms of four non-reference assessment measures having mutual information (1.1678), edge information (0.7281), structural similarity (0.9850) and human perception (0.8020) and two reference metrics such as Peak signal-to-noise ratio (57.23) and root mean square error (1.814).     

基于特征融合卷积神经网络的FMCW雷达人体动作识别

针对微多普勒特征识别人体动作的局限性,基于调频连续波( Frequency Modulated Continuous Wave,FMCW)雷达采用深度学习方法对人体动作识别,提出了一种特征融合卷积神经网络结构.利用FMCW雷达采样的人体动作回波数据分别构建出时间-距离特征和微多普勒特征图,将这两种特征图作为输入数据分别...     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。