基于卷积和可变形注意力的脑胶质瘤图像分割

对于脑胶质瘤图像分割这类密集预测的医学影像分割任务,局部和全局依赖关系都是不可或缺的,针对卷积神经网络缺乏建立全局依赖关系的能力,且自注意力机制在局部细节上捕捉能力不足等问题,提出了基于卷积和可变形注意力的脑胶质瘤图像分割方法。设计了卷积和可变形注意力Transformer的串行组合模块,其中卷积用于提取局部特征,紧随其后的可变形注意力Transformer用于捕捉全局依赖关系,建立不同分辨率下局部和全局依赖关系。作为一种CNN-Transformer混合架构,所提方法不需要任何预训练即可实现精准的脑胶质瘤图像分割。实验结果表明：所提方法在BraTS2020脑胶质图像分割数据集上平均Dice系数和平均95%豪斯多夫距离分别为83.56%和11.30 mm,达到了与其他脑胶质瘤图像分割方法相当的分割精度,同时降低了至少50%的计算开销,有效提升了脑胶质瘤图像分割的效率。     

一种基于Uniformer Transformer与UNet的图像降噪模型

卷积神经网络(CNNs)在图像降噪任务中取得了较大的成功. 基于Vision Transformer模型表现出较好的效果. 计算机视觉领域利用Transformer方法其性能超过了卷积神经网络方法. 提出了一种名为UUNet(Uniformer Transformer-UNet)的图像降噪模型,该模型使用Uniformer Transformer作为骨干网络,并融入UNet网络来提取图像的深层特征,使用PSNR、SSIM等指标对图像降噪效果进行评估. 实验结果表明,使用UUNet网络对图像降噪的整体性最优.     

基于局部特征融合Transformer的牛身识别算法

目前，牛身识别技术大多采用卷积神经网络(Convolutional Neural Networks, CNN),CNN只能处理局部邻域信息，容易丢失细节信息。为此，提出一种基于局部特征融合Transformer的牛身识别算法。首先，运用卷积将相邻空间内的牛身局部信息进行融合，增强融合后局部特征信息在不同姿态下的辨别力和鲁棒性；其次，将融合后的局部信息和全局分类信息通过数个多层感知机模块进行分类训练，损失函数采用三元组和标签平滑交叉熵损失，有效提高了牛只多姿态场景下特征的提取。仿真实验结果表明，在复杂场景下，与基于CNN的牛身识别算法相比，提出的算法有效降低了拒识率，提高了Top1排序性能和AUC值。     

基于卷积神经网络和Transformer的视频行人再识别

为了解决视频行人再识别领域仅使用卷积神经网络进行行人特征提取效果不佳的问题,提出一种基于卷积神经网络和Transformer的ResTNet(ResNet and Transformer network)网络模型。ResTNet利用ResNet50网络得到局部特征,令中间层输出作为Transformer的先验知识输入。在Transformer分支中不断缩小特征图尺寸,扩大感受野,充分挖掘局部特征之间的关系,生成行人的全局特征,同时利用移位窗口方法减少模型计算量。在大规模MARS数据集上,Rank-1和mAP分别达到86.8%和80.3%,比基准分别增加了3.8%和3.3%,在2个小规模数据集上也取得了良好效果。在几大数据集上的大量实验表明,本文方法能增强行人识别的鲁棒性,有效提高行人再识别的准确率。     

基于卷积字典学习网络的地震数据重建

地震数据重建是地震资料处理的重要步骤。经典的字典学习方法将地震数据分解为重叠的数据块,并独立地计算所有块的稀疏表示,忽略了块之间的相关性。基于卷积字典学习的方法使用线性滤波器替代字典,具有更好的自适应稀疏表示能力。但相应算法的优化涉及卷积运算,求解复杂度较高。另外,重建性能也依赖手动参数的选择。深度学习方法在大量缺失/完整的训练数据驱动下,可以智能、高效地实现缺失地震数据重建。本文结合卷积字典学习和深度学习的优点,提出基于卷积字典学习网络(Convolutional Dictionary Learning Network, CDLNet)的地震数据重建方法,将卷积字典学习方法嵌入到深度神经网络框架中。该方法不仅可以取得更准确、高效的重建结果,而且在卷积字典学习模型和迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm, ISTA)的指导下,训练的网络也具有一定的意义。通过仿真和真实数据实验显示,和Unet深度学习方法相比,重建数据的信噪比提高了2～3 dB;和DDTF(Data-Driven Tight Frame, DDTF)字典学习...     

融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域,提出基于神经网络的分割模型MS2Net.针对传统卷积操作缺乏获取长距离依赖关系能力的问题,为了更好提取上下文信息,提出融合卷积和Transformer的架构.基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系,基于相似度关系融合各像素特征使网络拥有全局视野,使用相对位置编码使Transformer保留输入特征图的结构信息.为了使网络适应兴趣区域形态的差异,在MS2Net中应用解码端多尺度特征并提出多尺度注意力机制.对多尺度特征图依次应用分组通道和分组空间注意力,使网络自适应地选取合理的多尺度语义信息. MS2Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标,有着较好的泛化能力.     

一种有损压缩车牌图像重建算法

图像经过JEPG格式压缩后易存在方块伪影。针对此类有损压缩车牌图像,给出一种基于卷积神经网络的重建方法,据以通过非线性映射和重建减少压缩伪影。卷积神经网络分为特征提取层、特征增强层、非线性映射层和重建层。其中,特征提取层采用三个不同尺寸的卷积核提取特征,并对其进行融合,由此可捕捉更多图像细节信息。实验结果表明,采用该网络结构重建有损压缩车牌图像的效果较好,能明显减少重建后的方块伪影。     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

基于卷积自编码器的地震数据处理

引入以深度学习为代表的数据驱动方法,加速地震数据的处理流程,获得更精确的地下介质信息. 卷积自编码器方法在地震数据压缩降维的同时,利用数据的空间局部相关性自动提取信号特征,避免数学物理模型的假设依赖. 通过设计不同地质模型的地下速度结构,利用波动方程正演模拟构建大量不同特征的地震数据训练集和测试集. 与模型驱动的地震随机噪声压制和地震道插值方法不同,数据驱动下的卷积自编码器方法能够从含随机噪声地震数据和地震道缺失数据中,直接识别和提取出其中的有效地震信号,从而压制随机噪声以及重建原始地震数据,实验结果验证了该方法的有效性. 卷积自编码器方法不需要人工阈值控制,具有更高的处理效率.     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.     

基于改进Transformer的结构化图像超分辨网络

针对现有的结构化图像超分辨重建算法大多只能解决特定单一种类的结构化图像超分辨问题，提出一种基于改进Transformer的结构化图像超分辨率网络（TransSRNet）.该网络利用Transformer的自注意力机制在空间序列中挖掘大范围的全局信息.采用沙漏块结构搭建空间注意力单元，关注低分辨率空间和高分辨率空间在局部区域的映射关系，提取图像映射过程中的结构化信息，使用高效通道注意力模块对自注意力模块和空间注意力模块做特征融合.在高度结构化CelebA、Helen、TCGA-ESCA和TCGA-COAD数据集上的模型评估结果表明，相较于主流超分辨算法，TransSRNet整体性能表现更好.在放大因子为8时，人脸数据集和医学峰值信噪比（PRNR）可以分别达到28.726、26.392 dB,结构相似性（SSIM）可以分别达到0.844、0.881.     

基于全局深度分离卷积残差网络的高效人脸识别算法

深度学习模型的复杂性影响了人脸识别的实时性能,限制了人脸识别算法在实际场景中的应用。针对这一问题,提出了一种基于全局深度分离卷积的残差学习神经网络,首先利用小卷积核提取人脸图像局部细节信息,采用深度残差学习网络作为骨干网络提取不同层次特征,然后根据人脸特征分布的空间重要性使用全局深度可分离卷积调整学习权重,加速精炼深层抽象特征,通过这一机制获取判别能力更强的特征向量进行人脸识别。在CASIA-Webface与Extend Yale-B人脸数据集中的识别率分别达到了82.1%与99.8%。     

基于残差连接卷积神经网络的图像超分辨率重构

针对基于卷积神经网络超分辨率重构算法中存在的感受野较小、梯度信息易丢失与网络收敛较慢等问题,提出了基于残差连接卷积神经网络的图像超分辨率重构算法。通过在低分辨率空间进行图像的超分辨率重构,减少了图像预处理过程,降低了网络复杂度。利用局部和全局残差连接,对卷积网络结构和亚像素采样层进行改进,局部残差促进了网络中信息的流动,全局残差使网络只学习图像残差信息,减少了网络冗余。通过增加网络深度扩大了感受野,使网络学习到更多的重建信息。实验结果表明:本文算法的PSNR和SSIM值相较于其他算法有不同程度的提升。     

多尺度卷积神经网络的单幅图像去雨方法

雨天气会影响户外拍摄图像质量,模糊和覆盖图像信息.为提高受雨天气影响的户外拍摄图像的清晰度,恢复图像特征信息,提高很多计算机视觉算法在雨天气条件下的准确性,提出一种基于多尺度卷积神经网络的单幅图像去雨方法.首先建立多尺度卷积神经网络网络结构,通过多尺度卷积提取图像信息,用于去除雨线和重建图像,然后结合雨线在图像中的低饱和度、高亮度的特征,对网络进行训练,获取网络最优参数值,最终得到可以有效去除雨线的卷积神经网络.实验结果表明:提出的方法相较于现有算法有更好的雨线去除效果,并且可以更好地保持图像的原有信息,避免图像模糊现象.同时,利用多尺度卷积提取图像特征信息可以使特征信息更加丰富,有利于提升卷积神经网络的去雨能力.     

基于多尺度融合CNNs特征和Transformer特征的显著目标检测

提出了一种融合深度神经网络和Transformer特征的多尺度结构,目的在于解决在同一场景下出现尺寸不同的目标时,显著目标检测网络性能下降的问题。当处理不同尺度的物体时,由于采样深度和感受野尺寸之间的矛盾,现有方法的表现往往不稳定。为了应对这一挑战,采取了3种不同的采样率对特征图进行采样,并使用Transformer模块来学习全局上下文信息。这种方法可以将卷积神经网络(CNNs)和Transformer两种网络的特性进行有效融合,从而创新性地提出了一种针对多尺度物体的显著目标检测策略。在UHRSD-TE,DUT-OMRON和DUTS-TE 3个公开数据集上的实验结果证明,该方法在处理同一场景下不同尺寸物体的显著目标检测任务上表现优秀。     

基于数据增广的CNN用于地震数据重建

由于环境和经济约束,实际采集的地震资料往往呈现不规则分布,影响了后续地震数据的处理和解释.基于卷积神经网络(Convolutional Neural Network,CNN)的地震数据重建方法近年来引起广泛关注.该方法无需任何先验假设,从海量训练数据集中自动学习缺失数据到完整数据的映射,取得了良好的重建效果.然而,网络...     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

弥散张量图像的鲁棒水印算法（英文）

在深度学习网络的研究中,使用卷积神经网络的水印算法表现出良好的鲁棒性。然而,通过卷积嵌入水印信号后,卷积的特征融合效率相对较低;这很容易导致嵌入图像的失真。当医学图像发生失真时,特别是在扩散张量图像（DTI）中,DTI的临床价值就会丧失。为解决这个问题,提出一种通过融合卷积与Transformer实现的DTI鲁棒性水印算法,以确保水印的鲁棒性和采样距离的一致性,从而提高嵌入水印信号后的DTI重建图像质量。在水印嵌入网络中,使用T1加权（T1w）图像作为先验知识。提出T1w图像和原始DTI之间的相关性,并利用Transformer从T1w图像中提取与原始DTI最相关的重要特征提升重建DTI图像质量。在水印提取网络中,Transformer充分学习水印DTI中最重要的水印特征,从而从水印特征中鲁棒提取水印信号。实验结果表明,水印DTI的平均峰值信噪比（PSNR）达到50.47 dB,扩散特征如平均扩散率和各向异性分数保持不变,主轴偏转角αAC接近1。所提算法可以有效保护DTI版权,几乎不影响临床诊断。     

基于CNN-LSTM混合模型的多类别窃电行为检测

针对复杂电网环境下窃电行为难以准确检测的问题,提出一种基于CNN-LSTM混合模型的多类别窃电行为检测方法。首先基于卷积神经网络（CNN）良好的特征抽象能力提取一维用电数据的非周期性的局部特征,通过长短时记忆网络（LSTM）捕捉每日电能消耗数据间的相关性,提取周期性的用电特征建立特征融合层网络,再将CNN与LSTM提取的特征向量横向拼接获得新的融合向量,据此实现多类别窃电行为的准确检测。实验结果表明,本文提出方法能准确识别多类别窃电行为,相比现有检测方法检测结果更加全面准确。     

基于GA-CNN-LSTM模型的文本情感分析方法研究

为了克服传统神经网络不能学习文本长期信息的缺点和神经网络中梯度下降法容易陷入的局部最优问题,提出基于遗传算法(GA)、卷积神经网络(CNN)和长短期记忆神经网络(LSTM)相结合的文本情感分析模型GA-CNN-LSTM.具体来说,该模型首先利用卷积神经网络从全局信息中提取序列特征,之后使用长短期记忆神经网络分析句子的句法和语义结构,最后运用遗传算法从全局进行寻优,有效避免梯度下降法陷入的局部最优问题.在IMDB数据集上进行实验,结果表明,该模型相比于其他现有的网络模型,取得了更好的分类效果,精度比传统的长短期记忆神经网络提高了 1.8百分点,准确率达到了 0.906.