基于Mobile U-Net的多芯光纤散斑图像复原方法研究

目前多芯光纤的成像技术应用广泛,但光纤周围所处的环境因素使得现有技术可以清晰成像具有很大的局限性,例如振动和光纤所处环境的温度的改变可以影响成像的效果.传统光学成像系统由于介质内部折射率分布不均,光经过浑浊介质会发生多次未知散射,很难对目标进行成像.深度学习技术是近年来计算成像的焦点,计算成像技术作为新型光纤成像手段,...     

结合CNN和Transformer的遥感图像土地覆盖分类方法

利用遥感图像进行语义分割是一种有效的土地覆盖分类方法。然而由于主流框架存在边缘分割不准确、缺乏全局信息导致错误分类等问题,阻碍了其在土地覆盖分类中的应用。针对以上问题,提出了一种用于遥感图像土地覆盖分类的卷积神经网络（Convolutional Neural Networks, CNN）和Transformer混合网络CTHNet,结合了CNN的局部细节提取能力和Transformer的全局信息提取能力。同时设计了自适应融合模块,融合来自对应级别的CNN和Transformer特征,自适应融合模块的输出进入分割头得到最终的预测结果。最后,结合边界检测分支为语义分割提供边缘约束。在两个公开的土地覆盖分类数据集上的实验结果表明,该方法优于当前主流的方法,分别实现了90.53%和64.33%的平均交并比（mIoU）,对遥感图像中的大目标和边界也有更好的识别效果。     

基于Transformer和CNN特征融合的非接触式心率检测算法

心率失调是心血管疾病的常见危险因素,如何及时地对心率失调作出预警,成为了研究的热点。传统的心率检测是接触式的,检测十分不便。远程光电容积脉搏波描记法（Remote photoplethysmography, rPPG）的提出旨在实现无须接触的测量,在许多场景中具有巨大的应用价值。然而,非接触式的测量方法容易受到环境和受试者运动的影响。针对这些问题,本文提出了基于Transformer全局表达和CNN局部特征融合的非接触式心率检测模型（TC-Net）。本文搭建了一个并联的Transformer网络和CNN网络的TC-Net模型。本模型包括两个分支,CNN分支用于提取rPPG信号的局部区域特征,Transformer用于提取rPPG信号的全局表达。由于全局表达特征和局部特征两者特征长度不一,本文提出了特征交互模块,该模块通过卷积层和上下采样模块以对齐两个分支的特征长度。随后,TC-Net通过特征交互模块将局部特征和全局表达进行融合得到最终用于检测的特征向量。最后,在远程心率测量评估中最广泛使用基准之一MAHNOB-HCI数据集上进行对比验证,模型在误差偏差（MAE）、均方根误差（RMSE）...     

基于注意力和Transformer的阿尔兹海默症分类

阿尔兹海默症(Alzheimer’s Disease, AD)是一种患病率很高的神经退行性疾病,严重影响老年人生活。磁共振成像(Magnetic Resonance Imaging, MRI)能够无创获取大脑的形态结构揭示脑部的病理改变,是目前AD诊断的主要手段。深度学习在图像处理上具有强大的特征提取和建模能力,使用深度学习方法处理MRI进行AD的自动诊断具有巨大的应用价值。对于三维的脑图像,病变的大小和位置具有随机性和关联性,局部细节特征和全局的长程依赖信息都很重要。针对此类问题,提出了一种基于注意力的结合3D CNN和Transformer的端到端网络用以分类AD病人和正常人。采用3D CNN提取深层语义特征图,经多尺度特征加权的注意力编码后由Transformer全局建模得到分类结果。在AD数据集和公开的3D医学分类数据集上验证,分类指标准确性、敏感性和特异性均有所提升。在AD分类任务上准确性达到95%,模型的注意力图突出了额叶、后扣带皮质等疾病相关区域。结果显示该方法具有较好的分类性能,可以作为一种自动、有效、便捷的AD及其他医学任务辅助诊断方法。     

融合CNN与Transformer结构的遥感图像分类方法

为解决高分辨率遥感图像所具有的类内差异大而类间差异小的特性导致的图像难分类问题,提出一种基于深度学习中卷积神经网络与Transformer优点的混合结构。对卷积层提取的特征信息使用两个带有空间位置信息的注意力机制,分别沿水平方向和垂直方向对每个通道进行特征聚集,以减少遥感场景特征的冗余映射,使网络能够提取更多与任务目标相关的信息。然后利用Transformer编码器结构对捕获的特征图进行编码操作,赋予特征图中感兴趣区域较大的权重。实验结果表明,与现有的基于深度学习的遥感图像分类方法相比,所提方法既降低了模型参数量,又提升了分类准确率,在遥感图像分类数据集AID、NWPU-RESISC45及VGoogle上均达到了最高的平均分类准确率,分别为98.95%、96.00%和95.01%。     

基于双路残差连接Transformer的图像去模糊研究

针对现有图像去模糊算法提取特征多样性不足,细节恢复能力有限的问题,提出双路残差图像去模糊模型DTCM。首先,设计了双路残差连接网络,以增加特征信息的丰富度;其次,引入Swin Transformer作为集成推理模块,用于突出主要特征、减少信息冗余,并在此基础上与卷积神经网络相结合,提出改进的SWT-C层,增强模型捕获长期依赖关系的能力;最后,引入金字塔卷积神经网络重建图像。实验结果表明,所提模型在多种运动模糊场景下均取得了较好的恢复结果。     

一种可配置的CNN协加速器的FPGA实现方法

针对卷积神经网络中卷积运算复杂度高而导致计算时间过长的问题,本文提出了一种八级流水线结构的可配置CNN协加速器FPGA实现方法.通过在卷积运算控制器中嵌入池化采样控制器的复用手段使计算模块获得更多资源,利用mirror-tree结构来提高并行度,并采用Map算法来提高计算密度,同时加快了计算速度.实验结果表明,当精度为32位定点数/浮点数时,该实现方法的计算性能达到22.74GOPS.对比MAPLE加速器,计算密度提高283.3%,计算速度提高了224.9%,对比MCA（Memory-Centric Accelerator）加速器,计算密度提高了14.47%,计算速度提高了33.76%,当精度为8-16位定点数时,计算性能达到58.3GOPS,对比LBA（Layer-Based Accelerator）计算密度提高了8.5%.     

结合视觉Transformer和CNN的道路裂缝检测方法

提出了一种结合视觉Transformer和CNN的道路裂缝检测方法。利用CNN来捕获局部的细节信息,同时利用视觉Transformer来捕获全局特征。通过设计的Fusion特征融合模块将两者提取的特征有机地结合在一起,从而解决了单独使用CNN或视觉Transformer方法存在的局限。最终将结果传递至交互式解码器,生成道路裂缝的检测结果。实验结果表明,无论是在公开的数据集上还是在自建的数据集上,相较于单独使用CNN或视觉Transformer的方法,所提出的方法在道路裂缝检测任务中有更好的效果。     

一种基于改进CNN和FCN模型的裂缝检测方法

人们一直在探索精确快速识别混凝土墙、瓷砖等建筑材料的裂缝检测方法。基于此,提出一种基于改进卷积神经网络模型(CNN)和完全卷积神经网络模型(FCN)的裂缝识别算法。首先,通过改进的CNN模型定位裂缝区域,排除非裂缝区的斑点、阴影、水渍、涂鸦等干扰因素;然后,通过FCN模型对CNN结果进行再处理,得到精确的裂缝定位图;最后采用统计函数提取裂缝的长度、宽度等特征。结果表明,此算法的检测精度高,耗时短,能有效识别混凝土和瓷砖图像上的裂缝。     

基于并行CNN和Transformer的脑电降噪网络

脑电图（electroencephalography, EEG）是一种反映大脑皮层电生理活动的技术,经常用于生物医学领域的各种应用中,但其采集过程容易受到多种噪声的污染,这些噪声会影响EEG信号的准确性和可靠性,因此脑电降噪是EEG分析中必不可少的一步。目前,基于深度学习的方法在多个基准数据集中已展现出优于传统方法的降噪性能,然而现有的基于深度学习的方法仍存在以下问题：现有的网络结构在设计时没有充分考虑信号的时序依赖性。由于不同伪影信号具有不同的形态特征,仅考虑局部或全局的时序依赖性,难以在多种伪影移除任务上获得理想的降噪效果。基于此,本文设计了一种新的脑电降噪网络CTNet。CTNet采用了CNN-Transformer结构,通过结合CNN和Transformer的优点提取潜在的判别性特征,具体来说,CNN单元和Transformer单元分别用于提取局部和全局的时序依赖性特征,通过结合局部和全局的特征更好地抑制伪影信号。为了评估CTNet在EEG降噪方面的性能,本文在四种不同的伪影移除任务上对其进行了评估,实验结果表明,CTNet在各种噪声条件下均具有较强的噪声抑制能力。在公开数据集...     

基于深度学习的电子散斑干涉条纹图相位恢复

针对单幅电子散斑干涉条纹图的相位恢复问题,以U-Net为基础网络,融合子像素卷积模块和结构化特征增强模块,提出了USS-Net,实现对单幅条纹图端到端的相位恢复。首先改进上采样方式,采用子像素卷积使网络能学习到更多的条纹细节信息,同时降低反卷积零值填充对梯度计算的影响。其次在编码部分改进特征融合方式,采用结构化特征增强模块,充分融合不同尺度的特征信息,解决条纹疏密程度不均导致特征提取不佳的问题,进而提升对单个像素点的分割准确性。建立了ESPI条纹-相位仿真和实验数据集,对USS-Net模型进行测试与分析,验证所提方法的有效性。所提方法克服了传统相位恢复方法过程繁琐、容易受噪声干扰等缺点,有效提高了单幅条纹图相位恢复的准确率。     

基于CNN分类器和卷积的目标检测

随着机器视觉领域的研究进展和多媒体技术的迅猛发展,目标检测成了机器视觉研究方向的一个热门领域。在一张图片中,如何寻找某类特定的目标是一个十分值得研究的课题,并且具有优秀性能的算法可以用在十分广阔的领域中,比如视频中的行人、车辆检测等。文中提出了一个基于卷积神经网络的深度学习分类器和卷积的方法,该方法性能优良,漏报率较低,可以快速检测出图片中的某类目标。并且通过以行人检测为例的实验证明,甚至与传统的检测相比鲁棒性更好,速度更快,可以更好地确定标的位置。     

一种基于CNN与LSTM结合的微表情识别算法

微表情表现强度微弱且非常短暂。针对微表情识别效果不理想的问题,以视觉几何组(Visual Geometry Group,VGG)网络为基础,提出卷积神经网络(Convolutionnal Neural Network,CNN)与长短期记忆网络(Long Short-Term Memory,LSTM)结合的识别算法。CNN提取数据集CASME II的空域特征,LSTM处理时域特征,实现空域与时域特征的结合。针对深度学习训练困难以及过拟合问题,加入批量归一化算法与丢弃法,提高网络训练速度,有效防止过拟合。针对数据集稀缺的问题,固定每次读取帧序列的长度,随机生成起始帧的位置,不断循环读取以遍历整个数据集并达到数据扩增。根据实验结果,五类微表情(高兴、惊讶、厌恶、抑郁、其他)识别率最高可达72.3%。     

一种通用CNN加速器的缓冲区地址调度方法

针对由神经网络参数多计算复杂度高导致的数据访问灵活性不足问题,本文提出了一种通用CNN加速器的缓冲区地址调度方法.通过在地址控制器中灵活调度片上缓存,卷积层均能由一个或两个特定卷积运算单元实现,降低资源开销;通过输入参数可配置不同大小的图像及卷积核,具有一定的通用性.实验结果表明,该地址调度方法能够适用于不同数目及尺寸的卷积、池化和全连接操作,并且计算性能有所提高.     

随机散斑图正交优化计算鬼成像

为克服随机散斑图照射下统计噪声对计算鬼成像成像质量的影响,提出了随机散斑图正交优化计算鬼成像方法。首先在计算鬼成像的基础上分析随机散斑图对目标物体重构质量的影响;然后结合实对称矩阵性质,通过空间映射矩阵,将原有随机散斑图正交化;再利用重构的正交散斑图对未知物体进行照射并由桶探测器测量,测得的一系列桶探测器值与计算机存储的重构散斑图通过二阶关联运算对目标物体进行重构;最后参考重构散斑图的协方差矩阵特征,对重构结果进行补偿,进一步提升物体重构质量。该方法不仅能有效提升随机散斑图计算鬼成像的成像质量,同时还具有算法结构简单的特点。仿真实验结果表明:相比于传统的随机散斑图照射下的计算鬼成像,该方法能有效地对目标物体进行重建,并表现出良好的性能。     

激光超声结合CNN的铸件缺陷检测方法

检测金属铸件在工程和使用过程中可能存在的缺陷,应用基于热弹机制的激光超声可视化检测仪对铸件进行扫描并将信号制成最大振幅图像,实现对铸件的可视化检测。为了高效、快速地对最大振幅图进行批量处理,结合卷积神经网络图像处理技术对最大振幅图进行识别。针对任务需要设计了一个卷积神经网络架构对最大振幅图进行识别,识别过程中通过改变卷积层和卷积核大小设置了不同的卷积神经网络架构,将预先设计的架构与其他的架构进行横向对比,实验结果表明预设架构综合性能最好。相同实验条件下,该卷积神经网络架构为使用最大振幅图检测铸件缺陷提供了一个有效可行的方案。     

一种基于TransUnet的臂丛神经超声图像分割网络

在医疗图像分割领域中,以臂丛神经(Brachial Plexus, BP)超声图像为例的部分超声图像中存在对比度低、边缘模糊和噪声多等问题,使得对目标区域的准确分割十分困难。为此,基于TransUnet网络框架将Transformer模块引入U-Net网络编码端,利用其自注意力机制更好地捕捉图像中的全局特征,提高模型的特征提取能力;同时将空洞卷积应用到网络的跳跃连接来增大感受野,降低特征图中的噪声影响,为解码端提供更显著的特征。实验表明,与传统的U-Net、SegNet以及基于Transformer的MedT(Medical Transformer)相比,设计的网络模型具有更高的Dice系数和IoU值,Dice系数较前三者最高提升了13.2%。     

基于深度可分离卷积和Transformer的关键点检测方法

随着神经网络技术的不断发展,人体姿态识别在现实生活中扮演着越来越重要的角色,广泛应用于视频监控和智能健身等方面。为满足在移动端易集成的需求,提出一种基于Transformer的姿态识别算法。通过MobileNet中的深度可分离卷积提取特征,同时添加残差结构获取低维度信息,和Transformer的编码结构结合实现人体关键点检测。实验结果表明,训练得到的网络模型的准确率与传统的基于深度学习的姿态识别方法准确率相差不超过1%,但模型参数大幅下降,更加轻量化且便于移动端的部署。     

一种基于三维可变换CNN加速结构的并行度优化搜索算法

现场可编程门阵列(FPGA)被广泛应用于卷积神经网络(CNN)的硬件加速中。为优化加速器性能,Qu等人(2021)提出了一种3维可变换的CNN加速结构,但该结构使得并行度探索空间爆炸增长,搜索最优并行度的时间开销激增,严重降低了加速器实现的可行性。为此该文提出一种细粒度迭代优化的并行度搜索算法,该算法通过多轮迭代的数据筛选,高效地排除冗余的并行度方案,压缩了超过99%的搜索空间。同时算法采用剪枝操作删减无效的计算分支,成功地将计算所需时长从106 h量级减少到10 s内。该算法可适用于不同规格型号的FPGA芯片,其搜索得到的最优并行度方案性能突出,可在不同芯片上实现平均(R1, R2)达(0.957, 0.962)的卓越计算资源利用率。     

结合改进Bi-LSTM和CNN的文本情感分析

针对目前用于文本情感分析神经网络非常缺乏的问题,提出了一种级联RNN的体系结构.该体系结构首先将RNN放在全局平均池化层上,用于捕获与CNN之间的长期依赖关系,然后通过GloVe嵌入方法对词向量进行处理,最终作为输入数据,进行训练.该方法与Twitter语料库中的基线模型相比,实验表现出更好的情感分类效果,该方法在Tw...