基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于深度学习的高噪声图像去噪算法

为了更有效地实现高噪声环境下的图像去噪, 本文提出一种基于深度学习的高噪声图像去噪算法.该算法首先采用递增扩充卷积并且融合批量标准化和Leaky ReLU函数对输入含噪图像进行特征提取与学习; 然后通过结合递减扩充卷积和ReLU函数对提取的特征进行图像重构; 最后通过整合残差学习和批量标准化的端到端网络实现图像与噪声的有效分离.实验结果表明, 本文提出的算法不仅能够有效地去除高噪声环境下的图像噪声, 获得更高的峰值信噪比(Peak signal-to-noise ratio, PSNR)与结构相似度(Structural similarity index, SSIM), 而且还能够有效地改善图像的视觉效果, 具有较好的实用性.     

基于残差梯度法的神经网络Q学习算法

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。     

基于Prewitt算子的卷积神经网络人脸识别方法

为了提高人脸识别算法的识别性能,提出了基于Prewitt算子的卷积神经网络人脸识别方法。首先通过直方图均衡化和Prewitt算子对人脸图像进行预处理;然后将其输入卷积神经网络进行训练,并采用指数衰减法来设置学习率加快收敛速度,使用L2正则化和Dropout来防止过拟合。该方法在ORL人脸数据库上的识别时间为0.2 s,识别率达到了98.1%。实验结果表明,利用Prewitt算子和改进的卷积神经网络能缩短识别时间,并且能提高识别率,具有一定优越性。     

联合损失优化孪生网络的行人重识别

针对行人重识别应用中行人图像易受到光照、相似着装、拍摄角度影响而出现难分样本对,导致错误匹配的问题,提出一种联合损失结合孪生网络的行人重识别优化算法。首先利用残差卷积神经网络提取图像特征,并以焦点损失（Focal Loss）和交叉熵损失的联合损失对提取的特征进行监督训练,增加模型对难分样本对的关注度;然后采用余弦距离计算图像间的相似度实现行人的重识别;最后加入重排序算法降低误匹配率。采用Market-1501和DukeMTMC-reID数据集进行实验,结果表明,该算法的匹配率分别为91.2%和84.4%,平均精度均值（mAP）分别为85.8%和78.6%。     

融合交叉熵损失的3DCNN探水作业动作识别

为解决矿井探水作业中人工验收效率低、耗时长等问题,提出一种融合交叉熵损失函数的3 DCNN探水作业动作识别模型.使用ReLU非线性化函数和SoftMax交叉熵损失函数,将隐含的特征数据判断分类别后再进行学习,得到较为丰富的批次网络信息图;将批量归一化操作引入到网络结构中,弥补网络模型收敛速率慢的不足,提高模型的泛化能力...     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

基于Inception模块的卷积自编码器图像去噪

为了更有效地去除图像中存在的高斯噪声,提出一种结合Inception模块的卷积自编码器图像去噪模型。以完整图像作为输入和输出,利用Inception模块对噪声图像进行去噪,使用改进Inception反卷积模块将去噪图像进行还原,提升模型去噪能力。同时在模型中引入批量归一化(Batch Normalization,BN)和随机失活层(Dropout)有效解决过拟合问题,引入ReLU函数避免模型梯度消失,加速网络训练。实验结果表明,与深度卷积神经网络方法相比,该模型获得了更高的峰值信噪比和结构相似度,其去噪能力更好,视觉效果更佳,具有更好的鲁棒性。     

基于轻量化卷积神经网络的多肉植物种类识别研究

目前多肉植物产业在我国发展较快，市场前景广阔，由于其具有品种繁多、形态多变、类间相似度高等特点，导致多肉植物种类辨别难度较大。方法：针对上述问题,本研究提出一种基于改进MobileNet V3网络与迁移学习的多肉植物图像分类方法，将Bottleneck模块前六层的ReLU激活函数换成LeakyReLU激活函数，优化了SE模块，添加了Dropout层提高模型的泛化性。结果：试验通过改进MobileNet V3网络对13种多肉植物图像进行种类识别，准确率为97.35%，并且可以实时稳定地对多肉植物图像进行分类,使用Focal Loss代替交叉熵损失函数，达到平衡样本的目的。结论：研究结果表明，利用改进MobileNet V3网络对多肉植物种类识别具有一定可行性。     

残差密集块的卷积神经网络图像去噪

针对加性高斯白噪声的图像信噪比低, 图像细节丢失问题, 结合现有卷积神经网络算法, 提出了一种基于残差密集块的卷积神经网络图像去噪模型. 该模型通过引入多级残差网络和密集连接, 并对整体网络使用Leaky ReLU激活函数, 去除不同等级强度噪声的同时, 更好保留图像的有效信息, 有效避免特征丢失. 本文提出算法和深度卷积神经网络残差学习(DnCNN)模型对比, 本文提出的模型在Set12和BSD68测试集上峰值信噪比平均提升了约0.12 dB, 结构相似性平均提升了约0.008 6, 通过观察实验效果, 表明该模型能够充分提取图像特征, 保留图像细节, 同时降低网络计算的复杂度.     

Leveraging Multimodal Ensemble Fusion-Based Deep Learning for COVID-19 on Chest Radiographs

Recently, COVID-19 has posed a challenging threat to researchers, scientists, healthcare professionals, and administrations over the globe, from its diagnosis to its treatment. The researchers are making persistent efforts to derive probable solutions for managing the pandemic in their areas. One of the widespread and effective ways to detect COVID-19 is to utilize radiological images comprising X-rays and computed tomography (CT) scans. At the same time, the recent advances in machine learning (ML) and deep learning (DL) models show promising results in medical imaging. Particularly, the convolutional neural network (CNN) model can be applied to identifying abnormalities on chest radiographs. While the epidemic of COVID-19, much research is led on processing the data compared with DL techniques, particularly CNN. This study develops an improved fruit fly optimization with a deep learning-enabled fusion (IFFO-DLEF) model for COVID-19 detection and classification. The major intention of the IFFO-DLEF model is to investigate the presence or absence of COVID-19. To do so, the presented IFFO-DLEF model applies image pre-processing at the initial stage. In addition, the ensemble of three DL models such as DenseNet169, EfficientNet, and ResNet50, are used for feature extraction. Moreover, the IFFO algorithm with a multilayer perceptron (MLP) classification model is utilized to identify and classify COVID-19. The parameter optimization of the MLP approach utilizing the IFFO technique helps in accomplishing enhanced classification performance. The experimental result analysis of the IFFO-DLEF model carried out on the CXR image database portrayed the better performance of the presented IFFO-DLEF model over recent approaches.     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

卷积神经网络在掌纹识别中的性能评估

目的 掌纹识别技术作为一种新兴的生物特征识别技术越来越受到广泛重视。深度学习是近10年来人工智能领域取得的重要突破。但是,基于深度学习的掌纹识别相关研究还比较初步,尤其缺乏深入的分析和讨论,且已有的工作使用的都是比较简单的神经网络模型。为此,本文使用多种卷积神经网络对掌纹识别进行性能评估。方法 选取比较典型的8种卷积神经网络模型,在5个掌纹数据库上针对不同网络模型、学习率、网络层数、训练数据量等进行性能评估,展开实验,并与经典的传统掌纹识别方法进行比较。结果 在不同卷积神经网络识别性能评估方面,ResNet和DenseNet超越了其他网络,并在PolyU M_B库上实现了100%的识别率。针对不同学习率、网络层数、训练数据量的实验发现,5×10^-5为比较合适的识别率;网络层数并非越深越好,VGG-16与VGG-19的识别率相当,ResNet层数由18层逐渐增加到50层,识别率则逐渐降低;参与网络训练的数据量总体来说越多越好。对比传统的非深度学习方法,卷积神经网络在识别效果方面还存在一定差距。结论 实验结果表明,对于掌纹识别,卷积神经网络也能获得较好的识别效果,但由于训练数据量不充分等原因,与传统算法的识别性能还有差距。基于卷积神经网络的掌纹识别研究还需要进一步深入开展。     

深度学习在分组密码差分区分器上的研究应用

差分分析在分组密码分析领域是一种重要的研究方法, 针对分组密码的差分分析的重点在于找到一个轮数或者概率更大的差分区分器. 首先描述了通过深度学习技术构造差分区分器时所需要的数据集的构造方法, 并且分别基于卷积神经网络(convolutional neural networks, CNN)和残差神经网络(residual...     

新型冠状病毒肺炎的深度学习诊断方法综述

新型冠状病毒肺炎的高感染率导致其在全球范围内迅速传播,常用的逆转录-聚合酶反应（RT-PCR）检测方法存在耗时、假阴性率偏高和医学用具不足的缺陷,因此开发高效、准确、低成本的影像检测技术对新型冠状病毒肺炎的诊断和治疗至关重要。随着人工智能在医学领域的成功应用,深度学习技术成为辅助检验和识别新型冠状病毒肺炎的有效方法。对近年来涌现的新型冠状病毒肺炎的深度学习诊断方法进行了研究和总结：介绍了深度学习方法使用的两种新型冠状病毒肺炎数据集;介绍了基于VGGNet、Inception、ResNet、DenseNet、EfficientNet和CapsNet模型的六种深度学习诊断方法;介绍了三种深度学习与其他机器学习方法结合的诊断方法;对基于深度学习的新型冠状病毒肺炎诊断方法的研究趋势进行了展望。     

改进残差神经网络实现心音分类

心音的变化可以较早表征心脏疾病体征,基于深度学习实现心音信号分类具有心脏疾病临床辅助无创诊断作用。秉承特征获取简易和深度学习模型简单理念,设计了融合CBAM注意力机制、Focal Loss损失函数和多尺度特征的ResNet152网络模型对PhysioNet/CinC 2016心音数据集进行深度学习;详细介绍了CBAM注意力机制以及在网络瓶颈结构中的融合方式、Focal Loss损失函数原理、多尺度特征获取方式,并设计了5组对比消融实验和横向对比实验。实验结果表明,CBAM注意力机制、Focal Loss损失函数和多尺度特征提高了ResNet152基线网络模型分类准确率。     

深度学习在肺结节辅助诊断中的应用

肺癌位居癌症死亡率首位,对其进行早期诊断和治疗可降低肺癌患者的死亡率。深度学习能够自动提取结节特征,并完成肺结节的良恶性及恶性等级分类,因此深度学习方法成为肺癌早期诊断的重要手段。对常用数据集进行介绍,系统阐述了栈式去噪自编码器（SDAE）、深度置信网络（DBN）、生成对抗网络（GAN）、卷积神经网络（CNN）、循环神经网络（RNN）和迁移学习技术在肺结节良恶性分类中的应用,阐述了深度卷积生成对抗网络（DCGAN）、多尺度卷积神经网络（MCNN）、U型网络（U-Net）和集成学习技术在肺结节恶性等级分类中的应用,针对肺结节分类的深度学习方法进行了综合分析,并对未来研究方向进行展望。     

并行生成网络的红外—可见光图像转换

目的 针对现有图像转换方法的深度学习模型中生成式网络（generator network）结构单一化问题，改进了条件生成式对抗网络（conditional generative adversarial network，CGAN）的结构，提出了一种融合残差网络（ResNet）和稠密网络（DenseNet）两种不同结构的并行生成器网络模型。方法 构建残差、稠密生成器分支网络模型，输入红外图像，分别经过残差、稠密生成器分支网络各自生成可见光转换图像，并提出一种基于图像分割的线性插值算法，将各生成器分支网络的转换图像进行融合，获取最终的可见光转换图像；为防止小样本条件下的训练过程中出现过拟合，在判别器网络结构中插入dropout层；设计最优阈值分割目标函数，在并行生成器网络训练过程中获取最优融合参数。结果 在公共红外-可见光数据集上测试，相较于现有图像转换深度学习模型Pix2Pix和CycleGAN等，本文方法在性能指标均方误差（mean square error，MSE）和结构相似性（structural similarity index，SSIM）上均取得显著提高。结论 并行生成器网络模型有效融合了各分支网络结构的优点，图像转换结果更加准确真实。