改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于RepVGG-A0改进的公路车型识别网络

针对当前车型识别过程中检测精度与实时性难以平衡的问题,提出了一种基于RepVGG-A0改进的公路车型识别网络,利用结构重参数化思想融合多分枝网络以提升网络推理速度。使用混合空洞卷积替换传统卷积,强化了模型对大目标的识别能力。在网络主干中插入融合残差结构的坐标注意力(RES-CA)模块,提升了网络对有效特征信息的提取能力,同时避免了梯度消失与梯度退化造成的影响。此外采用了标签平滑正则化方法对损失函数进行改进,降低了模型过拟合对检测结果的影响,提升了模型的泛化性。经验证,本方法在公路车辆数据集BIT-Vehicle上的识别准确率达到了97.17%,较原模型提升了2.67%,优于现有的ResNet-18,VGG等网络模型,同时保证了模型的检测速度。     

融合多种网络的半监督分层睡眠分期算法

当前的睡眠阶段时空特征提取依赖于给定数据集标签的监督学习,在一定程度上受到限制。提出一种基于脑电信号的半监督睡眠分期算法,利用由改进卷积编码-解码器和生成对抗网络构建的浅层特征提取网络提取浅层时空特征,采用Hard swish激活函数来加速模型收敛。为充分提取脑电信号高质量的深层时序依赖特征,模型的深层特征提取网络将传统的长短时记忆网络改进为参数较少的双向门控循环单元。在特征融合后使用加权交叉熵损失函数训练以提高模型的分类准确性。实验使用Sleep-EDF数据集在Fpz-Cz通道上对模型进行20折交叉验证,得到模型总体准确率和MF1值分别为86.3%和81.2%,相比于卷积循环网络分别提高了3.1%和3.3%。     

角度空间三元组损失微调的人脸识别

针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然后用角度空间下的三元组损失对预训练模型进行微调,以降低困难样本的强约束条件。最后在测试时,分别提取原始人脸图像特征和水平翻转的人脸图像特征,对两个特征相加作为最终的人脸特征表达,以丰富人脸特征信息,提高识别率。实验结果表明,在LFW和YTF人脸数据集分别取得了99.25%和94.52%的识别率,在大规模人脸身份识别中,本文提出的方法在仅用单模型和比较小的训练集就能有效地提高人脸识别率。     

基于改进的电力关键部件识别算法研究

针对无人机在电力巡检过程中存在的待识别部件背景复杂、轮廓特征不清晰、各类部件尺寸相差较大等问题,提出一种改进的YOLOv4算法对电力关键部件进行识别。首先搭建深度可分离卷积残差块(M-Resblock-body),用其代替原特征提取网络中的部分普通卷积残差块,在不降低特征提取能力的情况下减少参数量,加快模型的推理速度。然后引入自适应调节感受野网络(SKNet),对输入的感受野进行自适应调节,捕获不同尺度的目标,通过合理分配特征通道的权重来对特征进行有效的表达,提高模型检测精度。最后为了增强模型的泛化能力,对训练集进行一系列数据增强。实验结果表明,改进后的YOLOv4算法在测试集上精度比原始网络提高8.85%,速度提升2.24 frame/s,能够有效实现电力巡检中关键部件的识别及缺陷检测。     

结合高效通道注意模块的残差网络骨龄评估

本文针对现有骨龄评估数据集数据规模小,样本 分布不均匀以及现有方法评估准确度 较低的问题,提出了一种新的结合高效通道注意模块的残差网络骨龄评估模型。通过结合深 度残差网络和高效通道注意模块来提高卷积效率,并改进损失函数,缓解样本分布不均匀问 题的影响;然后运用迁移学习的方法微调训练骨龄评估模型,提高模型训练效率;最后引入 随机深度算法提高模型泛化能力。实验结果表明,该方法在RSNA数据集和DHA数据集上的平 均绝对误差分别 为4.69个月和5.98个月,当容忍度为12个月时,骨龄评估的准确率可以达到 98.36%和94.88%,说明本文方法能够明显地提高骨龄评估的准确率,一定程度上缓解数据规 模小和数据分布不均匀带来的影响。     

基于角度距离损失与小尺度核网络的表情识别

针对人脸表情类内差异大、类间相似度高导致识别率低的问题,提出了一种基于角度距离损失与小尺度核网络的表情识别方法.网络基于3×3卷积核,在网络中加入融合空间金字塔注意力的点积残差块,引入Dropblock正则化,并提出了低层特征掩膜化.该模型低层特征具备高层特征的语义信息,而且参数量较少,结构简单有效.训练时,使用提出的基于角度距离损失函数监督神经网络学习,提高了网络的类间特征分离和类内特征聚类的特征判别能力.实验结果表明,该方法在CK+和FER2013数据集上识别准确率分别达到了97.88％ 和72.81％,具有较强竞争力.此外,消融实验表明所提出的改进方法可提高表情识别率,进一步验证了其有效性.     

基于角度距离损失与小尺度核网络的表情识别

针对人脸表情类内差异大、类间相似度高导致识别率低的问题,提出了一种基于角度距离损失与小尺度核网络的表情识别方法.网络基于3×3卷积核,在网络中加入融合空间金字塔注意力的点积残差块,引入Dropblock正则化,并提出了低层特征掩膜化.该模型低层特征具备高层特征的语义信息,而且参数量较少,结构简单有效.训练时,使用提出的基于角度距离损失函数监督神经网络学习,提高了网络的类间特征分离和类内特征聚类的特征判别能力.实验结果表明,该方法在CK+和FER2013数据集上识别准确率分别达到了97.88％ 和72.81％,具有较强竞争力.此外,消融实验表明所提出的改进方法可提高表情识别率,进一步验证了其有效性.     

一种融合残差机制和注意力机制的深度语音去噪方法

针对深度网络模型进行端到端语音去噪时存在对 语音底层信息表示能力不足以及网 络只采用卷积级联的方式造成参数冗余的问题,提出了一种融合残差机制和注意力机制的生 成对抗网络去噪模型(Attention Res-UNetGAN)。模型在波形域对语音进行去噪,其生成网 络为U-Net结构,包含下采样层、中间层和上采样层。中间层为改进的嵌套残差模块(Resid ual-Residual Block,RRB),是由两块基础残差块进行残差拼接而形成的。对称的下采样 层 和上采样层之间采用注意力跳连和直接跳连进行连接。在VCTK(Voice Bank corpus)数据集 进行去噪后并经PESQ等六种客观语音质量评价指标进行评价,Attention Res-UNetGAN相比 原生成对抗网络模型各指标值平均提升了9.13%。     

基于U-Net网络改进算法的视网膜血管分割研究北大核心CSCD

针对视网膜图像血管细小,细节特征丢失、梯度下降、爆炸而导致分割效果差的问题,本文提出了一种引入残差块、循环卷积模块和空间通道挤压激励模块的U-Net视网膜血管图像分割模型。首先通过使用一系列随机增强来扩展训练集并对数据集进行预处理,然后在U-Net模型中引入残差块,避免随着网络深度增加,分割准确率达到饱和然后迅速退化以及优化计算成本;并将U-Net网络的底部替换为循环卷积模块,提取图像低层次的特征,并不断的进行特征积累,增强上下文之间的语义信息,获得更有效的分割模型;最后在卷积层之间嵌入空间通道挤压激励模块,通过找到特征较好的通道,强调这一通道,压缩不相关的通道使得网络模型能够加强关键语义特征信息的学习,通过训练过程学习到有效的特征信息,同时增强抗干扰能力。通过在DRIVE数据集上的验证结果可得,本文所提模型的准确率为98.42%,灵敏度达到了82.36%,特异值达到了98.86%。通过和其他网络分割方法比较,本文所提分割方法具有更优的分割效果。     

一种优化的卷积神经网络调制识别算法

针对非合作接收条件下信号的调制识别问题,提出了一种基于循环谱特征和深度卷积神经网络的自动调制分类算法。该算法首先利用二值化、形态学操作等技术对循环谱数据集预处理,提高网络泛化能力;然后将数据集输入到卷积神经网络模型中,经过网络的特征提取实现分类识别。在网络中添加残差块网络增大感受野,提高特征提取能力。采用Dropout、优化函数等技术优化网络结构,防止训练过拟合。仿真结果表示,与传统方法和现有的一些深度学习调制识别方法相比,该算法在低信噪比条件下有更高的准确率,具有明显的抗噪声优势,是一个有效的调制识别算法。     

Image super-resolution reconstruction based on improved Dirac residual network

In recent years, to improve the nonlinear feature mapping ability of the image super-resolution network, the depth of the convolutional neural network is getting deeper and deeper. In the existing residual network, the the residual block’s output and input are added directly through the skip connection to deepen the nonlinear mapping layer. However, it can not be proved that every addition is useful to improve the network’s performance. In this paper, based on Dirac convolution, an improved Dirac residual block is proposed, which uses the trainable parameters to adaptively control the balance of the convolution and the skip connection to increase the nonlinear mapping ability of the model. The main body network uses multiple Dirac residual blocks to learn the nonlinear mapping of high-frequency information between LR and HR images. In addition, the global skip connection is realized by sub-pixel convolution, which can learn to use linear mapping of low-frequency features of input LR image. In the training stage, the model uses Adam optimizer for network training and L1 as the loss function. The experiments compare our algorithm with some other state-of-the-art models in PSNR, SSIM, IFC, and visual effect on five different benchmark datasets. The results show that the proposed model has excellent performance both in subjective and objective evaluation.

     

基于体素化图卷积网络的三维点云目标检测方法

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。     

基于注意力机制与迁移学习的乳腺钼靶肿块分类

针对乳腺钼靶图像中良恶性肿块难以诊断的问题,提出一种基于注意力机制与迁移学习的乳腺钼靶肿块分类方法,并用于医学影像中乳腺钼靶肿块的良恶性分类。首先,构建一种新的网络模型,该模型将注意力机制CBAM(Convolutional Block Attention Module)与残差网络ResNet50相结合,用于提高网络对肿块病变特征的提取能力,增强特定语义的特征表示。其次,提出一种新的迁移学习方法,用切片数据集代替传统方法中作为迁移学习源域的ImageNet,完成局部肿块切片到全局乳腺图片的领域自适应学习,可用于提升网络对细节病理特征的感知能力。实验结果表明,所提方法在局部乳腺肿块切片数据集和全局乳腺钼靶数据集上的AUC(Area Under Receiver Operating Characteristics Curve)分别达到0.8607和0.8081。结果证实本文分类方法的有效性。     

基于可变形和深度可分离卷积的立体匹配

针对传统卷积神经网络(convolutional neural network, CNN)在立体匹配过程中存在信息 损失和耗时等问题,提出了基于可变形和深度可 分离卷积的立体匹配算法。在特征提取过程中,利用可变形卷积和可变形卷积核构建残差网 络,完成自适 应学习,扩大有效感受野,从而适应物体的不同形变,获取更详细的特征,减少信息损失, 提高了匹配精 度。在特征聚合阶段,采用深度可分离卷积构建深度可分离聚合网络,在空间维度和通道维 度分别进行卷 积运算,以降低参数量和计算复杂度,保证了匹配实时性。在相关的数据集上进行测试,实 验结果表明, 算法的网络运行时间缩短为1.60 s,在KITTI 2015和 KITTI 2012数据集上三像素错误率分别为2.84%和 2.79%,在SceneFlow数据集上端点误差为1.59 %。相比其他基准网络,减少了网络模型的运算量同时算法精度有很大提升。     

一种改进的LeNet网络

针对卷积神经网络中存在的学习效率低、收敛速度慢、训练时间长等问题,文中提出一种改进的LeNet卷积神经网络模型。该模型使用卷积核大小为3,步幅为2的卷积层代替原有的池化层,并在每层激活函数之前添加批量归一化层。在Mnist和Cifar-10数据集上放入实验证明,相比于传统的LeNet网络,所提出的卷积神经网络提高了分类准确率,并且具有更快的收敛速度及更短的训练时间。     

基于空谱注意力机制及预激活残差网络的高光谱图像分类算法

面向高光谱图像分类的许多深度学习算法中,由于提取的空谱特征表示鉴别性不足,其模型的分类性能有待提高。针对该问题,本文提出了一种基于空谱注意力机制及预激活残差网络的高光谱图像分类算法。首先,设计了基于空谱注意力机制的空谱特征提取模块,对空谱特征进行重校准,为空谱特征在后续联合学习时能专注于更具辨别力的通道和空间位置提供保证;其次,设计了基于预激活残差网络的空谱特征联合学习模块,其中预激活残差网络改进了原始残差构建块的网络结构,从而能在利用注意力机制重校准的空谱特征的联合学习时捕获更具鉴别性的深层空谱特征,以提高分类器的分类性能。实验结果表明,和已有的一些高光谱图像分类算法相比,所提出的算法的分类准确率更高,表明该算法能有效地获得判别能力更强的空谱特征表示。      

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降。文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差网络在训练时学习到的数据特征信息更加全面,训练后的模型也更加准确。仿真结果表明,改进后的算法比常规的神经网络算法表现更佳,分类准确度从92.05%提高到了96.18%。     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。