实时目标检测算法YOLO的批再规范化处理

针对实时目标检测YOLO(You Look Only Once)算法中存在的检测精度低和网络模型训练速度慢等问题,结合批再规范化算法处理小批样本以及非独立同分布数据的优势,提出了在YOLO网络结构加入批再规范化处理的改进算法。该YOLO改进算法把卷积层经过卷积运算产生的特征图看作一个个神经元,然后对这些神经元进行规范化处理。同时,在网络结构中移除了Dropout,并增大了网络训练的学习率。实验结果表明,该改进算法相对于原YOLO算法具有更高的检测精度、更快的实时检测速度以及通过适当设置批样本大小可使网络模型在训练时间和硬件设备方面成本有一定的降低。     

一种基于深度学习的改进人脸识别算法

针对当前许多算法在非约束条件下特征判别能力不强、人脸识别性能不佳等问题,提出一种基于深度学习的改进人脸识别算法,通过训练多任务级联卷积神经网络,完成非约束图像的人脸检测和人脸归一化,提高训练图像的人脸信息,减少对模型的干扰。同时使用Softmax损失与中心损失联合监督训练模型,优化类内聚合、类间分散。实验结果表明,该算法提高了模型的特征判别能力,在LFW标准测试集上达到了较高的识别率。     

一种基于深度学习的恶意软件家族分类模型

恶意软件的家族分类问题是网络安全研究中的重要课题,恶意软件的动态执行特征能够准确的反映恶意软件的功能性与家族属性。本文通过研究恶意软件调用Windows API的行为特点,发现恶意软件的恶意行为与序列前后向API调用具有一定的依赖关系,而双向LSTM模型的特征计算方式符合这样的依赖特点。通过设计基于双向LSTM的深度学习模型,对恶意软件的前后API调用概率关系进行了建模,经过实验验证,测试准确率达到了99.28%,所提出的模型组合方式对恶意软件调用系统API的行为具有良好的建模能力,为了深入的测试深度学习方法的分类性能,实验部分进一步设置了对抗样本实验,通过随机插入API序列的方式构造模拟对抗样本来测试原始参数模型的分类性能,对抗样本实验表明,深度学习方法相对某些浅层机器学习方法具有更高的稳定性。文中实验为深度学习技术向工业界普及提供了一定的参考意义。     

一种面向分布式深度学习系统的资源及批尺寸协同配置方法

如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以...     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据,然而获取大规模有标注的数据并不容易,成本昂贵且耗时;同时由于数据在不同场景下的分布有所不同,利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳.迁移学习作为一种将知识从一个领域转移到另一个领域的方法,可以解决上述问题.深度迁移学习则是在深度学习框架下实现迁移学习的方法.提出一种基于伪标签的深度迁移学习算法,该算法以ResNet-50 为骨干,通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签,然后进行自训练,最终实现对目标域样本准确分类,在Office-31 数据集上的三组迁移学习任务中,平均准确率较传统算法提升 5.0%.该算法没有引入任何额外网络参数,且注重源域数据隐私,可移植性强,具有一定的实用价值.     

一种改进GCN深度学习算法AGV视觉SALM的研究

本文针对人工特征提取算法在光照变化、尺度变化、图像旋转、噪声等条件下,影响特征匹配精度,匹配正确率下降,关键点重叠等问题.提出一种基于GCN深度学习算法改进的轻量级深度学习网络GCN-L,用于生成与ORB特征相同格式的关键点和描述子,完全可替代ORB特征在ORB-SLAM2中的功能,可在嵌入式低功耗平台下运行.并在视觉...     

一种基于深度学习的图像分类算法研究

介绍了机器学习的基本概念和常见类别(有监督学习、无监督学习、强化学习),讲解了深度学习的概念,基本技术以及它与机器学习的关系,分析了基于神经网络的3层全连接网络对手写数字图片进行分类的算法,并对算法的性能进行评估.     

FedRCD:一种基于分布提取与社区检测的聚类联邦学习算法

将客户端聚类并在簇内进行联邦学习是缓解传统联邦学习算法在非独立同分布(Non-IID)数据场景下表现不佳的一类有效方法。这类方法大多使用客户端本地模型的参数来表征数据特性,并利用参数间的“距离”来评估相似性,从而实现客户端的聚类,但由于神经网络神经元的置换不变性,聚类效果可能会不准确。此外,这类方法通常需要预设聚类数量,可能产生不合理的聚类,或者需要在算法迭代过程中进行聚类,这将带来过大的通信开销。在深入分析了现有方法的缺点之后,提出了一种新颖的联邦学习算法FedRCD。该算法结合了自编码器和K-Means算法,直接从客户端提取数据集的分布信息来描述其特性,从而降低了对模型参数的依赖;FedRCD还将客户端关系组织成图结构,并通过Louvain算法完成客户端聚类关系的构建,这个过程无需预设聚类数量,因此聚类结果更加合理。实验结果表明,FedRCD能更有效地挖掘客户端间的潜在聚类关系,在多种非独立同分布数据场景下,与其他联邦学习算法相比,显著提升了神经网络的训练效果。在CIFAR10数据集上,FedRCD的准确率比经典的FedAvg算法提高了37.08%,比最新发布的FeSEM算法也提高了1.89%,同时展现出更优秀的公平性表现。     

一种基于梯度的多智能体元深度强化学习算法

多智能体系统在自动驾驶、智能物流、医疗协同等多个领域中广泛应用,然而由于技术进步和系统需求的增加,这些系统面临着规模庞大、复杂度高等挑战,常出现训练效率低和适应能力差等问题。为了解决这些问题,将基于梯度的元学习方法扩展到多智能体深度强化学习中,提出一种名为多智能体一阶元近端策略优化（MAMPPO）方法,用于学习多智能体系统的初始模型参数,从而为提高多智能体深度强化学习的性能提供新的视角。该方法充分利用多智能体强化学习过程中的经验数据,通过反复适应找到在梯度下降方向上最敏感的参数并学习初始参数,使模型训练从最佳起点开始,有效提高了联合策略的决策效率,显著加快了策略变化的速度,面对新情况的适应速度显著加快。在星际争霸II上的实验结果表明,MAMPPO方法显著提高了训练速度和适应能力,为后续提高多智能强化学习的训练效率和适应能力提供了一种新的解决方法。     

结合批归一化的多层感知机糖尿病预测诊断模型

糖尿病的早期发现,对成功控制、预防并发症,降低患病率具有重要意义.现有基于机器学习建立的糖尿病诊断模型,由于泛化能力不足而导致精度较低.为此,本文提出结合批归一化的多层感知机模型,保证模型中数据分布的一致性.基于PIMA数据集进行训练评估,实验结果表明该模型用于糖尿病早期识别泛化能力好、收敛速度快且有较高的准确率.     

改进型的batch normalization:BNalpha

针对提高卷积神经网络(convolutional neural network,CNN)在图像识别方向的训练速度和识别准确率进行了研究.从BN(batch normalization)着手,通过新增参数对BN的仿射变换进行具体调节,并提出一种改进型的BN——BNalpha.除去带有某些特定结构的神经网络,相对于原始的BN,BNalpha可以在不增加运算复杂度的前提下,提升神经网络的训练速度和识别准确度.通过对BN仿射变换的参数进行分析和对比,尝试解释BN在网络中的运行机理,并以此说明BNalpha相对于BN的改进为何生效.最后通过CIFAR-10和CIFAR-100数据集以及不同类型的卷积神经网络结构对BNalpha和BN进行对比实验分析,实验结果表明BNalpha能够进一步提升训练速度和识别准确度.     

基于改进的深度卷积神经网络的人体动作识别方法

针对现有的动作识别算法的特征提取复杂、识别率低等问题,提出了基于批归一化变换(batch normalization)与GoogLeNet网络模型相结合的网络结构,将图像分类领域的批归一化思想应用到动作识别领域中进行训练算法改进,实现了对视频动作训练样本的网络输入进行微批量(mini-batch)归一化处理。该方法以RGB图像作为空间网络的输入,光流场作为时间网络输入,然后融合时空网络得到最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了93.50%和68.32%的准确率。实验结果表明,改进的网络架构在视频人体动作识别问题上具有较高的识别准确率。     

面向行人重识别的多域批归一化问题研究

近年来基于深度神经网络的行人重识别算法取得了长足的进步,被广泛应用于网络中的批归一化(batch normalization)模块发挥着重要作用.批归一化模块在多数情况下可有效提高网络收敛速度和训练稳定性,然而当多个独立标注的数据库混合在一块进行跨域或者多域训练时,数据之间的分布差异使得目前的批归一化算法工作逻辑存疑....     

批量正则化DBN分类方法研究

针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题,提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理;并将处理后的特征输入到非线性变换激活层中;最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性,有效解决了因网络参数变化而造成的激活函数值分布变化的问题,提高了训练效率。为了检验所提出方法的有效性,选取MNIST手写体数据库和USPS手写数字识别库进行测试,通过与Dropout-DBN、DBN、ANN、SVM、KNN对比,结果表明,提出的方法分类准确率明显提高,具有更强的特征提取能力。     

卷积神经网络的多字体汉字识别

目的 多字体的汉字识别在中文自动处理及智能输入等方面具有广阔的应用前景,是模式识别领域的一个重要课题。近年来,随着深度学习新技术的出现,基于深度卷积神经网络的汉字识别在方法和性能上得到了突破性的进展。然而现有方法存在样本需求量大、训练时间长、调参难度大等问题,针对大类别的汉字识别很难达到最佳效果。方法 针对无遮挡的印刷及手写体汉字图像,提出了一种端对端的深度卷积神经网络模型。不考虑附加层,该网络主要由3个卷积层、2个池化层、1个全连接层和一个Softmax回归层组成。为解决样本量不足的问题,提出了综合运用波纹扭曲、平移、旋转、缩放的数据扩增方法。为了解决深度神经网络参数调整难度大、训练时间长的问题,提出了对样本进行批标准化以及采用多种优化方法相结合精调网络等策略。结果 实验采用该深度模型对国标一级3 755类汉字进行识别,最终识别准确率达到98.336%。同时通过多组对比实验,验证了所提出的各种方法对改善模型最终效果的贡献。其中使用数据扩增、使用混合优化方法和使用批标准化后模型对测试样本的识别率分别提高了8.0%、0.3%和1.4%。结论 与其他文献中利用手工提取特征结合卷积神经网络的方法相比,减少了人工提取特征的工作量;与经典卷积神经网络相比,该网络特征提取能力更强,识别率更高,训练时间更短。     

结合Inception模型的卷积神经网络图像去噪方法

为更有效地去除图像中的噪声,提出一种结合Inception 模型的深度卷积神经网络(Convolutional Neural Network,CNN)图像去噪方法,以完整图像作为输入和输出,利用Inception 结构密集提取原始图像和噪声多个不同空间尺度的特征,并采用多种调优策略,增强网络的整体学习能力。为避免梯度消失,使用线性修正单元(Rectified Linear Unit,ReLU)激活函数;为加速网络的训练,增加批量规范化(Batch Normalization,BN)操作;加入跳跃结构进行残差学习(Residual Learning,RL),提升网络的去噪性能。基于公共数据集BSDS300 的三种高斯噪声等级实验结果表明,与其他图像去噪方法相比,模型在降低计算复杂度、提高收敛速度的同时,视觉效果更好,平均峰值信噪比(Peak Signal to Noise Ratio,PSNR)提升了约1.28 dB。     

基于深度卷积神经网络的快速图像分类算法

为了应对大量图像的分类问题,提出一种基于深度卷积神经网络和CUDA-cuDNN并行运算的快速图像分类方法。该方法利用深度卷积神经网络自动学习特征的优势来解决手工设计特征普适性差等问题,同时结合基于CUDA架构的cuDNN并行运算策略来提高训练速度和加快分类速度,并且针对深度卷积神经网络易受参数扰动等缺点,引入批量正则化（Batch Normalization）以提高算法的鲁棒性。实验结果表明,该方法不仅大幅缩短了训练时间同时加快了图像的分类速度,而且进一步降低了图像分类的错误率。     

基于Adam-BNDNN的网络入侵检测模型

针对传统入侵检测算法检测精度低、误报率高等问题,提出了一种融合批量规范化和深度神经网络的网络入侵检测模型。该模型首先在深度神经网络隐藏层添加批量规范化层,优化隐藏层的输出结果,然后采用Adam自适应梯度下降优化算法对BNDNN参数进行自动优化,提高模型检测能力。并使用NSL-KDD数据集进行仿真实验,结果表明该模型的检测效果优于SNN、KNN、DNN等检测方法;整体检测率可达99.41%,整体误报率为0.59%,证明了模型的可行性。