实时目标检测算法YOLO的批再规范化处理

针对实时目标检测YOLO(You Look Only Once)算法中存在的检测精度低和网络模型训练速度慢等问题,结合批再规范化算法处理小批样本以及非独立同分布数据的优势,提出了在YOLO网络结构加入批再规范化处理的改进算法。该YOLO改进算法把卷积层经过卷积运算产生的特征图看作一个个神经元,然后对这些神经元进行规范化处理。同时,在网络结构中移除了Dropout,并增大了网络训练的学习率。实验结果表明,该改进算法相对于原YOLO算法具有更高的检测精度、更快的实时检测速度以及通过适当设置批样本大小可使网络模型在训练时间和硬件设备方面成本有一定的降低。     

一种基于深度学习的改进人脸识别算法

针对当前许多算法在非约束条件下特征判别能力不强、人脸识别性能不佳等问题,提出一种基于深度学习的改进人脸识别算法,通过训练多任务级联卷积神经网络,完成非约束图像的人脸检测和人脸归一化,提高训练图像的人脸信息,减少对模型的干扰。同时使用Softmax损失与中心损失联合监督训练模型,优化类内聚合、类间分散。实验结果表明,该算法提高了模型的特征判别能力,在LFW标准测试集上达到了较高的识别率。     

一种基于深度学习的恶意软件家族分类模型

恶意软件的家族分类问题是网络安全研究中的重要课题,恶意软件的动态执行特征能够准确的反映恶意软件的功能性与家族属性。本文通过研究恶意软件调用Windows API的行为特点,发现恶意软件的恶意行为与序列前后向API调用具有一定的依赖关系,而双向LSTM模型的特征计算方式符合这样的依赖特点。通过设计基于双向LSTM的深度学习模型,对恶意软件的前后API调用概率关系进行了建模,经过实验验证,测试准确率达到了99.28%,所提出的模型组合方式对恶意软件调用系统API的行为具有良好的建模能力,为了深入的测试深度学习方法的分类性能,实验部分进一步设置了对抗样本实验,通过随机插入API序列的方式构造模拟对抗样本来测试原始参数模型的分类性能,对抗样本实验表明,深度学习方法相对某些浅层机器学习方法具有更高的稳定性。文中实验为深度学习技术向工业界普及提供了一定的参考意义。     

一种面向分布式深度学习系统的资源及批尺寸协同配置方法

如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以...     

一种改进GCN深度学习算法AGV视觉SALM的研究

本文针对人工特征提取算法在光照变化、尺度变化、图像旋转、噪声等条件下,影响特征匹配精度,匹配正确率下降,关键点重叠等问题.提出一种基于GCN深度学习算法改进的轻量级深度学习网络GCN-L,用于生成与ORB特征相同格式的关键点和描述子,完全可替代ORB特征在ORB-SLAM2中的功能,可在嵌入式低功耗平台下运行.并在视觉...     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据,然而获取大规模有标注的数据并不容易,成本昂贵且耗时;同时由于数据在不同场景下的分布有所不同,利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法,可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法,该算法以ResNet-50为骨干,通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签,然后进行自训练,最终实现对目标域样本准确分类,在Office-31数据集上的三组迁移学习任务中,平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数,且注重源域数据隐私,可移植性强,具有一定的实用价值。     

一种基于深度学习的图像分类算法研究

介绍了机器学习的基本概念和常见类别(有监督学习、无监督学习、强化学习),讲解了深度学习的概念,基本技术以及它与机器学习的关系,分析了基于神经网络的3层全连接网络对手写数字图片进行分类的算法,并对算法的性能进行评估.     

一种基于梯度的多智能体元深度强化学习算法

多智能体系统在自动驾驶、智能物流、医疗协同等多个领域中广泛应用,然而由于技术进步和系统需求的增加,这些系统面临着规模庞大、复杂度高等挑战,常出现训练效率低和适应能力差等问题。为了解决这些问题,将基于梯度的元学习方法扩展到多智能体深度强化学习中,提出一种名为多智能体一阶元近端策略优化（MAMPPO）方法,用于学习多智能体系统的初始模型参数,从而为提高多智能体深度强化学习的性能提供新的视角。该方法充分利用多智能体强化学习过程中的经验数据,通过反复适应找到在梯度下降方向上最敏感的参数并学习初始参数,使模型训练从最佳起点开始,有效提高了联合策略的决策效率,显著加快了策略变化的速度,面对新情况的适应速度显著加快。在星际争霸II上的实验结果表明,MAMPPO方法显著提高了训练速度和适应能力,为后续提高多智能强化学习的训练效率和适应能力提供了一种新的解决方法。     

ConvFNN:一种基于深度学习的个性化推荐算法

最近这几年,随着深度学习快速发展,在图像处理、自然语言处理等领域有了很多应用,而在推荐系统领域,深度学习的应用还不是很常见,并且现在传统的推荐算法也遇到了一些瓶颈,由于现在的评分数据非常稀疏,传统的矩阵分解模型,在一些评分预测领域效果不是很理想。本论文为了解决这些问题,提出一种基于深度学习的个性化推荐算法,考虑利用深度学习来解决评分预测不准的问题。     

一种深度学习的非机动车辆目标检测算法

针对道路交通场景目标检测问题,提出采用EdgeBoxes算法和深度学习融合的非机动车辆目标检测方法,利用深度学习目标分类算法Fast R-CNN,结合VOC格式的非机动车辆数据样本,把道路交通场景中的目标检测问题实化为自行车（bicycle）和电动车（evbike）的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域,和样本一起输入网络进行迭代训练,同时引入正则化思想和微调策略进行网络优化,降低网络复杂度并避免过拟合现象;网络训练后得到非机动车辆目标检测模型,对模型进行新样本测试并分析测试效果。在道路交通场景目标检测中,基于EdgeBoxes算法和优化Fast R-CNN融合的方法与传统方法相比,检测准确度稍有提高,运算量明显降低,检测速度加快近一倍。     

结合批归一化的多层感知机糖尿病预测诊断模型

糖尿病的早期发现,对成功控制、预防并发症,降低患病率具有重要意义.现有基于机器学习建立的糖尿病诊断模型,由于泛化能力不足而导致精度较低.为此,本文提出结合批归一化的多层感知机模型,保证模型中数据分布的一致性.基于PIMA数据集进行训练评估,实验结果表明该模型用于糖尿病早期识别泛化能力好、收敛速度快且有较高的准确率.     

深度学习批归一化及其相关算法研究进展

深度学习已经广泛应用到各个领域, 如计算机视觉和自然语言处理等, 并都取得了明显优于早期机器学习算法的效果. 在信息技术飞速发展的今天, 训练数据逐渐趋于大数据集, 深度神经网络不断趋于大型化, 导致训练越来越困难, 速度和精度都有待提升. 2013年, Ioffe等指出训练深度神经网络过程中存在一个严重问题: 中间协变量迁移(Internal covariate shift), 使网络训练过程对参数初值敏感、收敛速度变慢, 并提出了批归一化(Batch normalization, BN)方法, 以减少中间协变量迁移问题, 加快神经网络训练过程收敛速度. 目前很多网络都将BN作为一种加速网络训练的重要手段, 鉴于BN的应用价值, 本文系统综述了BN及其相关算法的研究进展. 首先对BN的原理进行了详细分析. BN虽然简单实用, 但也存在一些问题, 如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等, 于是很多学者相继提出了BN的各种相关结构与算法, 本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳. 然后对BN在各个神经网络领域的应用方法进行了概括总结, 并且对其他常用于提升神经网络训练性能的手段进行了归纳. 最后进行了总结, 并对BN的未来研究方向进行了展望.     

面向行人重识别的多域批归一化问题研究

近年来基于深度神经网络的行人重识别算法取得了长足的进步,被广泛应用于网络中的批归一化(batch normalization)模块发挥着重要作用.批归一化模块在多数情况下可有效提高网络收敛速度和训练稳定性,然而当多个独立标注的数据库混合在一块进行跨域或者多域训练时,数据之间的分布差异使得目前的批归一化算法工作逻辑存疑....     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用.然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高.最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2％.为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的...     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题.伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果.然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度...     

基于微粒群优化算法的间歇过程迭代学习

在实际的间歇过程优化控制中面临着模型参数不确定性的问题,并且基于梯度的优化控制技术在处理具有多个局部极值的目标函数时,往往会陷入局部极值点.针对该问题,提出一种基于微粒群优化算法的间歇过程产品质量迭代学习策略.结合间歇过程产品质量控制问题的特点和各种约束条件,利用微粒群优化算法在非线性问题求解及大尺度空间搜索上的优势,...     

A Batch Learning Vector Quantization Algorithm for Nearest Neighbour Classification

We introduce a batch learning algorithm to design the set of prototypes of 1 nearest-neighbour classifiers. Like Kohonen's LVQ algorithms, this procedure tends to perform vector quantization over a probability density function that has zero points at Bayes borders. Although it differs significantly from their online counterparts since: (1) its statistical goal is clearer and better defined; and (2) it converges superlinearly due to its use of the very fast Newton's optimization method. Experiments results using artificial data confirm faster training time and better classification performance than Kohonen's LVQ algorithms.     

基于改进深度度量学习算法的表面缺陷检测

为了解决小批量、多品种工业产品的表面质量检测问题,提出一种基于改进深度度量学习的缺陷检测算法.该算法对VGG16网络模型做改进,更有利于原始图像的隐空间映射.针对产品表面缺陷检测的任务,提出条件三元组损失函数以加强神经网络的拟合能力.同时,在隐空间中进行缺陷判定时,抛弃原始度量学习中基于KNN算法的归类方法,提出基于高...     

解决深度探索问题的贝叶斯深度强化学习算法

在强化学习领域,如何平衡探索与利用之间的关系是一个难题。近几年提出的强化学习方法主要关注如何结合深度学习技术来提高算法的泛化能力,却忽略探索利用困境这一问题。传统的强化学习方法可以有效解决探索问题,但存在着一定的限制条件:马尔可夫决策过程的状态空间必须是离散并有限的。提出通过贝叶斯方法来提高深度强化算法的探索效率,并将贝叶斯线性回归中计算参数后验分布的方法扩展到人工神经网络等非线性模型中,通过结合Bootstrapped DQN和提出的计算方法得到了贝叶斯自举深度Q网络算法(BBDQN)。最后用两个环境下的实验表明了BBDQN在面对深度探索问题时的探索效率要优于DQN以及Bootstrapped DQN。