基于自适应梯度优化的二值神经网络

二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似（Straight-Through Estimator）和S型近似（Sigmoid）等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题：（1）由于松弛函数和量化算子的差异导致的梯度失配;（2）由于激活值饱和引起的梯度消失.量化函数自身的特性使二值网络梯度的准确性和有效性无法同时保证.本文提出了基于自适应梯度优化的二值神经网络（Adaptive Gradient based Binary Neural Networks,AdaBNN）,其通过自适应地寻找梯度准确性和有效性之间的最佳平衡来解决梯度失配和梯度消失的问题.具体而言,本文从理论上证明了梯度准确性和有效性之间的矛盾,并通过比较松弛梯度的范数和松弛梯度与真实梯度之间的差距,构建了这一平衡的度量标准.因此,二值神经网络能根据所提出的度量调整松弛函数,从而得到有效训练.在ImageNet数据集上的实验表明,本文的方法相较于被广泛使用的BNN网络将top-1准确率提升了17.1%.     

基于深度卷积神经网络的人脸年龄分类

人脸包含了较多的可区分生物特征信息,这些信息除了可用于身份认证和识别外,还可用于人脸年龄分类等应用.为克服人脸所表征年龄信息会受到复杂的非线性因素例如个体的基因差异、居住环境、健康情况和种族差别等因素的影响,本文使用深度卷积神经网络,通过设计一系列的卷积、池化、全连接和归一化层,对人脸的年龄进行了有效地分类.本算法能克服传统SVM分类算法不能有效处理人脸图像和实际年龄间复杂的非线性关系而带来的准确率下降问题,在FG-NET人脸数据测试集上达到了94.4％的准确率,能有效地应用在安防、人机交互和娱乐影音等领域.     

基于稀疏卷积核的卷积神经网络研究及其应用

针对卷积神经网络训练图像数据时,其学习到的卷积核是杂乱无章,没有规则的,提出了基于稀疏卷积核的卷积神经网络算法。该方法通过对平方误差代价函数加入稀疏约束项,在反向传播中修正卷积核时,使其学习到的部分卷积核近似于一阶微分梯度算子,即学习到的卷积核中部分值是0或者趋于0,可更好地来提取图像边缘特征。通过对手语图像数据及车牌图像数据进行训练的实验结果显示,其学习到的部分卷积核具有近似一阶微分的模板形式;并且相对经典卷积神经网络,该算法的识别正确率有所提高。     

基于深度卷积神经网络的图像分类识别方法

图像分类是通过图片所给的特征信息将不同的事物进行识别的一种图像处理技术。随着科学技术的快速发展以及人们对生活质量越来越高的需求,图像的自动分类技术已经运用到各个发展领域当中。当我们在图像上进行分类操作时,传统的图像分类方法由于不能准确掌握识别对象之间的内在联系,同时传统方法也因数据的特征性维度太高而导致识别对象的特征表达受到限制,所以取得的实验结果并不理想。针对以上内容文章提出了一种基于卷积神经网络的图像检测方法,该实验的算法主要借鉴了深度学习及卷积神经网络。与以往的传统图像分类方法不同,深度卷积神经网络模型可以同时进行特征学习和图像分类。通过对实验的各个部分结构进行改进和对卷积神经网络模型进行优化,从而防止过拟合现象,继而提高图像检测的准确度,在CIFAR-10数据库上进行的实验表明,该方法改进后的深度学习模型在图像检测方面取得了有效的结果。     

基于卷积神经网络的人脸识别

随着科技的发展人脸识别技术得到了巨大的应用,实现人脸识别的方法也越来越多,本文先简单对比了MLP、RNN、CNN这三个神经网络,然后再对CNN的基础结构进行了一个较为详细的介绍,主要通过对LeNet-5卷积神经网络模型结构的分析来了解卷积神经网络,然后设计了一款针对Olivetti Faces人脸数据库的卷积神经网络模型,通过更改卷积层中卷积核个数以及学习速率来进行一系列实验,最终确定在本次实验当中,当学习速率为0.05时,第一层卷积层卷积核数目为20,第二层卷积层数目为40的时候,能够得到一个针对Olivetti Faces人脸数据库有着较高识别率的一个新的卷积神经网络模型。     

基于多尺度卷积神经网络模型的手势图像识别

为了解决目前利用CNN算法进行手势识别的精度不高的问题,提出一种新的算法。首先对识别的手势图片进行二值化处理,滤除手势的背景,凸显手势在图像中的权重,背景对手势识别影响降低。其次,在经典卷积神经网络模型AlexNet的基础上,提出一种多尺度卷积核的改进卷积神经网络模型。改进卷积神经网络模型采取两种卷积核进行手势特征提取,利用多尺度卷积核和双通道进行特征融合,然后利用在不同角度,不同旋转下拍摄的手势图像数据集对改进模型进行实验验证。研究结果表明,提出的算法模型在不同的角度和不同的旋转情况下对手势图像具有较高的识别率,算法的鲁棒性、识别率方面有了明显的提高。     

基于卷积神经网络的CT图自动检测深度学习

针对肺结节良恶性诊断的难度,采用自定义卷积神经网络对其进行建模分析。通过多次实验分析,构建得到了可以实现7层肺结节检测的卷积神经网络模型,在每层中都含有训练参数,得到13×13的卷积核。测试肺结节的算法通过4个指标进行评价,分别为准确性和特异性、敏感性和假阳率。PndCnn-7参数优化结果得到,学习率lr介于[0. 4,1. 05]范围内,需要处理的批次达到最少0. 75。13×13卷积核能够实现网络的快速收敛,并且不会引起震荡的现象。当epoch增大至50,则会引起误差的明显减小,使网络达到良好的收敛状态。     

基于卷积神经网络Caffe框架的图像分类

2013年贾扬清博士在Github上发布了一款深度学习框架Caffe,为众多研究人员和工程师们提供了一套简单易用且性能强大的深度学习开源框架。本文首先对Caffe框架简单介绍,其次阐述深度学习中应用的卷积神经网络原理,最后介绍如何利用Caffe框架进行图像分类。     

基于卷积神经网络的调制样式识别研究

自动调制样式识别分类是解调前的重要步骤,在频谱管理、认知无线电、智能调制解调器、监视和干扰识别等许多应用中发挥着重要作用。深度学习具有强大的分类能力,基于深度学习中的卷积神经网络,将映射成星座图的具有不同调制样式的通信信号馈送进神经网络,从而达到通信信号调试样式识别分类的目的。基于实验目的,提出一种改进的卷积神经网络结构可实现对七种不同的调制样式的分类,在信噪比≥5dB时,识别率可达97.99%,信噪比≥9dB时,识别率可达100%。     

基于卷积神经网络的图像分类及应用

当前的目标检测在更换检测目标时就必须重新训练卷积神经网络模型,这使得更换检测目标花费时间变多,训练成本增加,且人员对模型的了解程度要求也提高.针对此问题提出了运用卷积神经网络图像分类的方法,首先对检测目标的各个检测状态进行分类,然后运用卷积神经网络图像分类模型对输入图像实时进行图像分类,最后通过分类出来的图像类别来判断...     

基于卷积神经网络的肺部CT图像分类算法研究

对医学CT图像进行高效精确地自动分类可以有效帮助医生减轻工作负担,切实提升医生对患者病情诊断的效率,应对现今医院CT图像数量迅速增长而相关医务人员严重缺乏的问题。卷积神经网络自提出以来,已被广泛应用于各种图像分类任务中。为切实提高肺部CT图像分类任务的准确率与速度,文中具体分析了VGG16网络模型的结构以及将其应用于肺结节CT图像分类任务中的优劣势。通过实验对比,验证了迁移学习的VGG16和基于VGG16改进的模型对肺部CT图像分类任务的有效性。     

基于深度卷积神经网络算法改进

深度卷积神经网络在近年发展迅速,特别是在深度学习被提出来后。但在真实的人脸检测中,大的视觉变化,如背景,照明等,需要一种精确的判别模型来区分人脸和背景。于是,本文给出基于深度卷积网络算法的改进。     

基于卷积神经网络的卫星遥感图像区域识别

为了提高卫星遥感图像的识别与分类效果,提出一种基于卷积神经网络的卫星遥感图像识别与分类方法。该方法通过导向滤波去雾和旋转图像数据提高了模型的泛化能力,同时采用了双全连接层网络结构增强了模型数据表达能力。实验证明,该方法在卫星遥感图像的识别与分类上优于传统图像识别方法和一般卷积神经网络模型。     

基于卷积神经网络的图像识别算法研究

针对深度学习下的图像识别技术,研究了图像识别和卷积神经网络的工作原理。分析了AlexNet模型、ResNet模型、MobileNet模型的卷积神经网络模型,以及三种算法模型的各自特点,实现了深度学习环境的搭建,通过实验对比三个模型的分类准确率和训练效率,为深度学习下的图像识别算法研究提供参考。     

改进型卷积神经网络焊点缺陷识别算法研究

为了同时对多种焊点缺陷类型进行快速识别,解决现有焊接异常图像识别算法误检率与漏检率偏高的问题,设计了基于改进型卷积神经网络的深度学习算法。利用自组织映射分类技术,提高了卷积神经网络的数据选择自适应性,结合自适应矩估计分析, 约束了焊接异常图像中特征集合的收敛条件。实验中将5种常见焊接异常图像以等比例随机分布的形式放入训练集、验证集和测试集中,再分别用传统识别算法(canny算法和k均值算法)和该算法进行测试。结果表明,对于桥连缺陷,3种方法均无误检、无漏检;对于小球缺陷,3种方法均符合要求,而canny算法的检出能力最优;对于偏球缺陷, 3种算法的误检率分别是12.4%, 7.3%和与1.4%,漏检率分别是13.3%, 6.5%和1.1%;对于虚焊和少锡缺陷,该算法相比传统算法精度高约1个数量级。该算法在对多种焊点缺陷类型识别中具有明显优势。     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。     

卷积神经网络综述

近年来随着深度学习的发展,图像识别与分类问题取得了飞速进展.而在深度学习的研究领域中,卷积神经网络被广泛应用于图像识别.文章对前人在卷积神经网络领域的研究成果进行了梳理与总结.首先介绍了深度学习的发展背景,然后介绍了一些常见卷积网络的模型,并对其中的微网络结构进行简述,最后对卷积神经网络的发展趋势与特点进行分析与总结....     

卷积神经网络模型分析

随着深度学习概念的提出,深层神经网络成为机器学习的一个研究方向。在众多的神经网络模型中,卷积神经网络由于具有权值共享、局部感受野、降维等特点,取得了较好的应用成果。卷积神经网络结构包括输入层、卷积层、下采样层、全连接层、输出层,当前层的输出经过激活函数作用后成为下一层的输入。文章对卷积网络的数学模型进行详细推理,采用Python编码实现了深层卷积网络,分别在MNIST和CIFAR-10数据集上进行了测试。实验结果表明,无论是灰度图像还是彩色图像,卷积神经网络都具有较好的识别效果。