基于自适应梯度优化的二值神经网络

二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似（Straight-Through Estimator）和S型近似（Sigmoid）等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题：（1）由于松弛函数和量化算子的差异导致的梯度失配;（2）由于激活值饱和引起的梯度消失.量化函数自身的特性使二值网络梯度的准确性和有效性无法同时保证.本文提出了基于自适应梯度优化的二值神经网络（Adaptive Gradient based Binary Neural Networks,AdaBNN）,其通过自适应地寻找梯度准确性和有效性之间的最佳平衡来解决梯度失配和梯度消失的问题.具体而言,本文从理论上证明了梯度准确性和有效性之间的矛盾,并通过比较松弛梯度的范数和松弛梯度与真实梯度之间的差距,构建了这一平衡的度量标准.因此,二值神经网络能根据所提出的度量调整松弛函数,从而得到有效训练.在ImageNet数据集上的实验表明,本文的方法相较于被广泛使用的BNN网络将top-1准确率提升了17.1%.     

基于深度卷积神经网络的人脸年龄分类

人脸包含了较多的可区分生物特征信息,这些信息除了可用于身份认证和识别外,还可用于人脸年龄分类等应用.为克服人脸所表征年龄信息会受到复杂的非线性因素例如个体的基因差异、居住环境、健康情况和种族差别等因素的影响,本文使用深度卷积神经网络,通过设计一系列的卷积、池化、全连接和归一化层,对人脸的年龄进行了有效地分类.本算法能克服传统SVM分类算法不能有效处理人脸图像和实际年龄间复杂的非线性关系而带来的准确率下降问题,在FG-NET人脸数据测试集上达到了94.4％的准确率,能有效地应用在安防、人机交互和娱乐影音等领域.     

基于稀疏卷积核的卷积神经网络研究及其应用

针对卷积神经网络训练图像数据时,其学习到的卷积核是杂乱无章,没有规则的,提出了基于稀疏卷积核的卷积神经网络算法。该方法通过对平方误差代价函数加入稀疏约束项,在反向传播中修正卷积核时,使其学习到的部分卷积核近似于一阶微分梯度算子,即学习到的卷积核中部分值是0或者趋于0,可更好地来提取图像边缘特征。通过对手语图像数据及车牌图像数据进行训练的实验结果显示,其学习到的部分卷积核具有近似一阶微分的模板形式;并且相对经典卷积神经网络,该算法的识别正确率有所提高。     

基于轻量化二值神经网络的钢铁表面缺陷分类

基于二值化网络提出了轻量二值化钢铁缺陷分类网络（Lightweight Binarized Steel Defect Classification Network,LBSDC?Net）,以期实现实时高精度的钢铁缺陷自动分类。首先,基于可变阈值符号函数和组卷积的理念,设计了双阈值型组卷积模块,以在压缩网络模型的同时最小化二值组卷积引起的信息损失,将基础网络模型大小降低了31.2%,精度仅下降0.34%;其次,通过调整下采样卷积的步长并结合最大池化,降低了残差网络中捷径分支下采样时的信息损失,提升了网络的分类性能;在NEU?CLS钢铁缺陷数据集上的实验结果表明,网络模型大小为11.86 MBit时,LBSDC?Net网络在钢铁缺陷分类任务中准确率达到99.06%。相较于基础网络Bi?Real?Net 98.73%的准确率和17.23 MBit的网络模型大小,LBSDC?Net实现了网络规模的有效压缩,还提升了分类精度。     

基于深度卷积神经网络的图像分类识别方法

图像分类是通过图片所给的特征信息将不同的事物进行识别的一种图像处理技术。随着科学技术的快速发展以及人们对生活质量越来越高的需求,图像的自动分类技术已经运用到各个发展领域当中。当我们在图像上进行分类操作时,传统的图像分类方法由于不能准确掌握识别对象之间的内在联系,同时传统方法也因数据的特征性维度太高而导致识别对象的特征表达受到限制,所以取得的实验结果并不理想。针对以上内容文章提出了一种基于卷积神经网络的图像检测方法,该实验的算法主要借鉴了深度学习及卷积神经网络。与以往的传统图像分类方法不同,深度卷积神经网络模型可以同时进行特征学习和图像分类。通过对实验的各个部分结构进行改进和对卷积神经网络模型进行优化,从而防止过拟合现象,继而提高图像检测的准确度,在CIFAR-10数据库上进行的实验表明,该方法改进后的深度学习模型在图像检测方面取得了有效的结果。     

基于卷积神经网络的人脸识别

随着科技的发展人脸识别技术得到了巨大的应用,实现人脸识别的方法也越来越多,本文先简单对比了MLP、RNN、CNN这三个神经网络,然后再对CNN的基础结构进行了一个较为详细的介绍,主要通过对LeNet-5卷积神经网络模型结构的分析来了解卷积神经网络,然后设计了一款针对Olivetti Faces人脸数据库的卷积神经网络模型,通过更改卷积层中卷积核个数以及学习速率来进行一系列实验,最终确定在本次实验当中,当学习速率为0.05时,第一层卷积层卷积核数目为20,第二层卷积层数目为40的时候,能够得到一个针对Olivetti Faces人脸数据库有着较高识别率的一个新的卷积神经网络模型。     

基于多尺度卷积神经网络模型的手势图像识别

为了解决目前利用CNN算法进行手势识别的精度不高的问题,提出一种新的算法。首先对识别的手势图片进行二值化处理,滤除手势的背景,凸显手势在图像中的权重,背景对手势识别影响降低。其次,在经典卷积神经网络模型AlexNet的基础上,提出一种多尺度卷积核的改进卷积神经网络模型。改进卷积神经网络模型采取两种卷积核进行手势特征提取,利用多尺度卷积核和双通道进行特征融合,然后利用在不同角度,不同旋转下拍摄的手势图像数据集对改进模型进行实验验证。研究结果表明,提出的算法模型在不同的角度和不同的旋转情况下对手势图像具有较高的识别率,算法的鲁棒性、识别率方面有了明显的提高。     

基于卷积神经网络的CT图自动检测深度学习

针对肺结节良恶性诊断的难度,采用自定义卷积神经网络对其进行建模分析。通过多次实验分析,构建得到了可以实现7层肺结节检测的卷积神经网络模型,在每层中都含有训练参数,得到13×13的卷积核。测试肺结节的算法通过4个指标进行评价,分别为准确性和特异性、敏感性和假阳率。PndCnn-7参数优化结果得到,学习率lr介于[0. 4,1. 05]范围内,需要处理的批次达到最少0. 75。13×13卷积核能够实现网络的快速收敛,并且不会引起震荡的现象。当epoch增大至50,则会引起误差的明显减小,使网络达到良好的收敛状态。     

基于图像偏移角和多分支卷积神经网络的旋转不变模型设计

卷积神经网络(CNN)具有平移不变性,但缺乏旋转不变性。近几年,为卷积神经网络进行旋转编码已成为解决这一技术痛点的主流方法,但这需要大量的参数和计算资源。鉴于图像是计算机视觉的主要焦点,该文提出一种名为图像偏移角和多分支卷积神经网络(OAMC)的模型用于实现旋转不变。首先检测输入图像的偏移角,并根据偏移角反向旋转图像;将旋转后的图像输入无旋转编码的多分支结构卷积神经网络,优化响应模块,以输出最佳分支作为模型的最终预测。OAMC模型在旋转后的手写数字数据集上以最少的8 k参数量实现了96.98%的最佳分类精度。与在遥感数据集上的现有研究相比,模型仅用前人模型的1/3的参数量就可将精度最高提高8%。     

基于卷积神经网络的图像分类及应用

当前的目标检测在更换检测目标时就必须重新训练卷积神经网络模型,这使得更换检测目标花费时间变多,训练成本增加,且人员对模型的了解程度要求也提高.针对此问题提出了运用卷积神经网络图像分类的方法,首先对检测目标的各个检测状态进行分类,然后运用卷积神经网络图像分类模型对输入图像实时进行图像分类,最后通过分类出来的图像类别来判断...     

基于卷积神经网络Caffe框架的图像分类

2013年贾扬清博士在Github上发布了一款深度学习框架\"Caffe\",为众多研究人员和工程师们提供了一套简单易用且性能强大的深度学习开源框架。本文首先对Caffe框架简单介绍,其次阐述深度学习中应用的卷积神经网络原理,最后介绍如何利用Caffe框架进行图像分类。     

基于卷积神经网络的调制样式识别研究

自动调制样式识别分类是解调前的重要步骤,在频谱管理、认知无线电、智能调制解调器、监视和干扰识别等许多应用中发挥着重要作用。深度学习具有强大的分类能力,基于深度学习中的卷积神经网络,将映射成星座图的具有不同调制样式的通信信号馈送进神经网络,从而达到通信信号调试样式识别分类的目的。基于实验目的,提出一种改进的卷积神经网络结构可实现对七种不同的调制样式的分类,在信噪比≥5dB时,识别率可达97.99%,信噪比≥9dB时,识别率可达100%。     

基于卷积神经网络的肺部CT图像分类算法研究

对医学CT图像进行高效精确地自动分类可以有效帮助医生减轻工作负担,切实提升医生对患者病情诊断的效率,应对现今医院CT图像数量迅速增长而相关医务人员严重缺乏的问题。卷积神经网络自提出以来,已被广泛应用于各种图像分类任务中。为切实提高肺部CT图像分类任务的准确率与速度,文中具体分析了VGG16网络模型的结构以及将其应用于肺结节CT图像分类任务中的优劣势。通过实验对比,验证了迁移学习的VGG16和基于VGG16改进的模型对肺部CT图像分类任务的有效性。     

基于深度卷积神经网络算法改进

深度卷积神经网络在近年发展迅速,特别是在深度学习被提出来后。但在真实的人脸检测中,大的视觉变化,如背景,照明等,需要一种精确的判别模型来区分人脸和背景。于是,本文给出基于深度卷积网络算法的改进。     

二值化身份感知图卷积神经网络

针对有限的内存资源导致图神经网络(graph neural network, GNN)无法完全加载属性图的问题,文中提出了二值化身份感知图卷积神经网络(binary identify-aware graph convolutional network, BID-GCN)。该网络通过在消息传递过程中递归地考虑节点的信息,为了获得一个给定的节点的嵌入,BID-GCN将提取以该节点为中心的自我网络,并进行多轮的异构消息传递,在自我网络的中心节点上应用与其他节点不同的参数。在消息传递过程中,对网络参数和输入节点特征进行二值化,并将原始的矩阵乘法修改为二值化以加速运算。通过理论分析和实验评估,BID-GCN可以减少网络参数和输入数据的平均约36倍的内存消耗,并加快引文网络上平均约49倍的推理速度,可以提供与全精度基线相当的性能,较好地解决内存资源有限的问题。     

基于卷积神经网络的图像识别算法研究

针对深度学习下的图像识别技术,研究了图像识别和卷积神经网络的工作原理。分析了AlexNet模型、ResNet模型、MobileNet模型的卷积神经网络模型,以及三种算法模型的各自特点,实现了深度学习环境的搭建,通过实验对比三个模型的分类准确率和训练效率,为深度学习下的图像识别算法研究提供参考。     

基于卷积神经网络的卫星遥感图像区域识别

为了提高卫星遥感图像的识别与分类效果,提出一种基于卷积神经网络的卫星遥感图像识别与分类方法。该方法通过导向滤波去雾和旋转图像数据提高了模型的泛化能力,同时采用了双全连接层网络结构增强了模型数据表达能力。实验证明,该方法在卫星遥感图像的识别与分类上优于传统图像识别方法和一般卷积神经网络模型。     

卷积神经网络图像处理

随着互联网信息技术的迅速发展,图像类型的数据也呈现出爆炸式增长,如何能够快速有效地对这些图像信息进行处理,已经成为目前计算机领域的一个重要研究方向。传统的图像识别方法,主要是先通过提取一些特征点,然后再通过数学统计模型表示图像,最后通过图像匹配的算法对图像进行识别。然而随着人工智能,深度神经网络的发展,深度学习的技术已经广泛地应用于语音识别,自然语言处理,计算机视觉等多个领域,并且取得了巨大的成功。本文主要介绍一种对于处理图像非常有效的神经网络——卷积神经网络。     

改进型卷积神经网络焊点缺陷识别算法研究

为了同时对多种焊点缺陷类型进行快速识别,解决现有焊接异常图像识别算法误检率与漏检率偏高的问题,设计了基于改进型卷积神经网络的深度学习算法。利用自组织映射分类技术,提高了卷积神经网络的数据选择自适应性,结合自适应矩估计分析, 约束了焊接异常图像中特征集合的收敛条件。实验中将5种常见焊接异常图像以等比例随机分布的形式放入训练集、验证集和测试集中,再分别用传统识别算法(canny算法和k均值算法)和该算法进行测试。结果表明,对于桥连缺陷,3种方法均无误检、无漏检;对于小球缺陷,3种方法均符合要求,而canny算法的检出能力最优;对于偏球缺陷, 3种算法的误检率分别是12.4%, 7.3%和与1.4%,漏检率分别是13.3%, 6.5%和1.1%;对于虚焊和少锡缺陷,该算法相比传统算法精度高约1个数量级。该算法在对多种焊点缺陷类型识别中具有明显优势。