基于Winograd卷积的并行深度卷积神经网络优化算法

针对并行深度卷积神经网络算法在大数据环境下存在冗余特征计算过多、卷积运算性能不足和参数并行化合并效率低等问题，提出了基于Winograd卷积的并行深度卷积神经网络优化算法。首先，该算法提出基于余弦相似度与归一化互信息的特征过滤策略，通过先筛选后融合的方式消除了通道间对于冗余特征的计算，以此解决了冗余特征计算过多的问题；然后，结合MapReduce提出了并行Winograd卷积策略，通过使用并行化Winograd卷积运算替换传统卷积运算的方式来提升卷积运算的性能，以此解决了卷积运算性能不足的问题；最后，提出基于任务迁移的负载均衡策略，通过动态负载迁移的方式来均衡集群中各节点之间的负载，降低了集群总体的平均反应时长，以此解决了参数并行化合并效率低的问题。实验表明，WP-DCNN算法显著降低了DCNN在大数据环境下的训练代价，而且对并行DCNN的训练效率也有大幅提升。     

基于全神经网络增强算法的WSNs故障预警与检测

针对现有WSNs故障检测算法存在的故障分类检测率低、耗时长、节点能耗控制差等问题,提出一种全神经网络增强故障预警与检测算法。全神经网络的神经元节点与临近层的节点连接,形成具有强大故障数据训练功能的深度网络结构,选择平滑性更好的sigmoid函数作为模型的激活函数,并基于感知机合理调节相邻两个隐含层之间的阈值权重,降低模型的训练损失;采用Adam优化算法抑制模型的梯度膨胀和梯度消失等异常情况,并消除训练中产生的数据冗余,以降低故障数据训练中产生的虚预警。实验结果显示:提出算法的总体故障检测率和不同类型故障的分类检测率都优于传统算法,此外全神经网络增强算法在节点故障检测耗时和能耗控制方面,也具有显著优势。     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

基于深度卷积神经网络End-to-End模型的亲属关系认证算法

针对如何利用人脸图像进行亲属关系认证的问题,提出基于深度卷积神经网络End-to-End模型的亲属关系认证算法.首先,构建一个包含卷积层、全连接层和soft-max分类层的深度卷积神经网络模型.卷积层可以提取亲子图像的隐性特征,全连接层可以将提取的隐性特征映射为亲属关系认证的二分类问题,soft-max分类层可以直接判断该对样本是否具有亲属关系.然后,将成对的标记训练数据输入网络进行迭代,优化深度网络模型参数,直至损失曲线稳定.最后,利用训练完毕的深度网络模型对输入测试图像对进行分类判决,通过统计得到最终的准确率.在KinFaceWI和KinFaceWII数据库上的结果显示,相比以往的亲属关系认证算法,文中模型具有更好的性能.     

用于图像分类的模糊策略学习率ResNet

ResNet深度神经网络用于图像分类时，全连接层训练算法收敛性差降低了分类效果。针对此不足，提出一种模糊策略梯度算法训练ResNet。推导出ResNet全连接层权重的迭代公式，用历史梯度信息修正当前一阶小批量梯度，用模糊策略学习率更新权重，通过上下边界函数处理学习率的过大或过小而引发的迭代振荡，改善训练算法收敛性。在CINIC-10和CIFAR-100数据集上的实验结果表明，所提算法训练的ResNet分类效果优于相比较算法。特别是在综合性分类指标Kappa系数上，所提算法训练的ResNet较最新的AdaBound算法平均提高了9.29%,改进效果显著。     

分布式环境下卷积神经网络并行策略研究

卷积神经网络通常使用标准误差逆传播算法进行串行训练,随着数据规模的增长,单机串行训练存在耗时长且占有较多的系统资源的问题。为有效实现海量数据的卷积神经网络训练,提出一种基于MapReduce框架的BP神经网络并行化训练模型。该模型结合了标准误差逆传播算法和累积误差逆传播算法,将大数据集分割成若干个子集,在损失少量准确率的条件下进行并行化处理,并扩展MNIST数据集进行图像识别测试。实验结果表明,该算法对数据规模有较好的适应性,能够提高卷积神经网络的训练效率。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法.设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小.使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情...     

结合批归一化的直通卷积神经网络图像分类算法

为解决深度卷积神经网络由于梯度消失而导致训练困难的问题,提出一种基于批归一化的直通卷积神经网络算法.首先对网络所有卷积层的激活值进行批归一化处理,然后利用可学习的重构参数对归一化后的数据进行还原,最后对重构参数进行训练.在CIFAR-10,CIFAR-100和MNIST这3个标准图像数据集上进行实验的结果表明,文中算法分别取得了94.53%,73.40%和99.74%的分类准确率,明显优于其他深度神经网络算法;该算法能够有效地克服传统卷积神经网络中梯度消失的问题.     

基于Spark和AMPSO的并行深度卷积神经网络优化算法

针对并行DCNN算法在大数据环境下存在冗余参数过多、收敛速度慢、容易陷入局部最优和并行效率低的问题,提出了基于Spark和AMPSO的并行深度卷积神经网络优化算法PDCNN-SAMPSO。首先,该算法设计了基于卷积核重要性和相似度的卷积核剪枝策略(KP-IS),通过剪枝模型中冗余的卷积核,解决了冗余参数过多的问题;接着,提出了基于自适应变异粒子群优化算法的模型并行训练策略(MPT-AMPSO),通过使用自适应变异的粒子群优化算法(AMPSO)初始化模型参数,解决了并行DCNN算法收敛速度慢和容易陷入局部最优的问题;最后,提出了基于节点性能的动态负载均衡策略(DLBNP),通过均衡集群中各节点负载,解决了集群并行效率低的问题。实验表明,当选取8个计算节点处理CompCars数据集时,PDCNN-SAMPSO较Dis-CNN、DS-DCNN、CLR-Distributed-CNN、RS-DCNN的运行时间分别降低了22%、30%、37%和27%,加速比分别高出了1.707、1.424、1.859、0.922,top-1准确率分别高出了4.01%、4.89%、2.42%、5.94%,表明PD...     

大数据下基于特征图的深度卷积神经网络

针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了...     

基于大数据的并行化深度卷积神经网络优化算法

针对并行DCNN算法在大数据环境下网络冗余参数过多、收敛速度慢和并行效率低的问题,提出了一种并行化深度卷积神经网络优化算法——PDCNNO(parallel deep convolutional neural networks optimization algorithm)。首先,该算法设计了基于特征图的剪枝策略(PFM),预训练网络,获得压缩后的网络,有效减少了冗余参数,降低了DCNN训练时间和空间复杂度;其次,设计了修正正割线的共轭梯度法(CGMSE),获取局部分类结果,实现了共轭梯度法的快速收敛,提高了网络的收敛速度;最后,在reduce阶段提出了控制负载率的负载均衡策略(LBRLA),获取全局分类结果,实现了数据的快速均匀分组,从而提高了并行系统的加速比。实验表明,该算法不仅降低了DCNN在大数据环境下训练的时间和空间复杂度,而且提高了并行系统的并行化性能。     

基于深度卷积神经网络的车型识别

传统的基于卷积神经网络的车型识别算法存在识别相似车型的准确率不高,以及在网络训练时只能使用图像的灰度图从而丢失了图像的颜色信息等缺陷。对此,提出一种基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的提取图像特征的方法,运用深度卷积神经网络对背景较复杂的车型进行网络训练,以达到识别车型的目的。文中采用先进的深度学习框架Caffe,基于AlexNet结构提出了深度卷积神经网络的模型,分别对车型的图像进行训练,并与传统CNN算法进行比较。实验结果显示,DCNN网络模型的准确率达到了96.9%,比其他算法的准确率更高。     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

一种卷积神经网络的模型压缩算法

卷积神经网络的研究取得一系列突破性成果,其优秀表现是由深层结构支撑的。针对复杂的卷积神经网络在参数量及计算量上存在大量的冗余问题,提出一种简洁有效的网络模型压缩算法。首先,通过计算卷积核之间的皮尔逊相关系数判断相关性,循环删除冗余参数,从而压缩卷积层。其次,采用局部-全局的微调策略,恢复网络性能。最后,提出一种参数正交正则,促使卷积核之间的正交化,进而减少冗余特征。实验结果表明,在MNIST数据集上,该压缩算法能够在不损失测试精度的前提下,使AlexNet卷积层的参数量压缩率达到53.2%,浮点操作计算量可以减少42.8%,并且网络模型收敛后具有较小的误差。     

基于并列卷积神经网络的超分辨率重建

为提取更多有效特征并提高模型训练的收敛速度,提出一种基于并列卷积神经网络的超分辨率重建方法。该网络由两路不同结构的网络组成：一路为简单的残差网络,其优化残差映射比原始的映射更容易实现;另一路为增加了非线性映射的卷积神经网络,增强了网络的非线性能力。随着并行网络结构的复杂化,收敛速度慢成为突出问题。针对这个问题,在卷积层后添加正则化处理,以简化模型参数、增强特征拟合能力,最终达到加快收敛的目的。实验结果表明,与基于深度卷积神经网络算法相比,该网络结构收敛速度更快,主观视觉效果更好,峰值信噪比（PSNR）平均提高了0.2 dB。     

结合信息论改进的并行深度森林算法

针对并行深度森林算法在处理大数据问题时存在的冗余与不相关特征过多,多粒度扫描不平衡以及并行化效率低等问题,提出了大数据环境下基于信息论改进的并行深度森林算法——IPDFIT(improved parallel deep forest based on information theory).该算法基于信息论设计了一种混...     

基于Spark和NRSCA策略的并行深度森林算法

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。     

基于Fisher准则的深层卷积神经网络织物疵点检测

针对当前的算法无法满足具有周期性图案织物疵点分类检测,鉴于此,提出基于Fisher准则的深层卷积神经网络织物疵点检测算法.首先,利用深度可分离卷积设计小型的深层卷积神经网络（DCNN）;其次,对DCNN网络的Softmax增加Fisher准则约束,通过梯度算法更新整个网络参数,得到深层卷积神经网络（FDCNN）;最后,在TILDA和彩色格子数据集上分类率分别为98.14%和98.55%.实验结果表明：FDCNN模型既可以减小网络参数和降低运行时间,又可以提高织物疵点分类率.