基于深度学习的自然环境下花朵识别

基于自然环境下的花朵识别已经成为了现在园艺植物以及计算机视觉方面的交叉研究热点。本文的花朵图像数据集是利用手机直接在自然场景中当场拍摄的,采集了湖南省植物园内26种观赏花朵的2600幅图像,其中还包括同一品种不同类别相似度很高的杜鹃,郁金香等花朵。设计了一种由3个残差块组成的20层深度学习模型Resnet20,模型的优化算法结合了Adam的高效初始化以及Sgd优秀的泛化能力,该优化算法主要是根据每次训练批次以及learning rate来进行转换调整,实验结果表明比单独使用Adam算法正确率高4到5个百分点,比单独使用Sgd算法收敛更快。该模型在Flower26数据集上,通过数据增强识别率可达到96.29%,表明深度学习是一种很有前途的应用于花朵识别的智能技术。     

深度学习时代图像融合技术进展

为提升真实场景视觉信号的采集质量,往往需要通过多种融合方式获取相应的图像,例如,多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性,图像融合技术旨在利用同一场景不同视觉信号的优势,生成单图像信息描述,提升视觉低、中、高级任务的性能。目前,依托端对端学习强大的特征提取、表征及重构能力,深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比,基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入,一些新颖的理论和方法也促进了图像融合技术的发展,如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展,本文首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势给出了展望。     

基于图片问答的静态重启随机梯度下降算法

图片问答是计算机视觉与自然语言处理交叉的多模态学习任务.为了解决该任务,研究人员提出堆叠注意力网络(stacked attention networks, SANs).研究发现该模型易陷入不好的局部最优解,引发较高的问答错误率.为了解决该问题,提出基于图片问答的静态重启随机梯度下降算法.实验结果和分析表明：它的准确率比基准算法提高0.29%,但其收敛速度慢于基准算法.为了验证改善性能的显著性,对实验结果进行统计假设检验.T检验结果证明它的改善性能是极其显著的.为了验证它在同类算法中的有效性,将该算法和当前最好的一阶优化算法进行有效性实验,实验结果和分析证明它更有效.为了验证它的泛化性能和推广价值,在经典的Cifar-10数据集上进行图像识别实验.实验结果和T检验结果证明:它具有良好的泛化性能和较好的推广价值.     

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L₁范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。     

分布式深度学习框架下基于性能感知的DBS-SGD算法

通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经网络模型的训练过程进行加速成为了研发人员最常用的手段.随机梯度下降(stochastic gradient descent, SGD)算法是当前深度神经网络模型中最常见的训练算法之一,然而SGD在进行并行化的时候容易产生梯度过时问题,从而影响算法的整体收敛性.现有解决方案大部分针对的是各节点性能差别较小的高性能计算(high performance computing, HPC)环境,很少有研究考虑过各节点性能差别较大的集群环境.针对上述问题进行研究并提出了一种基于性能感知技术的动态batch size随机梯度下降算法(dynamic batch size SGD, DBS-SGD).该算法通过分析各节点的计算能力,对各节点的minibatch进行动态分配,从而保证了节点间每次迭代更新的时间基本一致,进而降低了节点的平均梯度过时值.提出的算法能够有效优化异步更新策略中存在的梯度过时问题.选用常用的图像分类基准Mnist和cifar10作为训练数据集,将该算法与异步随机梯度下降(asynchronous SGD, ASGD)算法、n-soft算法进行了对比.实验结果表明：在不损失加速比的情况下,Mnist数据集的loss函数值降低了60%,cifar数据集的准确率提升了约10%,loss函数值降低了10%,其性能高于ASGD算法和n-soft算法,接近同步策略下的收敛曲线.     

基于时空图卷积网络的交通事故风险预测研究

交通事故的预测是通过对过去路段发生的交通事故进行分析,在综合考虑影响交通事故的相关因素后,对未来路段的交通事故发生状态进行预测。以往的大多数研究通常采用传统机器学习方法或单一深度学习模型预测法,利用网格化确定预测空间的单位,忽略了影响交通事故的天气、路况等外部因素,导致模型的预测性能不佳。提出一种基于时空特性的城市交通事故风险预测模型,在模型中使用改进的时空图卷积网络,利用图卷积网络（GCN）提取空间相关特征,并加入批标准化层解决梯度消失爆炸问题。在时间维度上采用门控线性单元（GLU）实现一维卷积操作,提取时间相关特征,并将GCN和GLU组合成时空卷积模块提取时空相关特征,使用均方误差损失函数解决样本数据零膨胀问题。实验结果表明,与GLU、SDCAE和ConvLSTM模型相比,该模型的RMSE指标分别降低了28%、4.87%、4.19%,能有效捕获时空相关性,综合性能得到较大提升。     

BP神经网络在负载管理中心故障诊断中的应用

在分析电气负载管理中心故障特点的基础上,利用神经网络权值和阈值能够随实际的排故结果不断更新及正向推理速度较快的特性,提出了基于BP神经网络的负载管理中心故障诊断方案,并确立了故障诊断BP网络模型.借助于MATLAB的神经网络工具箱,采用两种改进的训练算法对网络进行训练,得到了用于诊断的BP神经网络模型,为检验该模型故障诊断的准确性,采用大量的数据样本进行了仿真.结果表明：基于神经网络的诊断方法故障识别率高、快速有效,具有良好的实用价值.     

融合隐语义模型与门控循环单元的推荐算法

在传统的推荐算法中, 往往缺乏对用户长短期兴趣偏好问题的考虑, 而随着深度学习在推荐算法中应用的不断深入, 这一问题能够得到很好的解决. 本文针对该问题提出一种融合隐语义模型与门控循环单元的长短期推荐算法(recommendation algorithm based on long short-term, RA_LST), 以实现对用户长短期偏好的分别捕捉, 有效解决了因用户兴趣随时间变化而导致推荐效果下降的问题. 最终的实验结果表明, 本文提出的算法在不同的数据集上都表现出了推荐准确性的提升.