MDT-CNN-LSTM模型的股价预测研究

股价预测一直是投资者在股票市场中关注的焦点.近年来,深度学习技术在这一领域得到广泛应用.在融合卷积神经网络(CNN)和长短时记忆网络(LSTM),构建CNN-LSTM模型的基础上,引入多向延迟嵌入的张量处理技术MDT(mutiway-delay-embedding),对每日股票因子向量进行因子重构,生成汉克尔矩阵,按时...     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

一种基于神经网络的沉积相识别方法

将人工神经网络(ANN)模式识别技术应用于对测井曲线进行单井划相,加快了划相速度,大大提高了工作效率.根据某地区的河流微相特征标志,给出了一种基于神经网络的沉积相识别方法.神经网络采用带有动量项和自适应学习率的反向传播算法(BP)进行训练.     

基于DT及PCA的DNN入侵检测模型

当今入侵检测领域作为一个重要领域,虚警率高、检测率低、处理速度慢、特征维度高等问题正困扰着从事这一领域的专家学者.为了解决这些问题,提出基于决策树(DT)与深度神经网络(DNN)以及主成分分析(PCA)的入侵检测模型DT-PCA-DNN,在相对高的检测率和相对低的虚警率的基础上提高入侵检测系统(IDS)的处理速度.为缩小整体数据量达到加快处理速度的目的,首先利用DT对数据初步判别.将DT判别为入侵的数据,存入临时训练样本集以再训练优化DT以及DNN,而DT判别为正常的数据,删除所添加正常标签后用PCA降低数据维度并送入DNN进行二次判别以得出最终结果.DT使用浅层结构以防止过多正常数据被判定为入侵数据,导致后续DNN二次处理时不能有效提高整体准确率.DNN采用简化神经网络计算过程的ReLU激活函数以及收敛速度更快的adam优化算法以加快数据处理速度.经过在NSL-KDD数据集上的二分类及五分类实验验证,相比于其他的应用深度学习的入侵检测方法,所提出模型能够在实现相对高的检测率的同时具有更加迅速的检测速度,有效解决了入侵检测的实时性问题.     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

FPGA加速深度学习综述

近年来,由于互联网的高速发展和大数据时代的来临,人工智能随之大热,而推动人工智能迅猛发展的正是深度学习的崛起.大数据时代需要迫切解决的问题是如何将极为复杂繁多的数据进行有效的分析使用,进而充分挖掘利用数据的价值并造福人类.深度学习作为一种实现机器学习的技术,正是解决这一问题的重要法宝,它在处理数据过程中发挥着重要作用并且改变了传统的机器学习方法,已被广泛应用于语音识别、图像识别和自然语言处理等研究领域.如何有效加速深度学习的计算能力一直是科研研究的重点.FPGA凭借其强大的并行计算能力和低功耗等优势成为GPU在加速深度学习领域的有力竞争者.从深度学习的几种典型模型出发,在FPGA加速技术现有特点的基础上从针对神经网络模型的加速器、针对具体问题的加速器、针对优化策略的加速器和针对硬件模板的加速器四方面概括总结了FPGA加速深度学习的研究现状,然后对比了不同加速技术和模型的性能,最后对未来可能发展的方向进行了展望.     

Deep-SBFL:基于频谱的深度神经网络缺陷定位方法

深度神经网络已经在自动驾驶和智能医疗等领域取得了广泛的应用.与传统软件一样,深度神经网络也不可避免地包含缺陷,如果做出错误决定,可能会造成严重后果.因此,深度神经网络的质量保障受到了广泛关注.然而,深度神经网络与传统软件存在较大差异,传统软件质量保障方法无法直接应用于深度神经网络,需要设计有针对性的质量保障方法.软件缺陷定位是保障软件质量的重要方法之一,基于频谱的缺陷定位方法在传统软件的缺陷定位中取得了很好的效果,但无法直接应用于深度神经网络.在传统软件缺陷定位方法的基础上提出了一种基于频谱的深度神经网络缺陷定位方法 Deep-SBFL.该方法首先通过收集深度神经网络的神经元输出信息和预测结果作为频谱信息;然后将频谱信息进行处理作为贡献信息,以用于量化神经元对预测结果所做的贡献;最后提出了针对深度神经网络缺陷定位的怀疑度公式,基于贡献信息计算深度神经网络中神经元的怀疑度并进行排序,以找出最有可能存在缺陷的神经元.为验证该方法的有效性,以E_Inspect@n (结果排序列表前n个位置内成功定位的缺陷数)和EXAM (在找到缺陷元素之前必须检查元素的百分比)作为评测指...     

基于局部递归线性NF模型智能非线性识别系统设计

主要研究了智能非线性识别技术在绕组建模中的设计;首先分析了模糊神经(NF)建模的相关属性,针对绕组建模系统所需要的控制性能,为了改善其控制性能,实现可靠的容错系统,提出一种新的基于模糊神经网络NF的模拟模型,将该模型应用到基于递归的局部线性模糊神经网络(RLLNF),该网络通过局部的线性模型树(LOLIMOT)训练,设计出一种改进的基于树的增量学习算法;最后设置时间间隔在220s和225s之间的实际的绕组过程,通过仿真实验结果表明,将提出的NF模型与其他已知智能算法,即多层感知器(MLP)等进行比较,所设计的系统更具有可行性与高效性。     

基于深度学习的非线性广义预测控制

针对一类离散时间单输入-单输出(single-input single-output, SISO)非线性动态系统,将非线性切换控制与基于深度学习的未建模动态估计方法相结合,提出了一种新的非线性广义预测控制方法。该方法针对未建模动态的未知增量,通过使用基于深度学习技术的长短记忆神经网络(long short-term memory, LSTM)进行预估,设计了一种带有未建模动态增量估计的非线性广义预测控制器,增强控制性能。对所提的控制算法进行了稳定性和收敛性分析,最后通过数值仿真实验验证了所提方法的有效性。     

医学图像深度学习技术:从卷积到图卷积的发展

以卷积神经网络为代表的深度学习技术推动神经网络在医学图像研究领域不断实现新突破。然而,平移不变性等理论假设限制了卷积神经网络在非欧氏空间数据中的表达能力,是医学图像深度学习技术亟待突破的瓶颈。图卷积技术不仅能够解决非欧氏空间数据的拓扑建模难题,还实现了空间特征提取,是深度学习技术全新的研究方向。本文对图卷积网络在医学图像领域的相关理论及其应用进行综述,旨在系统归纳和全面总结医学图像领域最新的图卷积理论、方法和实践,包括图结构视角下医学图像的专业采集、数据结构的剪枝转换以及特征聚类重构方法;图卷积网络的理论溯源,重要的网络架构和发展脉络;图卷积网络的优化方向和衍生出的跳跃连接、inception、图注意力等重要机制;图卷积网络在医学图像分割、疾病检测和图像重建等方面的实践应用。最后,提出了图卷积网络在医学图像分析领域仍亟待突破的瓶颈问题：1）多模态医学图像学习中,异构图的构建与学习任务的优化;2）特征重构和池化过程中,如何通过构图算法设计与神经架构搜索算法结合,以实现最优图结构的可学习过程转换;3）高质量图结构医学标注数据的大规模低成本生成与生成对抗网络的算法设计。随着人工智能技术的不断发展和医学影像规模的不断扩大,以图卷积为代表的深度学习方法必将在医疗辅助诊断领域取得更大的突破。     

基于CMAC神经网络的电池荷电状态估计

现有电池荷电状态(SOC)估计方法所需训练和学习时间较长,很难满足动力电池的实时性要求。为解决该问题,利用小脑模型关节控制器(CMAC)神经网络对电池SOC进行评估,CMAC神经网络具有学习算法简单和逼近任意非线性函数的能力。对镍氢电池的模拟测试结果表明,与反向传播神经网络相比,CMAC神经网络的学习和收敛速度较快,能实时估计出电池SOC,并使估计误差在可接受范围内。     

基于FasterMDNet的视频目标跟踪算法

多域卷积神经网络（MDNet）算法在卷积层采用选择性搜索的方式来提取候选框，因此它没有共享完整图像特征，从而导致在线视频目标跟踪速度慢。针对这个问题，提出一种快速多域卷积神经网络（FasterMDNet）视频目标跟踪算法。FasterMDNet是建立在MDNet基础上的一种模型，在卷积层后面引入RPN（Region Proposal Network）网络，优化了损失函数，共享完整图像卷积特征，加快候选区域建议框（ROI）更高效的生成；为了更好地获得目标和背景信息表示，在RPN网络后加入ROIAlign层，对提取的候选区域建议框特征图用双线性插值方法来提高感受野的分辨率。该算法对目标跟踪基准数据集OTB2013、OTB2015、VOT2016进行了评估，并与前沿的跟踪算法做对比，实验结果证明，该算法跟踪准确率优于其他对比方法，并且对比相同实验环境下MDNet算法，在线跟踪速度提高了近12倍。     

特征分组提取融合深度网络手写汉字识别

针对传统脱机手写汉字识别的过程复杂、精度低，而常用卷积神经网络的特征信息提取不充分，同时存在相同特征信息的重叠和冗余问题。设计了一个特征分组提取融合的深度卷积神经网络模型。通过多级堆叠的特征分组提取模块，提取图像的深层抽象特征信息，并进行特征信息之间的交流融合。利用设计的下采样和通道扩增模块，在降低特征维度的同时保留图像重要信息。将特征信息进行精炼和浓缩，来解决特征信息的重叠和冗余问题。最终训练出的神经网络达到top1当前先进的正确率为97.16%，同时top5正确率为99.36%，并具有很好的泛化能力。     

基于混合架构的卷积神经网络算法加速研究

具有优越性能的卷积神经网络算法已得到广泛应用,但其参数量大、计算复杂、层间独立性高等特点也使其难以高效地部署在较低功耗和较少资源的边缘场景.为此结合该种算法的特点提出了一种基于混合架构的卷积神经网络计算加速方法,该方法选用CPU加FPGA的混合架构,对网络模型进行了压缩优化;在FPGA上通过指令控制数据流的DSP阵列结...     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

结合卷积神经网络和三支决策的入侵检测算法

随着网络入侵行为的多样化和智能化,传统的入侵检测算法在面对高维特征、非线性的海量数据时,存在特征提取不充分、模型分类不够精确等问题,为此,提出了一种结合卷积神经网络（convolutional neural networks,CNN）和三支决策（three-way decision,TWD）的入侵检测算法。卷积神经网络具有优越的特征提取能力;同时,三支决策可以规避因信息不足而盲目分类造成的风险,且减少分类所耗费的时间。该方法通过卷积神经网络对高维数据进行特征提取,构建多粒度特征空间,然后基于三支决策理论对网络行为做出即时决策,对于无法即时决策的网络行为进行延迟决策,即对该部分网络行为再次特征提取以构建不同的粒度特征空间,最后输出分类结果。该方法建立的模型在NSL-KDD、CIC-IDS2017数据集上的实验结果表明,提出的算法可以提升入侵检测系统的性能。     

轻量化卷积神经网络技术研究

为了使卷积神经网络模型更好地应用于移动端和嵌入式设备，必须从减少模型参数量和降低计算复杂度两方面入手。首先简要介绍了目前几种流行的解决方法，并详细阐述了六个轻量化卷积神经网络模型，展示了其中应用的不同网络计算方式的计算量和参数量，论述了模型的核心构建模块、整体网络结构和创新之处。分析了各网络以及常规卷积网络在ImageNet数据集上的分类准确度，进而对比各网络实现轻量化的技巧，得出在进行模型设计时采用直接指标替代间接指标的结论。同时发现了残差结构对保证轻量化模型准确率的重要性。最后对轻量化卷积神经网络的发展前景进行了展望。     

大数据下基于特征图的深度卷积神经网络

针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了...     

基于FPGA的手写数字BP神经网络研究与设计

手写数字逆向传播（Back Propagation,BP）神经网络由输入层、隐藏层、输出层构成。训练数据是MNIST开源手写数字集里60?000个样本,BP算法由随机梯度下降算法和反向传播算法构成,采用network小批量数据迭代30次的网络学习过程,训练出合适的权重和偏置。利用现场可编程门阵列（Field Programmable Gate Array,FPGA）硬件平台,Verilog代码实现BP算法、时序控制各层网络训练状态、Sigmoid（S型）函数及导数线性拟合是设计重点。初始化均值为0,方差为1的高斯分布网络权重和偏置,采用小批量数据个数[m]为10,学习系数[η]为3,在系统中输入样本及标签利用Quartus13.0和modelsim仿真与分析,工程运行迭代30次时间是4.5 s,样本识别正确率是91.6%,与软件python2.7相比满足了硬件设计的实时性和手写数字识别的高准确率。