Deep Learning for Financial Engineering

Computational Economics -     

基于信息修正的深度残差学习

提出了一种新的深度残差网络的拓展模块,有效提高了学习表示的鲁棒性。所提出的方法是一个简单的即插即用模块,即组卷积式编码-解码结构,它可以作为一个额外的信息过滤部件集成到原来的深度残差网络中。利用编码器的下采样来产生信息压缩过的特征图,解码器模块被驱动以产生激活准确的特征图,其能够突出显示输入图片中最具有判别力的区域,最后通过元素级相加和激活操作对输入特征进行信息修正。为了使设计的模型计算更加高效,通过减少残差分支的通道数来探究其轻量级版本的表现,发现并没有明显的性能下降现象。在各种基于残差网络的架构上进行实验,获得了一致性的性能提高,而且付出的计算代价与原始版本相比差别不大,甚至还低。     

复杂背景下基于深度学习的视频动作识别

快速有效地识别视频中的人体动作,具有广泛的应用前景及潜在的经济价值。但目前的视频动作识别方法易受到运动人体晃动、背景变化、摄相机抖动、运动人体阴影等背景因素影响。为解决上述问题,本文提出一种非局域时间段网络方法。该方法在双流网络的基础上,通过加入非局域计算使网络能关注到更大时空范围的信息,并进一步融入光流信息使网络更精确地将注意力放在动作区域,从而增强对视频复杂静态背景的鲁棒性。此外,为了融合双流分段网络的多路判别结果,本文使用可学习的加权平均取代简单平均来融合多模态信息。经过在TDAP数据集上的实验验证,本文的模型可在复杂背景下较为精确地识别出人体动作,与原有模型相比在几乎不增加时间复杂度的前提下提升了识别性能。     

基于不完全信息的深度网络表示学习方法

网络表示学习的目标是将网络中的节点嵌入到低维的向量空间,为下游任务提供有效特征表示.在现实场景中,大规模网络通常具有不完整的链路,而现有的大多数网络表示学习模型都是在网络是完整的假设下设计的,因此其性能很容易受到链路缺失的影响.针对该问题,文中提出了一种基于不完全信息的深度网络表示学习方法DNRL(Deep Network Representa-tion Learning).首先采用转移概率矩阵将结构信息和属性信息进行动态融合,弥补了结构信息不完整带来的过大损失,然后采用一种具有强大特征提取能力的深度生成模型(变分自编码器)来学习节点的低维表示,并捕获网络数据中潜在的高非线性特征.在3个真实属性网络上的实验结果表明,与当前常用的网络表示学习模型相比,所提模型在不同程度链路缺失的节点分类任务中都明显地改善了分类效果,在可视化任务中更清晰地反映了节点的团簇关系.     

基于深度学习的信息级联预测方法综述

在线社交媒体极大地促进了信息的产生和传递,加速了海量信息之间的传播与交互,使预测信息级联的重要性逐渐突显。近年来,深度学习已经被广泛用于信息级联预测(Information Cascade Prediction)领域。文中主要对基于深度学习的信息级联预测方法的研究现状与经典算法进行分类、梳理与总结。根据信息级联特征刻画的侧重点不同,将基于深度学习的信息级联预测方法分为时序信息级联预测方法与拓扑信息级联预测方法,并进一步将时序信息级联预测方法分为基于随机游走(Random Walk)的方法与基于扩散路径的方法,将拓扑信息级联预测方法分为基于全局拓扑结构的方法与基于邻域聚合的方法;并对每类方法进行详细的原理阐述与优缺点介绍,介绍了信息级联预测领域常用的数据集与评价指标,在宏观与微观两种信息级联预测场景下对基于深度学习的信息级联预测算法进行实验对比,并讨论了一些信息级联预测算法中常用的算法实现细节。最后,总结了该领域未来可能的研究方向与发展趋势。     

新工科背景下机器学习课程教学改革探索

在新工业4.0背景下,为了适应国家对人工智能专业提出的培养交叉性和综合性的复合型人才、服务各行各业的新要求,研究如何以学生为中心,进行深度学习的途径和方法是十分必要的.本文提出了由案例展开的理论教学思想,融合趣味性和规范性的实践教学,借助虚拟环境的扩展教学以及立足平时的多元化考核方法的改革思想和措施.实践结果表明,该方...     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法.采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提...     

基于深度学习的计算机显示器电磁信息泄漏识别

本文以计算机显示设备泄漏电磁信号为研究对象,对于人工提取特征识别电磁泄漏信号存在的主观性强、特征冗余的问题,区别于传统基于经验的人工特征提取模式,利用人工智能深度学习方法,使用处理图像的深度学习技术应用于电磁信息泄漏特征识别,提出了一种基于卷积神经网络的识别方法.该方法首先提取电磁泄漏信号的时频谱信息作为卷积神经网络模...     

面向事件抽取的深度与主动联合学习方法

事件抽取旨在从非结构化的文本中抽取出事件的信息,并以结构化的形式予以呈现。监督学习作为基础的事件抽取方法往往受制于训练语料规模小、类别分布不平衡和质量参差不齐的问题。同时,传统基于特征工程的事件抽取方法往往会产生错误传递的问题,且特征工程较为复杂。为此,该文提出了一种联合深度学习和主动学习的事件抽取方法。该方法将RNN模型对触发词分类的置信度融入在主动学习的查询函数中,以此在主动学习过程中提高语料标注效率,进而提高实验的最终性能。实验结果显示,这一联合学习方法能够辅助事件抽取性能的提升,但也显示,联合模式仍有较高的提升空间,有待进一步思考和探索。     

Information Redundancy in Constructing Systems for Audio Signal Examination on Deep Learning Neural Networks

Cybernetics and Systems Analysis - Preliminary signal processing methods used to create new tools to examine materials and digital sound recording means are described. It is shown that using...     

深度学习技术在信息系统数据分析中的应用

深度学习是近年来机器学习领域的一个热点研究方向,其主要方法是通过增加学习器的层数,增大其通道数 和参数的规模,借助大数据学习时代的超强计算能力,发现原始数据集中的高层抽象概念,为应用领域的决策支持服务。探讨 了在信息系统的数据分析任务中深度学习技术的应用方法,着重阐述了卷积神经网络和堆叠自动编码器的主要原理和实现方 法,及其在信息系统的数据分析中的应用案例,并对其应用价值进行了分析。     

多示例学习下的深度森林架构

多示例学习已经广泛地应用到各个领域,如图像检索、文本分类、人脸识别等.而近年来深度神经网络也成功地运用到各个任务和问题上,MI-Nets是深度神经网络在多示例学习领域一个成功的应用.虽然MI-Nets很成功,但其主要在图像相关的任务上表现突出,而在非图像任务比如文本分类任务上的性能并不令人满意.而最近2年兴起的深度森林在非图像任务上取得了较好的成绩,并因为其相对于深度神经网络有较少的参数和较稳定的性能而受到青睐.所以用深度森林来提升多示例学习性能具有可行性.但由于深度森林结构的限制,并不能把组成深度森林的每一个森林都直接替换成包级别的森林,需要修改深度森林的结构来达到目的.提出了一种新的深度森林架构MIDF.在该架构下,为了使得中间层的输出分布可以和包中的示例拼接成功,拼接时把包里的每个示例都看作是一个包,从而使得级联结构依然有效.另外,还能自动确认深度森林的层数.实验结果表明：该方法在图像任务上的性能与擅长处理图像任务的MI-Nets相当;而在文本数据上,该方法取得了比MI-Nets和其他基线算法更好的效果.     

Dendritic Deep Learning for Medical Segmentation

<正>Dear Editor,This letter presents a novel segmentation approach that leverages dendritic neurons to tackle the challenges of medical imaging segmentation. In this study, we enhance the segmentation accuracy based on a SegNet variant including an encoder-decoder structure, an upsampling index, and a deep supervision method. Furthermore, we introduce a dendritic neuron-based convolutional block to enable nonlinear feature mapping, thereby further improving the effectiveness of our approach...     

信息熵角度下的深度学习旁路安全评估框架

基于深度学习的建模类旁路密码分析(Deep Learning Side Channel Analysis/Attack,DLSCA)对于各种旁路攻击场景的密码破解效果都十分显著,但是DLSCA仍存有安全评估问题.基于AES对称加密算法的能量分析,通过信息熵角度分析准确率等传统机器学习性能指标无法评估DLSCA深度神经网...     

解决深度探索问题的贝叶斯深度强化学习算法

在强化学习领域,如何平衡探索与利用之间的关系是一个难题。近几年提出的强化学习方法主要关注如何结合深度学习技术来提高算法的泛化能力,却忽略探索利用困境这一问题。传统的强化学习方法可以有效解决探索问题,但存在着一定的限制条件:马尔可夫决策过程的状态空间必须是离散并有限的。提出通过贝叶斯方法来提高深度强化算法的探索效率,并将贝叶斯线性回归中计算参数后验分布的方法扩展到人工神经网络等非线性模型中,通过结合Bootstrapped DQN和提出的计算方法得到了贝叶斯自举深度Q网络算法(BBDQN)。最后用两个环境下的实验表明了BBDQN在面对深度探索问题时的探索效率要优于DQN以及Bootstrapped DQN。     

一种组合型的深度学习模型学习率策略

一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度, 减少模型的训练时间. 本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题, 根据模型参数的特点, 提出了一种组合型学习策略: AdaMix. 该策略为连接权重设计了一个仅与当前梯度有关的学习率, 为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder对图像数据库MNIST进行重构, 以模型反向微调过程中测试阶段的重构误差作为评价指标, 验证几种学习策略对模型收敛性的影响.实验结果表明, AdaMix比AdaGrad和AdaDec的重构误差小并且计算量也低, 具有更快的收敛速度.     

面向深度学习的分布式任务执行系统

深度学习全流程托管平台提供了深度学习实验任务的网页端解决方案, 加速了深度学习技术在生产生活中的应用. 为了解决网页端深度学习平台进行图像识别模型训练的问题, 本文设计实现了面向深度学习实验任务的分布式任务执行系统. 系统由资源监控、任务调度、任务执行、日志管理4大模块组成, 将任务依据资源使用率等策略进行调度, 采用...     

基于深度学习的盲文识别方法

提出一种基于深度学习的盲文点字识别方法,利用深度模型--堆叠去噪自动编码器（Stack Denoising AutoEncoder,SDAE）解决盲文识别中特征的自动提取与降维等问题。在构建深度模型过程中,采用非监督贪婪逐层训练算法（Greedy Layer Wise Unsupervised Learning Algorithm）初始化网络权重,使用反向传播算法优化网络参数。利用SDAE自动学习盲文点字图片特征,使用Softmax分类器进行识别。实验结果表明,本文所提方法较之传统方法,可以有效解决样本特征的自动学习与特征降维等问题,操作更为简易,并能获得满意的识别结果。     

面向晶体结构预测的深度学习方法

晶体结构研究是研究固体材料物理化学性质的基础,而筛选晶体结构通常基于能量最低原理,采用密度泛函理论计算结构能量需要大量计算资源及服务时间.为此本文提出了面向材料结构预测的深度学习方法,加快材料晶体结构的预测.本文从数据集优化、模型训练策略、算法优化等方面进行了深入研究,确定了应用于材料结构预测中深度学习的网络参数和优化...