基于自注意力深度学习的微博实体识别研究

命名实体识别是自然语言处理的重要基础,随着神经网络的快速发展,深度学习的各种方法被应用于文本处理的各个方向。引入自注意力机制,结合深度学习方法,提出一种基于自注意力的双向长短期记忆条件随机场(SelfAtt-BiLSTM-CRF)方法来识别微博中的实体,利用自注意力机制,获取词与词之间的依赖关系,进一步提高模型的识别能力。实验表明,所提出的方法取得了较好的识别效果。     

深度学习在电力领域的研究现状与展望

深度学习技术,近年来已经广受学术界和工业界的关注,已在图像处理及分类,自然语言处理和生物医疗领域中取得卓越成果.对于存在大量高维度数据的电力领域,引入深度学习的理论具有一定的意义.介绍了深度学习的几个经典模型结构、工作原理,以及相关领域的部分研究成果,并围绕深度学习在电力领域中的研究现状展开了论述,指出了存在的不足和未来研究的方向.     

深度迁移学习在高光谱遥感图像分类中的研究现状与展望

高光谱遥感通过利用许多窄电磁波波段获取包含丰富的空间、辐射和光谱信息,在对地观测研究领域扮演着重要角色。随着深度学习的迅速发展,深度神经网络及深度森林等算法在高光谱遥感图像分类任务中得到广泛应用,但同时也产生了一系列困难,如对训练样本数量需求高、模型训练耗时以及分类代价大等问题。将深度学习与迁移学习结合,能够有效解决上述问题,在高光谱遥感图像分类领域得到初步应用。本工作首先介绍高光谱遥感图像分类的相关背景,之后介绍深度学习在高光谱遥感图像分类中的应用,并指出其具有的优势与不足,最后介绍深度迁移学习在高光谱遥感图像分类中的应用,并对当前研究存在的问题进行总结与展望。     

基于深度学习的中文标准文献语言模型

为解决中文标准文献的自然语言处理问题,对Hierarchical Log-Bilinear英文统计语言模型算法进行了改进,构建了适用于中文语言的模型。采用深度神经网络技术,将无监督学习与有监督学习相结合,利用多层受限玻尔兹曼机训练文本词向量,并将训练好的词向量输入到前馈神经网络进行有监督训练,完成对中文标准文献内容的机器学习。对100多万条标准题录数据进行训练的实验结果表明,该方法能有效提高语言模型的学习能力。     

基于深度学习的信道估计

目前深度学习方法在物理层通信中得到了广泛的应用,信道估计是物理层通信中的关键部分,与传统信道估计算法相比,深度学习方法在信道估计方面具有一定的优势.本研究介绍了深度学习中常见的神经网络模型,从模型驱动和数据驱动方式两个方面分别阐述了深度学习方法在信道估计中的应用.综述了将深度学习方法应用在信道估计中的最新研究进展.为了满足下一代移动通信的性能需求,讨论了智能物理层通信中信道估计面临的挑战与机遇.     

融合深度神经网络与统计学习的 印地语词性标注方法研究

针对统计模型受限于标注语料规模且不能捕获标注序列的上下文信息问题,提出一种融合深度学习和统计学习的印地语词性标注模型。该模型具有3层逻辑结构,首先在词表示层采用深度神经网络框架训练出印地语单词的形态特征,并利用word2vec方法对语料训练生成具有语义信息的低维度稠密实数词向量,然后在序列表示层将形态特征和词向量作为深度神经网络模型的输入并进行训练,得到输入序列的信息特征,最后在CRF推理层利用深度神经网络模型的输出状态和当前的转移概率矩阵作为CRF模型的参数,最终得到最优的标签序列。对提出的方法与其他方法进行了对比实验,结果表明融合深度学习和统计模型的方法较其他几种统计模型的性能有显著的提升。     

基于深度学习的多差分神经网络区分器及其应用

随着深度学习的发展,尤其是随着多层神经网络（MIP）、深度神经网络（DNN）、卷积神经网络（CNN）等网络的出现,其在多个领域得到广泛应用,如视觉识别、语音识别、自然语言处理等领域。在2019年的美密会上提出利用单差分深度残差网络区分器进行密钥恢复攻击的方法,将深度学习的应用扩展到密码算法分析领域。利用多差分残差网络区分器进行密钥恢复攻击,该方法可有效减少数据复杂度,并增加攻击轮数。以RC516的攻击为例,计算复杂度和数据复杂度分别减少为后者的1/12,攻击轮数由11个半轮增加到了12个半轮。     

融合先验知识的深度学习模型快速训练方法

为了提高深度学习神经网络的训练效率,本文提出基于模型训练先验知识进行神经网络训练优化的方法。在深度学习中参数同构的思想指导下,利用神经网络多次迭代的卷积层参数训练回归模型,并指导神经网络参数变化。实验表明:本文提出的方法可以在不修改原网络模型结构的同时显著降低模型在训练过程中引发的震荡现象;在保持模型分类准确率的情况下可以有效降低模型训练时间达到10%以上;该方法应用在深度越深的神经网络中,时间上的优化效果会越明显。     

基于深度神经网络的注塑过程预测控制

注塑机作为现代工业中重要的塑料件生产与制造设备,其智能化发展一直备受业界关注。伴随着航空航天、电力电子、汽车制造等行业的发展,如何实现对注塑件的高精度、高效率、绿色节能化生产,是目前注塑机的重要研制方向。本文针对注塑成型过程中采用传统模型预测控制(Model Predictive Control, MPC)难以保证跟踪控制实时性的问题,提出一种结合深度神经网络(Deep Neural Network, DNN)学习的注塑过程预测控制方法。在注塑机注射过程动力学模型基础上,创建带约束条件的模型预测控制器,对控制器运行数据进行采集并用以训练深度神经网络,实现了基于深度神经网络控制的注射速度的跟踪预测控制。仿真实验结果表明,采用本文所提出的学习预测控制策略能够有效避免注塑过程中因模型预测控制所产生的复杂计算,并满足工业实时性要求,具有应用前景。     

人工智能文本生成的进展与挑战（英文）

文本生成是人工智能和自然语言处理的重要研究领域,为人工智能生成内容的快速发展提供了关键技术支撑。该任务基于自然语言处理、机器学习和深度学习等技术,通过训练模型学习语言规则,自动生成符合语法和语义要求的文本。本文对文本生成的主要研究进展进行梳理和系统性总结,对近几年文本生成相关文献进行综合调研,并详细介绍相关技术模型。此外,针对典型文本生成应用系统进行介绍。最后,对人工智能文本生成的挑战和未来研究方向进行分析和展望。得出以下结论,提高生成文本的质量、数量、交互性和适应性有助于从根本上推动人工智能文本生成的发展。     

基于Albert的联合训练文书信息提取方法研究

围绕深度学习在NLP领域的应用,分析了BiLSTM、CRF、BERT、ALBERT的结构组成、运行机理及发展演进,提出使用ALBERT-BiLSTM-CRF模型提取联合训练文书信息实体的方法,并使用联合训练文书进行实验验证,最后用该模型的信息实体提取实验结果和模型训练时间与以往其他模型进行对比分析,得出该模型的综合性能...     

菲律宾语自然语言处理研究综述

通过对菲律宾语的词法分析、句法分析、语义分析等基础研究和机器翻译、拼写检查、情感分析等应用技术的研究进展进行分析,得知菲律宾语仍属于语言资源较为缺乏的低资源语言,在菲律宾语自然语言处理领域,现有研究比较宽泛但不深入,与英语、汉语等语种的自然语言处理研究相比,还存在较大差距;相较而言,英菲平行语料库构建及其机器翻译的研究取得了较大进展,而其他领域研究进展相对缓慢。总体来说,通过跨语言处理技术构建跨语言平行语料库,推动深度学习应用于菲律宾语自然语言处理的方法研究,探讨基于规则、图模型、结构等方法对菲律宾语文本自动摘要的适用性,将是未来菲律宾语自然语言处理的主要研究方向。     

潜在语义分析与篇章理解

篇章理解是语言教学中贯穿始终的一个重要环节,是表达的基础。文章通过对潜在语义分析理论与技术的探讨,结合听力、阅读与写作教学的实际情况,认为LSA的理论与技术能够应用于诸如提纲分析、概要写作等主观题训练的分数等级评判工作之中。这能够减轻教学压力,有效提高非英语专业学生听、读、写语言综合能力,从而将自主学习与合作学习的思想落实到实处。     

基于堆栈式稀疏自编码器的高光谱影像分类

为挖掘高光谱影像数据的内在光谱特征,该文基于深度学习理论,引用堆栈式稀疏自编码器构建原始数据的深层特征表达。首先通过稀疏自编码器,得到原始数据的稀疏特征表达。其次通过逐层学习稀疏自编码器构建深度神经网,输出原始数据的深度特征。最后将其连接到支持向量机分类器,完成模型的精调。实验结果分析表明:基于堆栈式稀疏自编码器的最优分类模型,总体精度可达87.82%,优于实验中的其他方法,证明了深度学习方法在高光谱影像处理中具有良好的分类性能。     

应用深度强化学习的压边力优化控制

为改善板料拉深制造的成品质量,采用深度强化学习的方法进行拉深过程的压边力优化控制. 提出一种基于深度强化学习与有限元仿真集成的压边力控制模型,结合深度神经网络的感知能力与强化学习的决策能力,进行压边力控制策略的学习优化. 基于深度强化学习的压边力优化算法,利用深度神经网络处理巨大的状态空间,避免了系统动力学的拟合,并且使用一种新的网络结构来构建策略网络,将压边力策略划分为全局与局部两部分,提高了压边力策略的控制效果. 将压边力的理论知识用于初始化回放经验池,提高了深度强化学习算法在压边力控制任务中的学习效率. 实验结果表明,与传统深度强化学习算法相比,所提出的压边力控制模型能够更有效地进行压边力控制策略优化,成品在内部应力、成品厚度以及材料利用率3个质量评价指标的综合表现优于传统深度强化学习算法. 将深度强化学习中的策略网络划分为线性部分与非线性部分,并结合理论压边力知识来初始化回放经验,能够提高深度强化学习在压边力优化控制中的控制效果,提高算法的学习效率.     

Using Vector Representation of Propositions and Actions for STRIPS Action Model Learning

Action model learning has become a hot topic in knowledge engineering for automated planning. A key problem for learning action models is to analyze state changes before and after action executions from observed "plan traces". To support such an analysis, a new approach is proposed to partition propositions of plan traces into states. First, vector representations of propositions and actions are obtained by training a neural network called Skip-Gram borrowed from the area of natural language processing (NLP). Then, a type of semantic distance among propositions and actions is defined based on their similarity measures in the vector space. Finally, k-means and k-nearest neighbor (kNN) algorithms are exploited to map propositions to states. This approach is called state partition by word vector (SPWV), which is implemented on top of a recent action model learning framework by Rao et al. Experimental results on the benchmark domains show that SPWV leads to a lower error rate of the learnt action model, compared to the probability based approach for state partition that was developed by Rao et al.     

基于深度学习的钝体断面外形气动性能高效预测方法

对于气动性能,钝体断面的气动外形非常重要,采用传统风洞试验及CFD模拟计算得到钝体断面气动性能需消耗大量时间,大大影响钝体断面气动外形的气动性能评估效率。通过卷积神经网络深度学习技术实现对气动性能的快速预测,深度学习模型训练完成后,输入形状信息和与形状相关的流场信息,即可输出不同几何形状下的阻力系数,进而得到钝体断面的气动性能。为寻找性能最优的深度学习模型,通过综合判定误差和参数量大小对卷积神经网络结构的深度和宽度进行优化。对深度学习模型输出阻力系数与CFD计算结果进行对比发现,误差符合预期要求,并且相较于传统方法,基于深度学习网络的预测所需时间达到数量级的提升,未来可作为钝体断面气动外形优化的关键方法。     

基于深度学习的机械轴承故障智能诊断

智能故障诊断对于提高智能制造的可靠性具有重要意义。基于深度学习的故障诊断方法在工业领域已经取得了很大的成功,但是不同的模型提取的特征存在一定的差异。针对数据特征提取不全面等问题,提出一种基于深度学习的融合网络模型(CLOD)。首先通过傅里叶变换对故障信号进行时频分析,得到时频谱样本,然后将样本送入经过LSTM模型和改进的CNN模型融合后的卷积网络模型(CLOD)中训练学习,最后通过更新网络参数来提高模型性能,实现轴承故障精确智能诊断。与传统方法比较,CLOD在保证准确率的基础上,极大的增加了模型的拟合速度和稳定性。     

基于深度卷积神经网络的高光谱遥感图像分类

传统的高瀑布图像分类模型只考虑光谱特征信息,忽略了图像空间结构信息在分类中的重要作用。为提高高光谱遥感图像的分类精度,提出一种同时利用高瀑布图像的光谱信息和空间信息的深度卷积神经网络分类模型。通过对低层特征自动分层地学习来提取更加抽象的高层特征,提取的特征具有平移、缩放及其他形式扭曲等高度不变性;基于学习到的深度特征,用logistic回归分类器进行分类训练。高光谱数据实验结果表明,深度卷积神经网络模型能够提高高光谱遥感图像的分类精度,从而验证了深度卷积神经网络进行高瀑布图像分类的可行性和有效性。     

基于BI-LSTM-CRF模型的中文分词法

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中。提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系。利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能。