一种适合无人机部署的轻量级YOLO剪枝模型

计算复杂度一直制约着目标检测算法在边缘端设备中的部署,利用模型剪枝方法,对流行的目前检测算法YOLOv3进行了精简,提出了一种适合于无人机部署的目标检测模型,在几乎不降低模型精度的前提下大大降低了模型的参数量和浮点计算量.通过L1正则化、几何中心匹配、通道剪枝、层剪枝、知识蒸馏等方法,对YOLOv3算法进行了剪枝和优化.     

基于改进Faster RCNN的输电线路航拍绝缘子检测

为提高航拍图像中输电线路绝缘子的检测准确性,提出一种改进的Faster RCNN网络模型.在原始Faster RCNN网络模型上运用多尺度训练,同时根据绝缘子自身特性调整滑动窗口产生的候选区域比例,并引入检测困难样本的对手生成策略,实现不同尺寸及部分遮挡输电线路绝缘子的准确检测.实验结果表明,改进的Faster RCNN网络模型相比原始Faster RCNN网络模型的检测精确度提升了4.33个百分点,能更准确地检测出目标绝缘子.     

一款基于运输机场飞行训练保障系统的分析与研究

飞行训练工作是为民航发展提供飞行人才,但在面对空域资源日趋紧张情况下,飞行训练工作压力日益增大,安全保障需要提高,以减轻管制和飞行指挥人员的工作负荷并有效提升工作效益.飞行训练保障系统研制的目的是针对运输机场和通用航空的特点,提出研制信息集成交换共享系统,保障航班和飞行训练安全.     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注．基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能．本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析．我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价．最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望．     

基于多任务预训练的AMR文本生成研究

抽象语义表示（abstract meaning representation,简称AMR）文本生成的任务是给定AMR图,生成与其语义一致的文本.相关工作表明,人工标注语料的规模大小直接影响了AMR文本生成的性能.为了降低对人工标注语料的依赖,提出了基于多任务预训练的AMR文本生成方法.特别地,基于大规模自动标注AMR语料,提出与AMR文本生成任务相关的3个预训练任务,分别是AMR降噪自编码、句子降噪自编码以及AMR文本生成任务本身.此外,基于预训练模型,在朴素微调方法的基础上,进一步提出了基于多任务训练的微调方法,使得最终模型不仅适用于AMR文本生成,同时还适用于预训练任务.基于两个AMR标准数据集的实验结果表明：使用0.39M自动标注数据,提出的预训练方法能够大幅度提高AMR文本生成的性能,在AMR2.0和AMR3.0上分别提高了12.27和7.57个BLEU值,性能分别达到40.30和38.97.其中,在AMR2.0上的性能为目前报告的最优值,在AMR3.0上的性能为目前为止首次报告的性能.     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

采用长短期记忆网络的深度学习方法进行网页正文提取

针对复杂网页上主题信息被过多地与主题无关的广告、导航、版权等噪声信息隐藏的问题,提出一种基于长短期记忆的深度学习正文提取方法(LTE).首先,设计一种根据超文本标记语言(HTML)中标签信息的数据划分策略:通过遍历HTML代码的文档对象模型(DOM)树来根据DOM树结构划分每一个具有文本信息的文本块;然后,通过预训练模型对每一个内容块的从属关系进行表征;最后,这些标签会被输入到用这种格式的数据预先训练好的长短期记忆(LSTM)网络模型进行主要内容正文判别.实验结果证明,模型能够有效拟合已标记的数据集,在训练集中的F1分数能稳定在0.96以上;对于不存在于训练集中的网页格式,对其正文的预测准确度也比两个传统正文抽取工具Readability和Newspaper3k的分别高47.54、19.02个百分点.由实验结果可知,LTE能够有效提取出网页中的正文内容.     

人机不确定条件下康复步行训练机器人的部分记忆迭代学习限速控制

为了提高康复步行训练机器人的跟踪精度及安全性,提出了一种带有运动速度约束和部分记忆信息的自适应迭代学习控制方法,目的是抑制人机不确定性及速度突变对系统跟踪性能的影响.在考虑人机不确定性的基础上,建立了康复步行训练机器人的动力学模型.提出了基于模型预测的速度约束方法,通过限制每个轮子的运动速度,约束了机器人的实际运动速度.进一步,利用受约束的运动速度建立了动力学跟踪误差系统,提出了具有部分记忆信息的自适应迭代学习控制器设计方法,并验证了跟踪误差系统的稳定性.仿真对比分析和实验研究结果表明,文中提出的控制方法能抑制人机不确定性并使康复者在安全速度下完成步行训练.     

基于BERT和BiLSTM的语义槽填充

语义槽填充是对话系统中一项非常重要的任务,旨在为输入句子的每个单词标注正确的标签,其性能的好坏极大地影响着后续的对话管理模块。目前,使用深度学习方法解决该任务时,一般利用随机词向量或者预训练词向量作为模型的初始化词向量。但是,随机词向量存在不具备语义和语法信息的缺点;预训练词向量存在“一词一义”的缺点,无法为模型提供具备上下文依赖的词向量。针对该问题,提出了一种基于预训练模型BERT和长短期记忆网络的深度学习模型。该模型使用基于Transformer的双向编码表征模型(Bidirectional Encoder Representations from Transformers,BERT)产生具备上下文依赖的词向量,并将其作为双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入,最后利用Softmax函数和条件随机场进行解码。将预训练模型BERT和BiLSTM网络作为整体进行训练,达到了提升语义槽填充任务性能的目的。在MIT Restaurant Corpus,MIT Movie Corpus和MIT Movie trivial Corpus 3个数据集上,所提模型得出了良好的结果,最大F1值分别为78.74%,87.60%和71.54%。实验结果表明,所提模型显著提升了语义槽填充任务的F1值。     

DragDL:一种易用的深度学习模型可视化构建系统

深度学习在各个领域得到了普遍的应用,但是用户在应用深度学习时仍然面临两方面的问题:1)深度学习有着复杂的理论背景,非专业用户缺乏建模以及调优的背景知识,难以构建性能优化的模型;2)数据预处理、模型训练、预测等过程往往涉及比较复杂的编程实现,给没有程序设计基础的非专业用户在入门时带来了一定的困难.针对以上两点易用性问题,文中提出了一种易用的深度学习模型可视化构建系统DragDL,其目的在于降低用户进行数据预处理、模型训练、监控、在线预测等工作的难度.该系统基于PaddlePaddle框架,支持以拖拽图形算子的方式在画布上搭建深度学习网络结构以及推理预测功能,并将数据预处理操作过程抽象成数据流图展示,以方便用户理解和调试.系统还提供训练过程中的质量监控和性能监控的可视化功能,帮助用户实时观察训练情况.同时,DragDL提供经典模型库帮助用户完成建模任务,支持以微调经典模型的方式构建新的模型,降低用户建模时的难度.DragDL基于集群服务器和Web客户端进行部署,服务器为每个训练任务构建虚拟机服务,并支持大规模异步任务调度,具有一定的并发处理能力.