自然语言处理预训练模型的研究综述

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。     

侧扫雷达在线测流系统研究与应用

为加快水文监测新技术与装备在水文测报中的应用,在云南允景洪水文站建设了一套侧扫雷达在线测流系统示范应用站。侧扫雷达在线测流系统,通过非接触式雷达技术,实现对河流表面流场、网格点流速进行连续监测;结合同步监测水位,从而实现全天候、连续自动河流流量监测与数据传输。通过对侧扫雷达表面流速的分析,建立表面流速模型推算出的侧扫雷达断面平均流速与ADCP实测断面平均流速进行关系曲线检验,其系统误差、符号检验、适线检验、偏离数值检验及不确定度均为合格,侧扫雷达在线测流系统测验精度符合规范要求。     

RQ30D多传感器在线测流系统在高原地区的应用

针对西藏高原河流流量监测的特殊性,无法实现突发洪水高流速下的流量水位自动测量要求,利用非接触雷达波谱技术对河流水位和流速开展自动测验,在阿里地区建立一套非接触式流量在线自动监测站(RQ30D)。在极其恶劣的条件下,能不间断地测量并记录数据,对比分析实测资料,在线测流设备各项指标符合《河流流量测验规范》要求,流速流量站装置结构精简,支架安装简单,实现全天候全自动测流,更好地为高原地区特殊条件下防汛决策指挥、水资源管理和水文测验等提供技术支撑,为将来特殊条件下河流测流技术应用打下基础。