基于预训练模型的关系抽取研究综述

近年来随着深度学习技术的不断革新,预训练模型在自然语言处理中的应用也越来越广泛,关系抽取不再是单纯地依赖传统的流水线方法。预训练语言模型的发展已经极大地推动了关系抽取的相关研究,在很多领域已经超越了传统方法。首先简要介绍关系抽取的发展与经典预训练模型;其次总结当下常用的数据集与评测方法,并分析模型在各数据集上的表现;最后探讨关系抽取发展的挑战与未来研究趋势。     

跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。     

基于PP-PicoDet技术的智能垃圾分类

目前在垃圾分类目标检测上大多采用YOLOv5系列算法,该算法在相同参数量的情况下,检测精度和检测速度都相对不太高,难以满足实际应用需求。论文对基于PP-PicoDet技术的垃圾分类目标检测应用进行了研究,并将其与几种常见的垃圾分类目标检测算法进行实验对比分析;结果表明,PP-PicoDet算法能够在使用更少的参数量的情况下,实现较高的检测精度和速度,能够满足移动端部署需求。     

融合双注意力机制的人群计数算法

针对背景复杂、遮挡、人群分布不均等人群计数常见问题,提出了一种结合联合损失的空间-通道双注意力机制卷积神经网络模型(joint loss-based space-channel dual attention network, JL-SCDANet).该网络前端进行图像粗粒度特征提取,中间加入空间注意力机制以及通道注意力机制突出图像重点区域,后端使用可加大感受野且不丢失图像分辨率的空洞卷积提取深层二维特征.此外,该模型结合联合损失函数进行训练,以增强模型的鲁棒性.为了验证模型的改进效果,在3个公共数据集(ShanghaiTech Part B、mall和UCF＿CC＿50)上分别进行了对比实验,在ShanghaiTech Part B数据集中平均绝对误差(MAE)和均方误差(MSE)分别达到了8.13和13.13;在mall数据集中MAE、MSE达到了1.78和2.28;在UCF＿CC＿50数据集中MAE、MSE分别达到了182.12和210.24,实验结果证明了该网络在提高人数统计准确率上的有效性.     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于Conv1d-LSTM模型的能源分配预测

能源分配问题往往与其所在区域环境有关,能源分配的预测可以通过当地环境因素数据来推测之后对该区域的能源分配数值,最大程度上分配好能源. LSTM网络预测短期效果良好,但预测较长时期的数据会导致误差积累,速度慢且准确性差; Informer是近期新提出的能源预测算法模型,速度快但在该任务上预测能力不够.本文提出Conv1d-LSTM模型,预测结果优于上述两个模型,具有更低的平均绝对误差和均方根误差.     

基于改进YOLOv3的智慧足球场行人检测

由于足球比赛场景中密集人群、移动小目标居多, YOLOv3算法存在检测精确度较低且模型参数量较大等问题, 使其无法部署在资源算力有限的移动设备上, 本文提出了一种基于改进YOLOv3的行人检测方法, 将Darknet-53主干特征提取网络替换为更加高效且轻量化的GhostNet网络; 同时选取了4个尺度的检测分支层并采用K-means++算法改善anchor box的聚类效果; 添加空间金字塔池化对输入图像实现相同大小的输出; 提出CIoU损失函数来计算目标定位损失值; 添加heatmap热力图可视化并在训练中使用Mosaic数据增强. 实验结果表明, YOLOv3-GhostNet在VOC融合数据集上mAP达到90.97%的同时相比YOLOv3算法提高了1.75%, 参数量减少了约81.4%且实时检测速率提高了约1.5倍, 在小型移动设备上表现出不错的检测效果.     

融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

基于自注意力机制模拟实体信息的实体关系抽取

在信息抽取领域,从非结构化文本中抽取实体关系是一项基础且重要的任务,且面临实体重叠和模型误差累积等挑战.本文以关系为导向,提出一种改进的实体关系联合抽取方法.该方法将实体关系抽取任务分为关系抽取与实体抽取两个子任务.在关系抽取任务上采用自注意力机制关注词与词之间的重要程度从而模拟实体信息,并使用平均池化来表征整个句子信息;在实体抽取任务上结合关系信息使用条件随机场识别该关系下的实体对.本模型不仅能够利用存在关系必定存在实体对的思想解决实体对重叠问题,还能够在训练过程中利用数据集中已知的关系使实体抽取模块不依赖于关系抽取模块的结果来训练,从而在训练阶段避免误差累积.最后,在WebNLG和NYT公开数据集上验证了该模型的有效性.     

基于深度学习的自然灾害遥感影像语义分割

自然灾害种类繁多, 通过遥感影像语义分割相对比较困难. 为了能够更好实现遥感影像分割, 本文提出一种基于生成对抗网络的3层遥感影像语义分割模型, 针对不同场景的解析, 基于全卷积神经网络FCN, 设计一种多层次的遥感语义分割框架. 有效对遥感图像语义分割进行处理, 从而提高了模型的分割精度. 实验表明利用这种模型是有效的, 特别是受损建筑的分割结果, mIoU为82.28%, 通过该模型与其他网络模型进行对比, 其性能评价指标明显优于其他网络模型. 最后, 通过对自然灾害各种场景影像进行分析, 为应急管理部门提供一份可靠的数据报告.