语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合.多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

结合单词-字符引导注意力网络的中文旅游文本命名实体识别

传统基于词向量表示的命名实体识别方法通常忽略了字符语义信息、字符间的位置信息,以及字符和单词间的关联关系。提出一种基于单词-字符引导注意力网络（WCGAN）的中文旅游命名实体识别方法,利用单词引导注意力网络获取单词间的序列信息和关键单词信息,采用字符引导注意力网络捕获字符语义信息和字符间的位置信息,增强单词和字符间的关联性与互补性,从而实现中文旅游文本中命名实体的识别。实验结果表明,WCGAN方法在ResumeNER和TourismNER基准数据集上的F值分别为93.491%和92.860%,相比Bi-LSTM+CRF、Char-Dense等方法识别效果更好。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑。针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型。以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时序依赖以及长期时序依赖中的时间漂移问题,精准预测下一时段的站级客流量。在真实数据集上的实验结果表明,与历史平均模型、长短期记忆网络模型和双向长短期记忆网络模型等基线模型相比,该模型在均方误差（RMSE）、平均绝对误差与平均绝对百分比误差上均有所提升,其中RMSE提升22.89%。     

结合注意力机制与BIM特征的电力能耗预测

能耗预测中引入外因序列有助于目标序列的预测,但在实际应用中各个外因序列与目标序列之间的相关程度往往不清晰,导致无法有效利用多外因序列辅助预测.针对该问题,提出一种结合注意力机制与BIM特征的电力能耗预测模型——BIMAttenNN(BIM Attention Nerual Network).通过结合注意力机制与BIM特征对外因序列自动选取并重构,将重构特征通过编码器-解码器结构的深度神经网络和线性回归分支准确预测未来电力能耗.实验结果表明,BIMAttenNN能够结合BIM特征自动捕捉电力序列间关系,与传统方法相比具有更高的预测精度.     

基于翻译结构的相对位置注意力机制推荐模型

基于注意力机制的推荐模型在进行特征提取时用到的绝对位置是一个静态且孤立的信息.为克服上述缺点,提出基于翻译结构的相对位置注意力机制推荐模型.以时序排列用户历史行为并构造相对位置表征,分别在计算注意力权重和输出中加入相对位置表征,加深注意力编码层和解码层并用平均注意力进行预处理.实验结果表明,与基于注意力机制的模型相比,所提模型更能捕获用户偏好的动态变化,挖掘更深层的信息,更适合处理长序列.     

基于AB-CNN-BiLSTM心衰死亡率预测模型

为了更有效地分配医疗资源并辅助医生诊疗,需要对ICU患者的死亡率做出更快、更准确的预测,提出一种融合注意力机制的CNN-BiLSTM ICU患者心衰死亡率预测模型。对MIMICIII数据集提供的入院48小时的数据进行一系列预处理操作;通过卷积神经网络模型(CNN)及双向长短期记忆神经网络模型(BiLSTM)考虑不同参数之间的空间联系,同时关注数据时间维度上的变化;引入注意力机制赋予特征权重。实验表明,该预测模型能够有效地对ICU患者心衰死亡率进行预测,提高死亡率预测的准确性。     

基于注意力交叉的点击率预测算法

探索大规模稀疏数据背景下的交叉特征,对提高推荐系统的点击率预测精度十分重要,现有方法往往通过显式暴力枚举或隐式DNN提取完成特征交叉,其掺杂了大量无用、冗余特征,极大地限制了点击率预测模型的表现.对此提出一种显式和隐式相结合的新型特征交叉网络(Deep&Attention Cross Network,DACN).通过引入基于注意力机制的动态交叉网络,实现以线性空间复杂度完成指定阶显式特征组合,同时消除无用、冗余特征带来的影响.经过实验验证,DACN在预测准确性和参数占用方面相较于现有方法都有提升.     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

利用自注意力机制的大规模网络文档情感分析

针对社交网络文档(推文)情感分类复杂且准确度低的问题,基于M apReduce平台,提出一种利用自注意力双向分层语义模型的大规模网络文档情感分析方法.通过相似度计算对所有待分析的推文进行预归类,利用自注意力双向分层语义模型进行语义分类,准确分辨推文中词汇的情感类别,利用Hadoop框架和Hadoop分布式文件系统(HDFS)以及M apReduce编程模型实现提出的推文情感分类方法.实验结果表明,提出方法能够准确对大规模推文和词汇语义进行辨识,具有较高的计算效率,提高了情感分析的求解速度和准确度.