基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

基于自注意力机制和CycleGAN的高分三号ScanSAR图像的扇贝效应抑制

高分三号卫星是我国首颗分辨率达到1 m的C波段 多极化合成孔径雷达(synthetic aperture radar,SAR) 卫星,其中扫描 式合成孔径雷达(scan synthetic aperture radar,ScanSAR)模式是高分三号卫星重要的工 作模式之一,由于该模式的工作机制导致生成的图像可能发生扇贝效应,一般呈现为明暗相 间的条纹。本文针对高分三号卫星ScanSAR模式下存在的扇贝效应,提出自注意力机制与循 环一致对抗网络(cycle-consistent adversarial networks,CycleGAN)结合的模型对Scan S AR图像进行处理,从而抑制扇贝效应产生的条纹现象。本文所示方法与传统扇贝效应抑制方 法和深度学习相关算法进行比较,并通过亮度均值、平均梯度等指标进行分析。实验结果表 明,本文方法可以对高分三号ScanSAR图像存在的扇贝效应进行较好的处理,有效抑制图像 的条纹现象,使得图像质量得到提升,具有较大的实用意义。     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.     

特征挖掘与区域增强的弱监督时序动作定位

弱监督时序动作定位旨在定位视频中行为实例的起止边界及识别相应的行为。现有方法尽管取得很大进展,但依然存在动作定位不完整及短动作的漏检问题。为此,提出了特征挖掘与区域增强（FMRE）的定位方法。首先,通过基础分支计算视频片段之间的相似分数,并以此分数聚合上下文信息,得到更具有区别性的段分类分数,实现动作的完整定位;然后,添加增强分支,对基础分支定位中持续时间较短的动作提案沿时间维度进行动态上采样,进而采用多头自注意机制对动作提案间的时间结构显式建模,促进具有时间依赖关系的动作定位且防止短动作的漏检;最后,在两个分支之间构建伪标签互监督,逐步改进在训练过程中生成动作提案的质量。该算法在THUMOS14和ActivityNet1.3数据集上分别取得了70.3%和40.7%的检测性能,证明了所提算法的有效性。     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

基于Transformer与距离图谱的泛癌细胞核图像分割

肿瘤细胞的密度、核质比和平均尺寸等指标对癌症的分级和预后有重要的意义.在计算病理学中,细胞核分割是肿瘤微环境分析的基础.通过对分割结果进行统计分析,对新的肿瘤标记物的探索有重大的意义.病理图像背景下的细胞核形态不规则,细胞核染色不均匀,且细胞核边缘之间存在黏连的问题,而现有的深度学习算法在细胞核主体分割正确的情况下,边缘的分割错误不会对总体的损失造成太大的影响,黏连的细胞核很容易被当作同一个分割目标.为了解决细胞核重叠问题,本文提出一种基于Transformer与距离图谱的分割模型,将Transformer中的核心多头自注意力机制与距离图谱引导算法相结合,重视细胞核内部,弱化细胞核边界,提升对图像局部和全局上下文信息的学习能力.本文方法在两个公开数据集上的平均Dice系数为0.797 9、精度为0.756 1、AJI系数为0.667 2、Hausdorff距离为10.11.实验结果表明,相较其他分割算法,本文方法的性能更好,能够有效提高细胞核的分割精度,同时较好地解决了细胞核之间的黏连问题.     

基于多特征自注意力BLSTM的中文实体关系抽取

实体关系抽取解决了原始文本中目标实体之间的关系分类问题,同时也被广泛应用于文本摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。由于中文句式和语法结构复杂,并且汉语有更多歧义,会影响中文实体关系分类的效果。该文提出了基于多特征自注意力的实体关系抽取方法,充分考虑词汇、句法、语义和位置特征,使用基于自注意力的双向长短期记忆网络来进行关系预测。在中文COAE 2016 Task 3和英文SemEval 2010 Task 8 数据集上的实验表明该方法表现出了较好的性能。     

基于全局自注意力的小麦图像识别

在实际应用场景下,通过图像识别的方式来识别小麦的病虫害具有极大的挑战性。与以往纯粹基于卷积神经网络（Convolutional Neural Network, CNN）的方法相比,将小麦图像转换成一系列视觉语言,并从全局视角进行小麦识别的方法是更可行和实用的。运用Convolutional Visual Transformers（CVT）来解决小麦识别分为2个环节。首先,利用2分支CNN生成的2种特征图来实现注意选择性融合(Attentional Selective Fusion, ASF)。ASF通过融合多个特征和全局-局部注意力来获取有区别的信息,并投射成一系列的视觉语言。其次,受Transformers在自然语言处理方面的成功启发,用全局自注意力来建模这些视觉语言之间的关系。将CVT与经典分类网络LeNet-5、ResNet-18、VGG-16、EfficientNet对比,识别率有所提升,同时该方法具有良好的泛化能力。