结合一维扩展卷积与Attention机制的NLP模型

自然语言处理作为人工智能的一个分支,在日常生活中有着广泛的应用。随着循环神经网络在自然语言处理领域的应用以及循环神经网络的不断演进与迭代,自然语言处理有了很大的飞跃。循环神经网络也因此迅速成为自然语言处理领域的主流算法,但是其具有结构复杂和训练时间漫长的缺点。提出一种基于一维扩展卷积和Attention机制的自然语言处理模型,利用一维扩展卷积提取语言文本的深层特征,再通过Attention机制给深层特征分配权重以整合各个时序特征。实验结果表明,该模型只需循环神经网络约30%的训练时间,就能达到与循环神经网络相近的性能,验证了该模型的有效性。     

基于RoBERTa的社交媒体会话中的讽刺检测模型

讽刺是社会媒体中常用的修辞手法,在一些社交平台上（Twitter、Reddit）普遍存在,用比喻、夸张等方式对人或事进行否定、批评或嘲笑。讽刺检测任务对于理解人们实际的情感和信念至关重要。针对拥有会话上下文的目标文本进行讽刺检测,提出了一种基于RoBERTa的社交媒体会话中的讽刺检测模型。该模型主要由两个部分构成：前者是特征抽取层,采用更加鲁棒的迁移学习模型RoBERTa,对会话上下文文本和目标文本分别进行特征的学习;后者是特征融合层,由于目标文本是对会话上下文的回复,考虑到单纯的级联并不能很好地学习两者之间的对话关系,采用了改进版的attention-over-attention（AOA）注意力模型,使得目标文本可以关注到会话上下文中重要的信息。在公开的Twitter和Reddit两个数据集上进行了实验,验证了模型的有效性,还分析了对于目标文本的讽刺检测,有无会话上下文以及会话上下文数量的多少对模型性能的影响。     

结合GloVe和GRU的文本分类模型

文本分类有着广泛的应用,对其分类算法的研究也一直备受关注。但是,传统文本分类算法普遍存在文本特征向量化维度过高、没有考虑关键词之间语义关系、训练参数过多等问题,这些都将影响到分类准确率等性能。针对这些问题,提出了一种结合词向量化与GRU的文本分类算法。对文本进行预处理操作;通过GloVe进行词向量化,尽可能多地蕴含文本语义和语法信息,同时降低向量空间维度;再利用GRU神经网络模型进行训练,最大程度保留长文本中长距离词之间的语义关联。实验结果证明,该算法对提高文本分类性能有较明显的作用。     

新疆尼勒克县-精河县奈楞格勒一带铜钼矿地球化学特征

莱历斯高尔钼矿是新疆地矿局在西天山地区求证的一处斑岩型矿床。钼矿处于哈萨克斯坦-准噶尔板块伊犁-伊塞克胡微板块博罗科努古生代复合岛弧带西段南侧。矿区见晚奥陶世、晚志留世地层及侵入其中的二长花岗岩、花岗闪长斑岩体,矿体产于晚泥盆世花岗闪长斑岩及其外接触带(角岩化粉砂岩)中。主要就该矿区的地球化学特征进行讨论。     

面向家居用户行为预测的BiGRU-DAtt模型研究

针对目前智能家居用户行为预测方法准确率低、通用性差以及缺乏人性化的问题，提出一种基于BiGRU-DAtt模型的智能家居用户行为预测方法。该方法根据智能家居用户操控行为数据具有服从幂律分布与对称性两大特点，基于双向门控循环（BiGRU）神经网络挖掘用户操控行为之间的关系，基于注意力机制重点关注一定范围内具有对称性的操控行为，使用真实用户操控记录进行对比实验。结果表明该方法能够充分挖掘用户操控智能设备之间的关联关系以及用户的行为习惯，实现高准确率的用户行为预测。     

PPO强化学习的多智能体对话策略学习方法

对话策略是面向任务的对话系统中的关键组件,给定当前对话状态输出下一个系统动作.近年来,对话策略学习已被广泛地描述为强化学习问题.一种常见的方法是让对话智能体与用户模拟器互动学习.然而,构建一个可靠的用户模拟器并不是一件容易的事,通常与构建一个好的对话代理一样困难.为了避免显式地构建一个用户模拟器,提出了一种PPO强化学习的多智能体对话策略学习方法,将系统端和用户端都构建为智能体.该方法主要通过两个阶段进行策略学习：1)阶段1是模仿学习,采用模仿学习中的行为克隆的方式,对系统策略和用户策略进行预训练;2)阶段2是多智能体强化学习,采用一种数据样本利用率更高以及鲁棒性更好的近端策略优化(PPO)算法,对系统端和用户端的对话策略进行学习.最后,在公开的多域多意图的面向任务的对话语料MultiWOZ上进行了实验,验证了方法的有效性,还分析了在复杂任务中的可伸缩性.此外,将学到的对话策略集成到ConvLab-2平台上进行整体效果评估.     

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性。以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息。针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性。首先使用双向长短时记忆网络来学习句子的词序关系,捕捉句中上下文的语义信息;其次引入位置信息后,通过图卷积网络来学习句中的语法信息;然后通过一种掩码机制提取方面词;最后使用交互注意力机制,交互计算特定方面的上下文表示,并将其作为最后的分类特征。通过这种优势互补的设计,该模型可以很好地获得聚合了目标方面信息的上下文表示,并有助于情感分类。实验结果表明,该模型在多个数据集上都获得了优秀的效果。与未考虑语法信息的Bi-IAN模型相比,该模型在所有数据集上的结果均优于Bi-IAN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较Bi-IAN模型分别提高了4.17%,7.98%和8.03%;与同样考虑了语义信息和语法信息的ASGCN模型相比,该模型的F1值在除了LAP14数据集外的其他数据集上均优于ASGCN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较ASGCN模型分别提高了2.05%,1.66%和2.77%。     

面向高维数据的个人信贷风险评估方法

随着电商平台分期付款方式和P2P信贷平台的不断推广,如何从海量的用户信贷数据中挖掘出潜在的用户模型并对未知用户进行信贷风险评估,以降低信贷业务的风险,已经成为研究的主流。针对现有方法无法高效处理高维度信贷数据的问题,使用一系列的数据预处理方法和基于Embedded思想的特征选择方法XGBFS（XGBoost Feature Selection）,以降低用户信贷数据维度并训练出XGBoost评估模型,最终实现用户信贷风险评估。实验表明,与现有的方法相比,该方法能够从高维的数据中选择出重要属性,并且分类器在精确率、召回率等方面具有较为突出的性能。     

新源县-和静县玉希莫勒盖达坂一带铜(金)矿成矿条件研究

玉希莫勒盖一带铜金矿区,位于新疆和静县玉希莫勒盖达坂附近,构造上属于阿吾拉勒—伊什基里克晚古生代弧后盆地,是重要的铜、金、铁成矿带。主要就区域地质、物化探异常特征等因素讨论成矿条件、成矿规律和找矿远景。