基于位置降噪和丰富语义的电子病历实体关系抽取

当前的电子病历实体关系抽取方法存在两个问题: 忽视了位置向量噪声和语义表示匮乏。该文提出一种基于位置降噪和丰富语义的实体关系抽取模型。模型首先利用位置信息和专业领域语料训练的词向量信息获取每个词的注意力权重,然后将此权重与通用领域语料训练的词向量结合,实现位置向量降噪和丰富语义引入,最后根据加权后的词向量判断实体关系类型。该方法在2010年i2B2/VA语料上进行实验评估,F₁值为76.47%,取得了基于该语料的最优结果。     

融合注意力LSTM的协同过滤推荐算法

针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量;最后,将用户与项目的潜在向量用于概率矩阵分解中,从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验,采用RMSE和Recall指标进行评估。实验结果表明,该模型与其他相关推荐算法相比在推荐性能上有所提升。     

基于领域知识的增强约束词向量

词向量是一种词语的数字化的表达。基于神经网络模型,利用语料中词语之间的上下文关系这一约束条件,通过大量训练得到词向量。词向量在表达词的语义上的表现给人以无限的希望与想象空间,基于词向量的文本分类、人机对话、智能检索等得到了广泛的研究。该文针对校园信息查询的特定应用,建立了所涉及词语的分类本体,除了利用语料中词语上下文关系外,还将本体知识作为约束条件进行词向量的训练,增强了词向量的语义表达。基于skip-gram模型,采用多任务的神经网络训练方法,在自己收集的语料上训练得到了针对领域的词向量。实验表明,基于领域知识的增强约束词向量能够更准确地表达词的语义信息。     

基于多重降噪自编码器模型的top ◢N◣推荐算法

针对传统降噪自编码器（DAE）中加噪操作的随机性影响预测精度的问题,以及数据矩阵忽视用户具体评分信息的问题,提出了一种结合用户评分的多重降噪自编码器（MDAE）。首先,在输入矩阵中引入具体评分信息,增加输入矩阵信息量;其次,为了在获得鲁棒性数据的前提下减轻加噪操作对预测精度的影响,构建了MDAE模型,将经过不同层次降噪得到的预测矩阵结合非降噪预测矩阵得出最终的预测结果;最后,将模型与其他模型在不同数据集上作实验对比。实验结果表明,结合用户具体评分的MDAE模型可以获得更优质的推荐结果。     

基于栈式降噪自编码器的协同过滤算法*

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生TOP-N推荐列表。Movielens数据集的实验表明,新算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏和项目之间没有共同用户评分就不能计算相似性的问题。     

融合评分和社会化标签的两阶段深度推荐方法

当前融合评分和标签的推荐方法对两种数据的挖掘程度有限,且大多数局限在提取浅层的线性特征层面.深度学习技术被成功应用于推荐方法,然而数据的稀疏性导致学习的潜在特征效果不好,因此,提出一种融合评分和社会化标签的两阶段深度推荐方法.首先,利用堆叠降噪自编码器分别从评分和社会化标签中提取用户、项目的潜在特征;其次,将学习的潜在特征进行拼接作为用户、项目完整的潜在特征,并与原始评分相结合构建监督学习数据集;最后,将构建的数据集作为BP神经网络的输入以训练评分预测模型.为降低训练误差,通过联合训练的方式进行参数学习.基于MovieLens、Last.FM数据集的实验表明,该方法与几种基准方法相比有更好的推荐性能.     

基于降噪自动编码器的推荐算法

传统的推荐算法一般采用用户项目评分矩阵学习潜在因素,了解用户的个人偏好并作出推荐,但在实际应用中,评分矩阵通常非常稀疏。针对传统推荐算法的不足,提出一种基于降噪自动编码器的推荐模型。首先用2个自动编码器来训练用户和项目的潜在因子矩阵,然后将学习到的隐含特征向量输入一神经网络来进行评分预测,最后根据新的评分矩阵作出推荐。实验结果表明,该算法提高了推荐结果的召回率,同时缩小了重构误差。     

注意力协同辅助变分推荐算法

针对推荐算法中辅助信息和用户评论输入的高维度和样本不足的问题,基于变分自动编码器的非线性建模能力,与注意力机制的关联数据增强的特质,提出了注意力协同辅助变分自编码器推荐模型（sVAE-a）。该模型采用协同辅助变分自动编码来对辅助信息进行建模;同时通过注意力机制将辅助信息结合到协同变分自动编码器架构中,对隐变量进行加强,为解码器提供更干净的特征;最后通过变分推断来对辅助信息和用户评论近似分布,通过训练参数得到推荐模型。在MovieLens-20M数据集上的实验结果表明,该方法无论在基本的召回率,还是进一步的覆盖率和归一化折损累计增益度（NDCG）指标上都有相应的提升。该模型易于实现,可结合不同类型的输入与辅助信息,提升推荐效能。     

基于混合自编码器的协同过滤推荐算法优化

协同过滤算法已广泛应用在推荐系统中,在实现新异性推荐功能中效果显著,但仍存在数据稀疏、扩展性差、冷启动等问题,需要新的设计思路和技术方法进行优化.近几年,深度学习在图像处理、目标识别、自然语言处理等领域均取得突出成果,将深度神经网络模型与推荐算法结合,为构建新型推荐系统带来新的契机.本文提出一种新式混合神经网络模型,该模型由栈式降噪自编码器和深度神经网络构成,学习得到用户和项目的潜在特征向量以及用户-项目之间的交互行为模型,有效解决数据稀疏问题从而提高系统推荐质量.该推荐算法模型通过MovieLens电影评分数据集测试,实验结果与SVD、PMF等传统推荐算法和经典自编码器模型算法作对比,其推荐质量得到显著提升.     

Transformer-CRF词切分方法在蒙汉机器翻译中的应用

基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法,其翻译质量较高且流畅度较好,但依然存在词汇受限、上下文语义信息丢失严重等问题。该文首先进行语料预处理,给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法。然后构建了基于Tensor2Tensor的编码—解码模型,为了从蒙古语语料中学习更多的语法和语义知识,该文给出了一种基于词素四元组编码的词向量作为编码器输入,解码阶段。为了进一步缓解神经网络训练时出现的词汇受限问题,该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验对比,表明模型在处理长时依赖问题上翻译性能得到提高。