基于多源信息融合的分布式词表示学习

分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而,这类基于神经网络的词表示模型有以下不足: (1) 罕见词由于缺乏充分上下文训练数据,训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息; (2) 中心词语的反义词出现于上下文时,会使意义完全相反的词却赋予更近的空间向量表示; (3) 互为同义词的词语均未出现于对方的上下文中,致使该类同义词学习得到的表示在向量空间中距离较远。基于以上三点,该文提出了一种基于多源信息融合的分布式词表示学习算法(MSWE),主要做了4个方面的改进: (1) 通过显式地构建词语的上下文特征矩阵,保留了罕见词及其上下文词语在语言训练模型中的共现信息可以较准确地反映出词语结构所投影出的结构语义关联; (2) 通过词语的描述或解释文本,构建词语的属性语义特征矩阵,可有效地弥补因为上下文结构特征稀疏而导致的训练不充分; (3) 通过使用同义词与反义词信息,构建了词语的同义词与反义词特征矩阵,使得同义词在词向量空间中具有较近的空间距离,而反义词则在词向量空间中具有较远的空间距离; (4) 通过诱导矩阵补全算法融合多源特征矩阵,训练得到词语低维度的表示向量。实验结果表明,该文提出的MSWE算法能够有效地从多源词语特征矩阵中学习到有效的特征因子,在6个词语相似度评测数据集上表现出了优异的性能。     

一种基于词聚类的文本特征描述方法

针对文本挖掘中存在的特征空间高维性问题,提出了一种基于词聚类的文本特征描述方法,旨在通过机器学习的方法挖掘词汇之间的语义关联,动态构造特定领域的概念词典,借助构造的概念来描述文本的特征,该方法不借助主题词典,先从训练语料中对词的共现情况进行分析,用词聚类(word clustering)生成由种子词(seedwords...     

基于查询词扩展的文本检索算法研究

针对文本检索中所使用的查询词可能与文本词语不匹配而影响检索效果这一问题,提出了一种基于上下文的查询词扩展的方法,该方法根据查询词出现的上下文信息进行扩展词选择,同时考虑到查询扩展词与整个查询语句以及查询词的位置关系。实验结果表明,该方法大大提高了平均查准率。     

基于词向量的藏文语义相似词知识库构建

词向量在自然语言处理研究的各个领域发挥着重要作用。该文从语言学角度出发,讨论了词向量技术与语言学理论的关系;根据词向量的特征,提出利用藏文词向量构建语义相似词知识库。该文以哈尔滨工业大学的《词林》为基础,通过汉藏双语词典对译,在获取对译词的词向量的基础上,计算对译词的词向量与原子词群平均词向量的差值,利用不同的差值,自动筛选出与原子词群语义相似度较小的词。该文分别以藏文的词和音节为单位计算词向量,自动筛出不属于原子词群的词,通过对自动筛选结果与人工筛选结果对比,发现两者具有较高的一致性,这说明词向量计算结果与人的语言直觉具有较高的一致性。总体来说,该文所采用的方法有助于提高藏文语义相似词知识库构建效率。     

基于互补子词单元词图融合的集外词识别*

混合模型在进行集外词识别时,采用不同类型的子词单元通常具有性能上的互补性.基于此种情况,文中提出互补子词单元词图融合的集外词识别方法.首先分别采用音节和字母音素对搭建2套具有性能差异性的混合模型系统.然后获得这2套系统的识别词图,并合并处理词图中的子词单元.最后分别采用基于词图并集和基于词图交集的融合策略融合处理后的词图,得到更好的集外词识别结果.实验表明文中方法性能优于单系统及ROVER方法.     

自然语言处理领域中的词嵌入方法综述

词嵌入作为自然语言处理任务的第一步，其目的是将输入的自然语言文本转换为模型可以处理的数值向量，即词向量，也称词的分布式表示。词向量作为自然语言处理任务的根基，是完成一切自然语言处理任务的前提。然而，国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线，而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述。以word2vec模型和Transformer模型作为划分点，从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度，将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法，并对此展开讨论。同时，针对词嵌入中的分词方法，包括整词切分和子词切分，进行了对比和分析；针对训练词向量所使用的语言模型，从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化，进行了详细列举和阐述；针对预训练语言模型时使用的训练策略进行了总结和探讨。最后，总结词向量质量的评估方法，分析词嵌入方法的当前现状并对其未来发展方向进行展望。     

基于Zipf Estimator的Deep Web最佳查询词选择

Deep Web的查询中、关键词的选择是一个关键问题。文中针对查询Deep Web中的文本数据库，对查询词的选择作出一些研究。将Zipf Estinator应用于根据查询词的频率选择词条的方法中，提出了用部分文档中的查询词的排序来得出整个文档集中查询词的排序的方法。将Zipf Estimator运用于查询词的选择，减少查询词选择时的运算量，以较少的查询次数得到较多的查询结果。测试结果证明了Zipf Estimator运用于查询词的选择可有效提高查询Deep Web中的文本数据库的效率。     

改进的增量词集频率主题词提取算法

为了解决基于增量词集频率的主题词提取算法不能提取合成词的问题,在原算法的基础上增加了文本预处理环节,即合成词识别。采用基于词性探测和词共现有向图算法识别文本中的合成词,并对分词结果进行修正。生成候选主题词集时,考察每个词的出现位置,根据不同的出现位置赋予不同的权重;然后累加获得同一个词的总权重,并按权重从高到低生成候选主题词集。提取主题词时逐个考察候选主题词集中的每一个候选主题词,计算其对主题词集权重的增量,若增量小于给定阈值,则主题词提取算法结束;否则将该候选主题词加入主题词集。实验结果表明,该算法取得了较好的效果,所获得的主题词能更贴切地反映文档的主题内容,主题词满意度比原算法提高了5个百分点。     

中文词聚类研究

词聚类是语言自动处理中一个重要的基础环节。针对中文词聚类研究中训练数据缺乏、质量不高而影响聚类效果这一主要障碍，本文提出一种面向中文的词聚类算法，算法以词的上下文分布相似度作距离量度；然后分析了仪依据距离量度进行中文词聚类的缺陷，提出词的临近空间概念，并根据词的临近空间概念进行聚类，使得在不用指定类的数
数目与大小的情况下，依靠词的内在语义进行聚类；最后，算法再将聚类结果作为计算相似度的依据，进行EM迭代聚类，使聚类结果得到明显优化。实验证明，算法有效地克服了中文训练数据的数量和质量问题，聚类结果好。     

基于词内部模式的新词识别

提出一种基于词内部模式的新词识别算法,该算法在重复串查找的基础上,结合词内部模式的特征提出改进位置成词概率和首尾单字成词概率的加权,依次判断互信息、邻接类别等统计量,对新词进行识别。通过不同的实验对比发现,该算法在一定程度上能有效提取新词。