利用上正文信息解决汉语自动分词中的组合型歧义

组合型歧义切分字段一直是汉语自动分词研究中的一个难点。该文将之视为与Word Sense Disambiguation(WSD)相等价的问题。文章借鉴了WSD研究了广泛使用的向量空间法，选取了20个典型的组合型歧义进行了详尽讨论。提出了根据它们的分布“分而治之”的策略，继而根据实验 定了与特征矩阵相关联的上下文窗口大小、窗口位置区分、权值估计等要素，并且针对数据稀疏问题，利用词的语义代码信息对征矩阵进行了降维处理，取得了较好的效果。笔者相信，这个模型对组合型歧义切分字段的排歧具有一般性。