对称和非对称词语聚类模型的比较研究

词语聚类是语音识别、智能信息检索等领域的一个重要的自然语言处理问题。实现基于互信息的对称聚类模型,并针对该模型未考虑词语顺序的缺陷,提出一种新的非对称聚类模型。按照聚类词相对其他词语的位置关系,该模型分为2个子模型,即条件聚类模型和预测聚类模型。在大规模数据集上的实验表明,相对于对称聚类模型,非对称聚类模型是一种更为有效的词语聚类模型。     

基于向量空间模型的词共现研究及其在文本分类中的应用

文中提出了一种基于向量空间模型的词共现模型算法,通过选取整篇文档为窗口单元,统计中高频特征词的共现信息,改进了模型的效果,并将得到的词共现资源应用于文本分类的研究中.实验证明其使分本分类系统的性能得到了一定程度的提高.     

中文分词对中文信息检索系统性能的影响

中文分词作为中文信息处理最重要的预处理手段被广泛应用,该文从两个方面(检索精度和召回率)深入研究了中文分词精度和分词算法对中文信息检索性能的影响。此外,提出了两个假设,并在此基础上给出了一种提高中文信息检索系统性能的方法。实验表明,新方法能够取得很好的结果,证实了这两个假设。