| 基于概率统计技术和规则方法的新词发现 |
| |
| 引用本文： | 贾自艳,史忠植. 基于概率统计技术和规则方法的新词发现[J]. 计算机工程, 2004, 30(20): 19-21,83 |
| |
| 作者姓名： | 贾自艳 史忠植 |
| |
| 作者单位： | 中国科学院计算技术研究所,北京,100080;中国科学院研究生院,北京,100039;中国科学院计算技术研究所,北京,100080 |
| |
| 基金项目： | 国家自然科学基金资助项目60173017,90104021),北京市自然科学基金资助项目(4011003) |
| |
| 摘 要： | 新词／短语的识别是自然语言处理、信息检索和机器翻译等领域的一项基础研究。该文分析了已有短语抽取技术,并结合汉语特点,提出了基于概率统计技术和规则方法相结合的概念抽取方法。该方法包括高效的“二元语法”统计模型、统计算法、统计选词策略、丰富的规则知识和规则过滤算法。实验证明该方法适用于从大规模语料库中自动高效地发现新词／短语。
|
| 关 键 词： | 新词发现 短语抽取 二元语法 语料库 |
| 文章编号： | 1000-3428(2004)20-0019-03 |
Probabilistic Techniques and Rule Methods for New Word Discovery |
| |
| JIA Ziyan,,SHI Zhongzhi. Probabilistic Techniques and Rule Methods for New Word Discovery[J]. Computer Engineering, 2004, 30(20): 19-21,83 |
| |
| Authors: | JIA Ziyan SHI Zhongzhi |
| |
| Affiliation: | JIA Ziyan1,2,SHI Zhongzhi1 |
| |
| Abstract: | New word and phrase discovery is basic research in fields of NLP, IR and MT. The paper gives the method based on probabilistic techniques and rules for new word discovery via analyzing the current techniques of phrase extraction and combining the specialties of Chinese. This method includes the "bi-gram" probabilistic model, the statistical algorithm, the rich rules and rule-based algorithm for word filtering. Experiments show that this technique is fit for automatically and effectually extracting new words/phrases from large corpora. |
| |
| Keywords: | New word discovery Phrase extraction Bi-gram Corpus |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
