|
|||||
|
|
| 跨语言相似文档检索 | |
| 作者姓名： | 王洪俊 施水才 俞士汶 肖诗斌 |
| 作者单位： | 1. 北京大学 计算语言研究所,北京100080; 2. 北京信息工程学院 中文信息处理研究中心,北京100101 |
| 基金项目： | 国家重点基础研究发展计划(973计划);国家高技术研究发展计划(863计划);北京市科技攻关项目;国家自然科学基金;北京市教委科研项目 |
| 摘 要： | 检索一篇文档在其他语言中的译文对于双语平行语料库的建立是一件很有意义的工作。本文提出一种改进的跨语言相似文档检索算法,该算法使用双语词典或统计翻译模型作为双语知识库,查找两篇文档的共同翻译词对,把翻译词对的权重作为一种特征来进行相似度计算,用Dice方法的改进算法计算双语文档的相似度。在实验中,统计检索文档的译文排在检索结果前 N位的总次数来评价算法的性能,并使用了两个噪音数据集来评价算法的有效性。实验表明,在噪音数据干扰比较大的情况下,译文排在检索结果前5位的译文结果接近90%。实验证明,翻译词对的权重对于相似度计算有很大帮助,本算法可以有效地发现一种语言书写的文档在另一种语言中的译稿。 |
| 关 键 词： | 计算机应用 中文信息处理 跨语言相似文档检索 文档相似度 双语文档对齐 |
| 文章编号： | 1003-0077（2007）01-0030-08 |
| 收稿时间： | 2005-01-02 |
| 修稿时间： | 2006-06-23 |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ | |
| 点击此处可从《中文信息学报》浏览原始摘要信息 | |
| 点击此处可从《中文信息学报》下载全文 | |