基于微博内容的新词发现方法 |
| |
引用本文: | 霍,帅,张,敏,刘奕群,马少平.基于微博内容的新词发现方法[J].模式识别与人工智能,2014(2):141-145. |
| |
作者姓名: | 霍 帅 张 敏 刘奕群 马少平 |
| |
摘 要: | 新词发现在自然语言处理领域具有重要意义,在微博内容上的新词发现比在一般语料上更难.文中提出引入词关联性信息的迭代上下文熵算法,并通过上下文关系获取新词候选列表进行过滤.为进一步提高精度,引入自然语言处理中的词法特征,提出与统计特征相结合的过滤方法.与现有方法相比,准确率和召回率均有大幅提高,F-值提高到89.6%.
|
关 键 词: | 新词发现 上下文熵 未登录词提取 |
本文献已被 CNKI 等数据库收录! |
|