首页 | 本学科首页   官方微博 | 高级检索  
     

信息过滤中的中文自动分词技术研究
引用本文:孙铁利,李晓微,张妍.信息过滤中的中文自动分词技术研究[J].计算机工程与科学,2009,31(3).
作者姓名:孙铁利  李晓微  张妍
作者单位:东北师范大学计算机学院,吉林,长春,130117
摘    要:文本信息过滤技术需要解决的一个重要问题是对文档进行形式化处理,使得文本成为可计算和推理的信息,而中文自动分词是中文信息处理的基础性工作。本文对中文自动分词的主要方法进行了研究分析,构造了分词的形式化模型,说明了自动分词中存在的两个最大困难及其解决方法,最后指出了中文自动分词研究中存在的问题及未来的研究工作。

关 键 词:中文自动分词  歧义  未登录词  形式化模型

Automatic Chinese Segmentation Study in Information Filtering
SUN Tie-li,LI Xiao-wei,ZHANG Yan.Automatic Chinese Segmentation Study in Information Filtering[J].Computer Engineering & Science,2009,31(3).
Authors:SUN Tie-li  LI Xiao-wei  ZHANG Yan
Affiliation:School of Computer Science;Northeast Normal University;Changchun 130117;China
Abstract:An important problem that the text information filtering technology needs to solve is the formal handling of documents,which makes the text become computable and reasoning information.The automatic Chinese word segmentation is a basic research issue on Chinese information processing.This paper analyzes the main methods of automatic Chinese word segmentation,builds a formal model of segmentation,notes two greatest difficulties in word segmentation and their solutions,and finally points out the existing probl...
Keywords:automatic Chinese segmentation  ambiguity  unknown word  formal model  
本文献已被 CNKI 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号