一种中文文档的非受限无词典抽词方法

本文提出了一种非受限无词典抽词模型,该模型通过自增长算法获取中文文档中的汉字结合模式,并引入支持度、置信度等概念来筛选词条。实验表明:在无需词典支持和利用语料库学习的前提下,该算法能够快速、准确地抽取中文文档中的中、高频词条。适于对词条频度敏感,而又对计算速度要求很高的中文信息处理应用,例如实时文档自动分类系统。     

一种新的基于统计的词典扩展方法

在建立统计语言模型时,往往会遇到词典的词汇量不够的问题。对于医学等专业领域的语料,这一问题尤为严重。针对这一问题,本文提出了一种新的基于统计的识别新词方法——右边缘扩展法。该方法对分词后的语料中产生的连续单字词进行关联范数估计,利用右边缘扩展的方法判断词的边界。在实验中,我们将右边缘扩展法与基于Witten-Bell back off方法的两两合并法相结合,循环地调整词典,优化语言模型。实验结果表明,该算法具有很高的识别正确率与检出率,可以有效地识别出语料中出现的新词汇,尤其是专业术语。     

面向特定领域的理解型中文自动文摘系统

自动文摘是计算机通信网提供智能业务的关键技术之一．介绍了一个面向特定领域－神经网络学习算法的理解型中文自动文摘系统．与其他文摘系统相比,该系统首次采用了基于全信息模型的自然语言理解理论,通过设计义块组配的方法避开了传统的语法语义分析系统所遇到的各种难题,并通过语用信息制导,将语句理解与文摘信息提取直接相连,大大提高了理解的效率和文摘生成的速度．测试结果表明该系统的整套方法是行之有效的．     

一种基于词典的搜索引擎系统动态更新模型

基于词汇标注的特征项提取方法是中文信息处理的有效方法,但词汇的析取是基于词典的,词典的涵盖程度决定了词汇切分的准确率,因而不断地学习新词汇、动态地维护词典,使整个中文信息处理系统具有自适应性和动态性就成了一个关键问题,以搜索引擎系统为例,提出了一种基于词典动态变化的搜索引擎系统更新理论模型和实现模型,相关实验表明,该模型对缩短搜索引擎信息库的更新时间、提高查询准确率等方面十分有效。     

一种无词典快速抽词算法的设计和实现

中文抽词在中文自然语言处理中是最基础的工作.本文提出了一种无词典的t-score和二分相结合的抽词算法.它首先对原始文本进行预处理.利用噪音词的辅助信息来做初始切分.经过处理后一部分词被抽取出来,存入结果集.接着利用本文的抽词算法来进行二次抽词.本算法应用了N-GrRm的思想.经过实验证明,该算法不但抽词速度快.而且抽取出的词相对长度大,维护了中文语言的完整性.为进一步进行语义分析和索引构建打下了良好的基础.     

离线词库轻松查 雅虎乐译新版评

在这个英文横行的网络中,我们难免会碰到陌生的英文单词,此时求助于词典软件就是最好的选择。说到词典软件,除了老牌的金山词霸外,现在我们有个更多的选择,一些小巧实用且又免费的桌面词典带给我们更多的便利和实惠,雅虎乐译就是其中的一员。雅虎乐译近期推出了最新的1.3版本,虽然更新的项目并不多,但是不乏重头功能。那么新版本有哪些好坏优劣呢？下面我们就来评测一番。     

为IE8 Beta2添加自己喜爱的搜索引擎

IE8 Beta2默认的搜索引擎虽然是MSN Search,但是通过单击右下角搜索框下拉菜单的"查找更多提供程序",会打开更多搜索引擎页面,方便用户自行添加更多的搜索引擎,例如有道海量词典、淘宝闪电搜索等。IE8 Beta2虽     

灵格斯词霸贺岁版技巧一席谈

著名的免费词典工具灵格斯词霸日前发布了最新的2.1贺岁版本,其中当然是增加了不少的新功能,这里介绍几则比较实用的技巧:     

个性词条走四方

金山词霸是很多朋友都非常喜爱的词典类工具,日前正在公开测试的2008个人版本更是提供了众多非常实用的好功能,甚至你还可以将那些词库中没有提供但自己经常使用的词条上传到网络上,从而实现同步共享,这样就很