基于最大熵方法的统计语言模型

针对现有统计语言模型中存在计算量过大和系统负担过重的问题,该文提出了一种基于最大熵方法的统计语言模型。模型在参数估计阶段,引入约束最优化理论中拉格朗日乘数定理和牛顿迭代算法,以确保模型在多个约束条件中可求出最优化参数值;在特征选择阶段,采用计算近似增益的平行算法,解决模型计算量过大和系统开销问题。将该模型用于汉语句子分析的软件实验中表明:模型具有较高的计算效率和鲁棒性。     

基于最大熵模型的组块分析

采用最大熵模型实现中文组块分析的任务．首先明确了中文组块的定义，并且列出了模型中所有的组块类型和组块标注符号．组块划分和识别的过程可以转化为对于每一个词语赋予一个组块标注符号的过程，我们可以把它作为一个分类问题根据最大熵模型来解决．最大熵模型的关键是如何选取有效的特征，文中给出了相关的特征选择过程和算法．最后给出了系统实现和实验结果．     

基于最大熵模型的本体概念获取方法

本体是语义检索的核心。本体构建主要包括领域概念获取和概念间关系获取,其中领域概念获取是本体构建的基础。采用基于最大熵模型的方法来获取概念,通过对领域文本进行挖掘而得到名词性短语,使用改进的TF-IDF公式从中抽取具有领域性的短语,并经人工修正后得到本体概念。实验表明该方法提高了概念的准确性和完整性。     

基于最大熵的哈萨克语词性标注模型

最大熵模型能够充分利用上下文,灵活取用多个特征。使用最大熵模型进行哈萨克语的词性标注,根据哈语的粘着性、形态丰富等特点设计特征模板,并加入了向后依赖词性的特征模板。对模型进行了改进,在解码中取概率最大的前n个词性分别加入下一个词的特征向量中,以此类推直至句子结束,最终选出一条概率最优的词性标注序列。实验结果表明,特征模板的选择是正确的,改进模型的准确率达到了96.8%。     

语言模型中一种改进的最大熵方法及其应用

最大熵方法是建立统计语言模型的一种有效的方法,具有较强的知识表达能力.但是,在用现有的最大熵方法建立统计模型时存在计算量大的问题.针对这一问题,提出了一种改进的最大熵方法.该方法使用互信息的概念,通过Z-测试进行特征选择.将该方法应用于汉语的义项排歧中,实验表明,该算法具有较高的计算效率和正确率.     

基于最大熵方法的中英文基本名词短语识别

使用了基于最大熵的方法识别中文基本名词短语。在开放语料Chinese TreeBank上，只使用词性标注，达到了平均87.43%／88.09%的查全率／准确率。由于，关于中文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别。在英文标准语料TREEBANKⅡ上，开放测试达到了93.31%／93.04%的查全率／准确率，极为接近国际最优水平。这既证明了此算法的行之有效，又表明该方法的语言无关性。     

基于最大熵方法的汉语词性标注

最大熵模型的应用研究在自然语言处理领域中受到关注,文中利用语料库中词性标注的上下文信息建立基于最大熵方法的汉语词性系统。研究的重点在于其特征的选取,因为汉语不同于其它语言,有其特殊性,所以特征的选取上与英语有差别。实验结果证明该模型是有效的,词性标注正确率达到97．34％。     

基于最大熵模型的英文名词短语指代消解

提出了一种新颖的基于语料库的英文名词短语指代消解算法,该算法不仅能解决传统的代词和名词／名词短语间的指代问题,还能解决名词短语间的指代问题。同时,利用最大熵模型,可以有效地综合各种互不相关的特征,算法在MUC7公开测试语料上F值达到了60．2％,极为接近文献记载的该语料库上F值的最优结果61．8％。     

信息处理用现代汉语语义分析的理论与方法

本文论述了语义知识的获取在汉语信息处理的句处理阶段所处的关键地位。指出语义知识与句法知识、语用知识的获取已使汉语信息处理在知识工程和智能化系统的开发方面进入实质性阶段。 文章从“人脑语义知识的获取”、“电脑语义知识的获取”、“语义系统的性质”、“语义系统的宏定义”、“语义场”等几个方面宏观地论述了建造多层次、多类型、多关系、多变化的具有学习功能的静态语义网的理论与方法, 同时论述了静态语义网与动态语义网的区别和联系。论述中还对一系刘重要的语义术语（如：语义场、场型、义位、义素等）进行了界定。 本文是一系列关于现代汉语语义分析的论文的总论。     

基于最大熵模型的汉语问句语义组块分析

问句分析是问答系统的关键,为降低问句完整语法分析的复杂度,该文应用浅层句法分析理论,采用问句语义组块方式来分析问句。以“知网”知识库为基础,提取和定义了表达汉语问句的6种语义块,定义了语义组块最大熵模型的特征表示,通过最大熵原理实现了语义组块特征抽取和特征选取学习算法,并以模型为基础实现了真实问句的语义块的标注,从而为在语义层面上理解汉语问句奠定了基础。实验结果说明最大熵模型应用于汉语问句语义组块分析具有较好的效果。     

引入集成学习的最大熵短语调序模型

基于最大熵的括号转录语法模型具有翻译能力强、模型训练简单的优点,成为近些年统计机器翻译研究的热点。然而,该模型存在短语调序实例样本分布不平衡的缺点。针对该问题,该文提出了一种引入集成学习的短语调序模型训练方法。在大规模数据集上的实验结果表明,我们的方法能有效改善调序模型的训练效果,显著提高翻译系统性能。     

使用最大熵模型进行文本分类

最大熵模型是一种在广泛应用于自然语言处理中的概率估计方法。文中使用最大熵模型进行了文本分类的研究。通过实验,将其和Bayes、KNN、SVM三种典型的文本分类器进行了比较,并且考虑了不同特征数目和平滑技术对基于最大熵模型的文本分类器的影响。结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法。     

不等式最大熵中的特征选择方法

不等式最大熵模型较为成功地缓解了文本分类任务中的过拟合问题,但它使用的特征选择算法不能完全发挥不等式最大熵的最大优势。针对该问题提出采用改进的顺序前进式选择算法,提高文本分类任务中的识别率,试验结果证明该算法能够更准确地选出文本代表特征,对不等式最大熵模型的分类成绩有一定的改善。     

基于最大熵模型的蛋白质作用位点识别方法

蛋白质相互作用位点的预测是当前生物信息学的一个研究热点。针对蛋白质序列中对界面残基有影响的各种因素,提出将蛋白质的进化信息和保守性作为特征函数,此类信息体现了蛋白质序列中氨基酸之间短程和长程相互作用的影响。采用最大熵模型作为蛋白质作用位点识别的分类器,将多源信息融合成一个概率模型。实验结果表明该方法与其他传统机器学习方法相比,在特异度和精度上分别提高了2%~8%、3%~11%,且获得了较高的相关系数。     

使用最大熵模型进行中文文本分类

随着WWW的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术．由于最大熵模型可以综合观察到各种相关或不相关的概率知识,对许多问题的处理都可以达到较好的结果．但是,将最大熵模型应用在文本分类中的研究却非常少,而使用最大熵模型进行中文文本分类的研究尚未见到．使用最大熵模型进行了中文文本分类．通过实验比较和分析了不同的中文文本特征生成方法、不同的特征数目,以及在使用平滑技术的情况下,基于最大熵模型的分类器的分类性能．并且将其和Baves,KNN,SVM三种典型的文本分类器进行了比较,结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法．     

关键词自动标引的最大熵模型应用研究

关键词是文档管理、文本聚类／分类、信息检索等领域可利用的重要资源,因此该文提出了利用最大熵模型进行自动标引的技术．最大熵模型为一个成熟的数学模型,已经应用到计算语言学的各个领域．然而它的应用非常灵活,针对标引任务和现有资源的实际情况,作者首先建立了最大熵模型的特征集合,然后提出了三种试验方法,并给出了相应的试验结果,最后针对最大熵模型在关键词自动标引任务中的应用做了有益的分析和探讨．该研究对于关键词标引研究以及最大熵在其他领域中的应用将有所启示．     

Constructing Maximum Entropy Language Models for Movie Review Subjectivity Analysis

Document subjectivity analysis has become an important aspect of web text content mining. This problem is similar to traditional text categorization, thus many related classification techniques can be adapted here. However, there is one significant difference that more language or semantic information is required for better estimating the subjectivity of a document. Therefore, in this paper, our focuses are mainly on two aspects. One is how to extract useful and meaningful language features, and the other is how to construct appropriate language models efficiently for this special task. For the first issue, we conduct a Global-Filtering and Local-Weighting strategy to select and evaluate language features in a series of n-grams with different orders and within various distance-windows. For the second issue, we adopt Maximum Entropy （MaxEnt） modeling methods to construct our language model framework. Besides the classical MaxEnt models, we have also constructed two kinds of improved models with Gaussian and exponential priors respectively. Detailed experiments given in this paper show that with well selected and weighted language features, MaxEnt models with exponential priors are significantly more suitable for the text subjectivity analysis task.