A Note on the Rational Closure of Knowledge Bases with Both Positive and Negative Knowledge

The notion of the rational closure of a positive knowledge base K of conditional assertions | (standing for if then normally ) was first introduced by Lehmann (1989) and developed by Lehmann and Magidor (1992). Following those authors we would also argue that the rational closure is, in a strong sense, the minimal information, or simplest, rational consequence relation satisfying K. In practice, however, one might expect a knowledge base to consist not just of positive conditional assertions, | , but also negative conditional assertions, _i (standing for not if then normally . Restricting ourselves to a finite language we show that the rational closure still exists for satisfiable knowledge bases containing both positive and negative conditional assertions and has similar properties to those exhibited in Lehmann and Magidor (1992). In particular an algorithm in Lehmann and Magidor (1992) which constructs the rational closure can be adapted to this case and yields, in turn, completeness theorems for the conditional assertions entailed by such a mixed knowledge base.     

基于最大判别熵的有监督独立分量分析方法

独立分量分析(indepentlent component analysis,ICA)是目前非常活跃的一个研究领域,在盲源分离、信号处理等方面有着广泛的应用．特别是在特征提取方面,由于其处理非高斯分布的数据的能力,引起了广泛关注,取得了很好的效果．但是传统的独立分量分析方法的思想都是通过定义一个衡量分量独立性的目标函数来求解问题,在应用到特征提取方面时,没有考虑到提取的独立分量对于识别和分类问题的重要性．为了克服传统ICA算法的不足,从信息论角度出发,选择判别熵作为衡量类别之问差异的度量,提出了基于最大判别熵的有监督独立分量分析方法(SICA-MJE),并在人脸识别和虹膜识别应用中进行了验证,取得了很好的实验结果。     

Closure via functional dependence simplification

In this paper, a method for computing the closure of a set of attributes according to a specification of functional dependencies of the relational model is described. The main feature of this method is that it computes the closure using solely the inference system of the SL _FD logic. For the first time, logic is used in the design of automated deduction methods to solve the closure problem. The strong link between the SL _FD logic and the closure algorithm is presented and an SL _FD simplification paradigm emerges as the key element of our method. In addition, the soundness and completeness of the closure algorithm are shown. Our method has linear complexity, as the classical closure algorithms, and it has all the advantages provided by the use of logic. We have empirically compared our algorithm with the Diederich and Milton classical algorithm. This experiment reveals the best behaviour of our method which shows a significant improvement in the average speed.     

基于极大熵原理的理性公平交换协议

鉴于理性交换协议是一个动态博弈模型, 在完全不完美动态博弈中, 力图用极大熵原理来解决理性参与者的策略行为推断问题。扩展了一个基于信息熵的理性交换协议模型, 通过引入期望收益函数和期望均衡的方法, 给出理性交换协议的公平性描述; 基于最大熵原理构造了一种新的理性交换协议; 证明该协议的安全性, 利用博弈树的方法对整个交换过程进行分析并给出了理性公平性证明, 结果表明该协议能达到期望均衡。协议交换过程中无须可信第三方的参与, 该协议实现了理性公平性且具有更好的适应性。     

传递闭包聚类中的模糊性分析

传递闭包聚类是根据其相似矩阵的传递闭包生成一个聚类图(模式空间的若干个精确划分),聚类过程的模糊性主要体现在相似矩阵上,并可以通过模糊信息熵函数度量。聚类过程中模糊性的大小是衡量聚类效果好坏的一个重要指标。降低聚类的模糊性,有利于最终的决策(指定一个精确的划分)。论文引入了交叉熵的概念,通过学习权重,极小化交叉熵,可以有效地降低聚类的模糊性。     

基于最大熵模型的汉语隐喻现象识别

隐喻是我们日程生活中常见的语言现象,利用计算机识别隐喻已经成为自然语言处理、人工智能乃至应用语言学领域中的一个具有重要价值的研究课题。本文根据隐喻特点,基于最大熵原理建立了一个隐喻识别模型,并论证了利用统计手段建立该模型的合理性。实验结果表明,该模型具有较高的准确度和召回率,以及较为理想的f值,是非常有前途的     

构建在最大熵原理上的分布估计算法及其应用研究

分布估计算法是进化计算领域的一个新方向.它主要用概率模型来建造进化计算中的遗传算法,它不再依赖于交叉与变异,而是估计较好个体的概率分布,用概率分布来引导对搜寻空间的探索.本文提出一类基于最大熵的分布估计算法.实验结果表明,在解决某些较复杂问题时,本文算法比遗传算法更具优势.     

基于最大熵的依存句法分析

该文提出并比较了三种基于最大熵模型的依存句法分析算法,其中最大生成树(MST)算法取得了最好的效果。MST算法的目标是在一个带有权重的有向图中寻找一棵最大的生成树。有向图的每条边都对应于一个句法依存关系,边的权重通过最大熵模型获得。训练和测试数据来源于CoNLL2008 Share Task的公用语料。预测的F1值在WSJ和Brown两个测试集上分别达到87.42%和80.8%,在参加评测单位中排名第6。     

不等式最大熵中的特征选择方法

不等式最大熵模型较为成功地缓解了文本分类任务中的过拟合问题,但它使用的特征选择算法不能完全发挥不等式最大熵的最大优势。针对该问题提出采用改进的顺序前进式选择算法,提高文本分类任务中的识别率,试验结果证明该算法能够更准确地选出文本代表特征,对不等式最大熵模型的分类成绩有一定的改善。     

基于最大熵方法的统计语言模型

针对现有统计语言模型中存在计算量过大和系统负担过重的问题,该文提出了一种基于最大熵方法的统计语言模型。模型在参数估计阶段,引入约束最优化理论中拉格朗日乘数定理和牛顿迭代算法,以确保模型在多个约束条件中可求出最优化参数值;在特征选择阶段,采用计算近似增益的平行算法,解决模型计算量过大和系统开销问题。将该模型用于汉语句子分析的软件实验中表明:模型具有较高的计算效率和鲁棒性。     

基于最大熵分类器的藏文句子边界自动识别方法研究

藏文句子的边界识别是藏文文本分析的基础性研究,是藏文与其他语种之间建立句子级平行语料库的必要工作,也是进一步进行藏汉机器翻译的基础。本文通过分析藏文句子的结束形式,研究藏文句子边界规则,提出了一种藏文句子的边界识别方法。该方法首先利用特殊规则和词表对藏文句子进行识别,然后利用最大熵模型对有歧义的句子进一步识别。从而提高藏文句子的边界识别率。     

Learning to Parse Natural Language with Maximum Entropy Models

This paper presents a machine learning system for parsing natural language that learns from manually parsed example sentences, and parses unseen data at state-of-the-art accuracies. Its machine learning technology, based on the maximum entropy framework, is highly reusable and not specific to the parsing problem, while the linguistic hints that it uses to learn can be specified concisely. It therefore requires a minimal amount of human effort and linguistic knowledge for its construction. In practice, the running time of the parser on a test sentence is linear with respect to the sentence length. We also demonstrate that the parser can train from other domains without modification to the modeling framework or the linguistic hints it uses to learn. Furthermore, this paper shows that research into rescoring the top 20 parses returned by the parser might yield accuracies dramatically higher than the state-of-the-art.     

基于最大熵模型的本体概念获取方法

本体是语义检索的核心。本体构建主要包括领域概念获取和概念间关系获取,其中领域概念获取是本体构建的基础。采用基于最大熵模型的方法来获取概念,通过对领域文本进行挖掘而得到名词性短语,使用改进的TF-IDF公式从中抽取具有领域性的短语,并经人工修正后得到本体概念。实验表明该方法提高了概念的准确性和完整性。     

基于最大熵方法的中英文基本名词短语识别

使用了基于最大熵的方法识别中文基本名词短语。在开放语料Chinese TreeBank上，只使用词性标注，达到了平均87.43%／88.09%的查全率／准确率。由于，关于中文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别。在英文标准语料TREEBANKⅡ上，开放测试达到了93.31%／93.04%的查全率／准确率，极为接近国际最优水平。这既证明了此算法的行之有效，又表明该方法的语言无关性。     

使用最大熵模型进行中文文本分类

随着WWW的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术．由于最大熵模型可以综合观察到各种相关或不相关的概率知识,对许多问题的处理都可以达到较好的结果．但是,将最大熵模型应用在文本分类中的研究却非常少,而使用最大熵模型进行中文文本分类的研究尚未见到．使用最大熵模型进行了中文文本分类．通过实验比较和分析了不同的中文文本特征生成方法、不同的特征数目,以及在使用平滑技术的情况下,基于最大熵模型的分类器的分类性能．并且将其和Baves,KNN,SVM三种典型的文本分类器进行了比较,结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法．     

基于局部最大熵的辐射校正方法

介绍了２种有较强针对性的图象辐射校正方法。通过引入局部最大熵约束,及对最大熵恢复公式的简化,导出了一种简便易行的图象辐射校正方法。该方法无须知道图象的成象模型和转移函数,从图象的局部统计特性出发,通过少量的运算,即可实现对辐射失真图象的恢复。因而具有较普遍的适用性。该方法已经硬化并在实际运用中取得了较好的效果。     

线性支持向量机优化问题的极大熵方法

支特向量机是一种新的机器学习方法，已成功地应用于模式分类、回归分析和密度估计等问题中．本文依据统计学习理论和最优化理论建立了线性支特向量机的无约束优化模型，并给出了一种有效的近似解法一极大熵方法,为求解支持向量机优化问题提供了一种新途径,本文方法特别易于计算机实现。数值实验结果表明了模型和算法的可行性和有效性．