基于最大熵估计的支持向量机概率建模

提出一种基于最大熵估计的支持向量机概率建模方法．针对传统的支持向量机方法不能提供后验概率的输出问题,从信息熵的角度采用最大熵估计方法,直接对支持向量机输出进行后验概率建模．实验结果表明,与同类算法相比,所提出的基于最大熵估计的概率建模方法具有优良的性能．     

基于最大熵马尔可夫模型的地址信息抽取

互联网的迅速发展,以及人们对于信息需求的提高,使得网络信息的自动处理和挖掘成为了研究热点。在与网络文本相关的信息抽取任务中,观察值序列都是给定的,所以不需要考虑得到观察值的概率,而只需要关注观察值引起的状态转移的概率。最大熵马尔可夫通过改变概率转移函数,使得状态的转移与输入值以及前一状态相联系,很好地体现了序列的上下文信息。通过最大熵马尔科夫模型进行地址信息抽取,精确度和召回率都得到了很大的改进。     

基于视频数据和传递熵的鱼群信息传递网络构建

鱼群中的个体如何通过信息传递从而达到一致的群体运动状态,至今还没有刻画这一现象的统一数学模型.本文阐述了一种利用视频数据和传递熵构建鱼群中个体间信息传递网络的方法.首先用实验获取斑马鱼集群的视频数据,并采用计算机视觉跟踪的方法获取鱼群中每个个体的位置和运动速度,然后利用传递熵计算个体两两之间的信息传递关系,在此基础上构建了鱼群信息传递网络.通过网络分析,揭示了鱼群中个体间的信息交互个数与信息传播速度之间的关系,进一步发现了鱼群信息传递网络中的频繁子结构.本文提供了一种利用探测时间序列间因果关系建立鱼群信息传递网络的方法,为鱼群信息传递研究提供了一种新的思路.     

基于最大熵分割和肤色模型的人眼定位

人眼定位是进行虹膜识别、视线跟踪、眼睛状态分析等的首要任务,为此提出一种基于最大熵分割和肤色模型的人眼定位方法。利用最大熵分割法对图像进行分割,获得人眼候选区域。建立YCbCr肤色模型,将其作为人眼定位的约束条件以排除非人眼区域,通过形态学运算准确定位人眼。仿真实验表明,该方法对人眼定位准确,并对背景、头部偏转角度等细节具有较好的适应性,运算速度较快。     

基于最大熵的依存句法分析

该文提出并比较了三种基于最大熵模型的依存句法分析算法,其中最大生成树(MST)算法取得了最好的效果。MST算法的目标是在一个带有权重的有向图中寻找一棵最大的生成树。有向图的每条边都对应于一个句法依存关系,边的权重通过最大熵模型获得。训练和测试数据来源于CoNLL2008 Share Task的公用语料。预测的F1值在WSJ和Brown两个测试集上分别达到87.42%和80.8%,在参加评测单位中排名第6。     

基于最大类间方差的最大熵图像分割

最大熵分割算法对于目标与背景之间界限模糊的图像分割效果较好,但该算法对图像边缘的处理能力较差。最大类间方差分割算法对图像边缘的识别能力较强,但该算法对于目标和背景之间界限模糊的图像分割效果不好。针对上述问题,提出了一种基于最大类间方差的最大熵图像分割算法,该算法既能很好地对目标与背景之间界限模糊的图像进行分割,又能有效地识别图像的边缘。实验结果表明,本文所提算法对目标与背景之间界限模糊的图像的分割效果以及对图像边缘的识别能力均优于传统的最大类间方差算法和最大熵算法,且具有更好的有效性和鲁棒性。     

基于最大熵算法网络流量预测模型研究

研究了网络流量准确预测优化问题.由于网络资源的调度和传输速率时变性较强,互联网中对网络流量的不确定影响因素较多,同时由于传统的流量预测模型精度不高等缺陷.为解决上述问题,提出了一种新的基于最大熵算法建立网络流量预测模型.先获得约束的条件,是从对记录误差采用归一化处理方法得到的,而记录误差是模型根据历史来得到的预测结果,然后用最大熵算法原理来推测得到的结果分布,最后通过算法对网络的实际流量进行仿真预测.实验的仿真结果说明,此改进方法在预测精确度上,比传统的集中网络流量预测计算方法更胜一筹,为网络流量预测优化问题提供了依据.     

基于传递熵关键因果连接的情感识别方法

人脑在情绪活动中呈现的信息流是复杂多变的,因此理解脑区间的动态交互过程至关重要,但是基于原始脑电信号构建的情绪网络包含了许多与情绪无关的冗余信息.针对此问题,提出一种在不丢失关键因果信息的前提下去除情绪无关网络连接的方法,并验证其在情感识别过程中的有效性.首先,基于传递熵因果分析方法对积极、中性和消极情绪构建归一化传递熵矩阵,再从积极、消极情绪矩阵中减去中性情绪矩阵,最后基于简化后的矩阵构建因效性脑网络并利用图论分析不同情绪的网络连通性.通过在DEAP数据集上的验证发现,该方法有效地提高了情感识别准确率.     

基于最大熵模型的组块分析

采用最大熵模型实现中文组块分析的任务．首先明确了中文组块的定义，并且列出了模型中所有的组块类型和组块标注符号．组块划分和识别的过程可以转化为对于每一个词语赋予一个组块标注符号的过程，我们可以把它作为一个分类问题根据最大熵模型来解决．最大熵模型的关键是如何选取有效的特征，文中给出了相关的特征选择过程和算法．最后给出了系统实现和实验结果．     

知识迁移的极大熵聚类算法及其在纹理图像分割中的应用

本文研究了一种新型的基于知识迁移的极大熵聚类技术。拟解决两大挑战性问题:1）如何从源域中选择合适的知识对目标域进行迁移学习以最终强化目标域的聚类性能;2）若存在源域聚类数与目标域聚类数不一致的情况时,该如何进行迁移聚类。为此提出一种全新的迁移聚类机制,即基于聚类中心的中心匹配迁移机制。进一步将该机制与经典极大熵聚类算法相融合提出了基于知识迁移的极大熵聚类算法（KT-MEC）。实验表明,在不同迁移场景下的纹理图像分割应用中,KT-MEC算法较很多现有聚类算法具有更高的精确度和抗噪性。     

基于边界梯度控制的最大熵阈值分割方法

结合梯度和灰度这两种图像的本质特征,提出一种基于边界梯度控制的最大熵阈值分割方法。该方法首先定义了一种边界梯度控制函数来定量分析图像中细节信息的丰富程度,通过该函数的局部极大值确定可能的分割阈值的集合,然后根据最大熵原理在该集合中选取最优阈值,最终实现图像的二值化分割。实验结果表明该方法的分割结果由于保留了丰富的细节信息,能够更好地体现图像语义,且该方法亦具有一定的抗噪性。     

基于信息熵理论的网络化集群系统的可靠性分析

首先, 从信息论的角度借用信道容量概念定义了网络化集群系统的可靠度模型; 然后, 在已知一个节点可靠度和链接概率分布的条件下, 基于所建立的网络化工程系统的可靠度模型, 通过对拉格朗日微分方程的求解, 给出了网络节点链接失败概率总和达到最大时, 单节点链接失败概率的计算方法; 在此基础上, 基于已知一个节点可靠度的条件, 通过微分方程给出了网络节点链接失败概率总和达到最小时单节点链接失败概率的计算模型; 最后, 给出了一些具有导向性的结论.     

基于极大熵原理的理性公平交换协议

鉴于理性交换协议是一个动态博弈模型, 在完全不完美动态博弈中, 力图用极大熵原理来解决理性参与者的策略行为推断问题。扩展了一个基于信息熵的理性交换协议模型, 通过引入期望收益函数和期望均衡的方法, 给出理性交换协议的公平性描述; 基于最大熵原理构造了一种新的理性交换协议; 证明该协议的安全性, 利用博弈树的方法对整个交换过程进行分析并给出了理性公平性证明, 结果表明该协议能达到期望均衡。协议交换过程中无须可信第三方的参与, 该协议实现了理性公平性且具有更好的适应性。     

基于最大熵模型的汉语短语间停顿识别

正确标记短语间的停顿,对提高文语转换系统合成语音的自然度起着重要作用。介绍一种采用最大熵模型从真实自然的语音流中自动识别汉语短语间停顿的方法。模型的特征集包含语音和词法两类特征,采用半自动的方式获得。首先由人工根据经验设计候选特征集,然后采用特征选择算法对候选特征进行筛选,选择更有效的特征构成最终特征集,并训练生成用于汉语短语间停顿识别的最大熵模型。3组实验的结果表明,模型能够取得比较满意的短语间停顿识别效果。     

带反馈多传感器模糊最大熵单目标跟踪算法

针对矩阵加权融合算法计算量大、传感器数量不易扩充的特点,提出了一种带反馈的模糊最大熵融合算法。该算法采用模糊C-均值算法和最大熵原理计算状态向量中每一分量的权值,不但从整体考虑各分量对融合估计的影响,而且减少了复杂的矩阵运算过程,实时性较好。与矩阵加权算法相比,该融合算法还具有容易扩充的特点,能够直接应用于传感器数量大于2时的融合计算。实验仿真结果表明,融合估计的准确性与矩阵加权融合算法基本一致,算法的有效性得到了验证。     

Information synthesis based on hierarchical maximum entropy discretization

Abstract

This paper outlines a new approach to the synthesis of information from data. Information is defined as a detected organization of data after a process of discretization (or partitioning) and event covering. The discretization is based on a hierarchical maximum entropy scheme which iteratively minimizes the loss of information according to Shannon. The event-covering process is based on an evaluation of the deviation of the observed frequencies of an event from the expectation due to prior knowledge (defined by the null hypothesis and/or domain knowledge). The hierarchical maximum entropy discretization scheme provides a rigorous and efficient way in solving the non-uniform scaling problem in multivariate data analysis. Because our method refines the boundaries dynamically depending on the detection of information, it directs the analysis on the outcome subspace with high information content. In addition, it naturally produces a hierarchical view of information so that data can be analyzed/synthesized with respect to an outcome context. The method has been tested using simulated and real life data with very good result.     

基于最大熵方法汉语基本短语分析

提出了一个汉语基本短语分析模型,将汉语短语的边界划分和短语标识分开,假定这两个过程相互独立,采用最大熵方法分别建立模型解决。最大熵模型的关键是如何选取有效的特征,文中给出了两个步骤相关的特征空间以及特征选择过程和算法。实验表明,模型的短语定界精确率达到95.27％,标注精确率达到96.2％。     

Design of a complex system based on the maximum entropy principle

A complex system is a system composed of many dynamic elements with mutual interactions. This paper proposes a unified approach for the design of an information processing system using a complex system. The method of design is based on the maximum entropy principle. After a detailed explanation, the proposed method is applied to the design of a spatial filter using a complex system. This work was presented, in part, at the International Symposium on Artificial Life and Robotics, Oita, Japan, February 18–20, 1996.