模式识别的最大熵方法

本文提出了模式识别的最大熵方法,其基本思 想是求出最大熵概率分布,再求出条件概率分布,进而作出二值分类．它的特点是能最大限 度的利用已有信息作出最合理的推测．和其它方法相比较,该方法的突出优点是在小样本情 况下仍能保持很好的识别率．     

基于最大熵原理的Web服务QoS概率分布获取

为了进行服务风险管理,需要了解服务质量（QoS）的随机特性,而描述QoS随机特性的一种有效手段是获得其准确的概率分布。为此,提出了一种基于最大熵原理在小样本情况下获取Web服务QoS概率分布的方法。方法采用最大熵原理将小样本情况下QoS概率分布获取的问题规约为一个由已知QoS数据确定约束条件的最优化问题进行求解,获得QoS概率密度函数的解析式,然后设计了对该概率密度函数解析式参数进行估计的算法。最后,以实际的Web服务QoS数据为基础,通过实验验证了该方法对不同QoS分布获取时的有效性和合理性,并验证了分布获取算法的效率和终止性。     

一种基于矢量PCNN的彩色图像自动分割算法

为了对彩色图像实施自动分割,在彩色图像RGB空间中,对传统PCNN模型进行了改进与推广,提出一种基于指数熵矢量脉冲耦合神经网络(VPCNN)彩色图像自动分割新算法。该方法在考虑VPCNN互联矢量神经元动态时空相似特性的同时,利用改进指数动态阈值矢量与神经元内部活动项矢量间的信息对比关系确定分割图像的目标和背景区域,结合最大指数熵判据来达到彩色图像的自动分割,并与最大香农熵准则VPCNN分割方法做了比较。实验结果表明:算法具有图像分割精度高、适应性强、能较好地保持彩色图像边缘和细节等信息的优点。     

特征选择在人名识别中的应用

<正>命名实体识别是文本信息处理中的一个研究热点,人名是命名实体的重要组成部分。本文主要讨论中文文本中人名识别的问题。所要识别的人名包括汉语人名、类汉语人名(如韩国人名、越南人名等)以及人名译名。在本文中,我们将其统一称为汉语人名。 由于最大熵模型具有简洁、通用和易于移植的特点,使用该模型在英文中进行命名实体识别已取得一定成效。本文结合中文文本中人名的特点,将对使用最大熵模型进行人名识别进行介绍,重点介绍特征选择方法。1 系统描述1.1 最大熵模型 对于给定的训练样本,最大熵模型应该选择一个与训练样本一致的概率分布,而对于观察不到的情况,模型赋予均匀的概率分布。满足上述特征的概率分布具有最大熵。这种分布是唯一的,并具有下述特征:     

基于归一化互信息向量熵的多幅图像配准方法

提出了一种新的多幅图像配准方法,归一化互信息向量熵方法。这种方法先计算任意两幅图像间的联合概率分布,然后根据联合概率分布计算它们间的归一化互信息,把所有两幅图像组合得到的归一化互信息组成一个向量,最后计算该归一化互信息向量的熵。最大熵对应最佳配准位置。通过对人体脑部图像的刚体配准实验,从函数曲线、计算时间和配准精度方面,对新方法和其它三种方法进行了分析和比较。实验结果表明,新提出的方法可以提高配准精度、减少配准时间。     

基于最大熵神经网络算法的柔性制造系统调度策略研究

为了解决传统神经网络BP梯度下降算法在解决柔性制造系统调度策略时易陷入局部最优的问题,在规则化神经网络结构的基础上,提出了一种基于最大熵的神经网络权值优化算法,利用神经网络隐层节点变量的条件概率,在计算寻优过程中,通过改变收敛算子求解熵函数的期望,进而迭代求解网络的最优权重向量,对比实验表明,相较BP梯度下降算法,采用最大熵权值调整算法,数据搜索空间范围大,能保证系统准确收敛到全局最优解,算法鲁棒性好,在实际的调度策略应用中,该算法能明显缩短整体生产任务的加工周期,达到提高企业生产效率的目的。     

一种新的阈值分割方法

提出了一种基于Renyi熵原理的阈值分割方法．该方法首先计算代表目标的熵和代表背景的熵，然后求出两熵之差并取其绝对值，最佳阈值对应于其中的最小值．Renyi熵比其它熵多了一个参数，此参数使得Renyi熵能处理更多类型的图像．将上述方法进行仿真实验，并且仿真其它熵方法，仿真结果显示，该算法比其他熵方法效果更有效、更一般化．     

基于互信息的软测量变量选择

针对软测量建模中的变量选择问题,提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理,对软测量中各辅助变量和主导变量的概率分布进行估计,得到主导变量和各辅助变量间的互信息,这些互信息间接地反映了主导变量和各辅助变量间的相关性,包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息,重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本。用T检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理,并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明,基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点,并且有效地改善了模型的估计精度。     

信息隐藏的统计不可见性研究

对Cachin理论安全性进行分析，应用该模型对信息隐藏的统计不可见性进行评价。通过将图像分块去相关性，运用DCT变换得到载体的平稳概率分布，计算DCT系数的联合概率分布的相对熵来评估隐藏算法的统计不可见性。实验结果表明，该评估方法不仅能有效衡量隐藏统计不可见性，还能用以指导隐藏算法的设计。     

基于人工蜂群优化的二维最大熵图像分割

针对二维最大熵图像分割方法计算量大的问题,提出基于人工蜂群优化的二维最大熵图像分割算法。利用人工蜂群优化算法收敛快、避免局部最优、控制参数少等优点,将二维最大熵法最佳二维阈值视为最佳蜜源,实现基于人工蜂群优化的二维最大熵图像分割。实验结果表明,该方法的收敛速度较快、抗噪性较强。     

基于二维最大熵原理和改进遗传算法的图像阈值分割

传统的最佳直方图熵法对低信噪比图像的分割效果不理想,而二维最大熵法充分利用了像素的灰度分布信息和像素间的空间相关信息,提高了阈值分割的抗噪性能.本文对二维最大熵法进行了详细阐述和推导,对遗传算法进行了一系列改进,提出了一种新的类抛物线型变异算子.实验结果表明,二维最大熵法具有较强的鲁棒性,同时改进的遗传算法能够快速收敛到最佳分割阈值,其优化效果十分明显.     

基于最大熵估计的支持向量机概率建模

提出一种基于最大熵估计的支持向量机概率建模方法．针对传统的支持向量机方法不能提供后验概率的输出问题，从信息熵的角度采用最大熵估计方法，直接对支持向量机输出进行后验概率建模．实验结果表明，与同类算法相比，所提出的基于最大熵估计的概率建模方法具有优良的性能．     

Generating Z‐number based on OWA weights using maximum entropy

In the application of Z‐number, how to generate Z‐number is a significant and open issue. In this paper, we proposed a method of generating Z‐number based on the OWA weights using maximum entropy considering the attitude (preference) of the decision maker. Some numerical examples are used to illustrate the effectiveness of the proposed method. Results show that the attitude (preference) of the decision maker can give an optimal possibility distribution of the reliability for Z‐number using maximum entropy.     

概率分布双向稀疏化下单一Tsallis熵阈值选取方法

现有基于熵最大准则选取阈值的方法涉及两个或两个以上的随机变量, 都忽视了一个约束条件而影响到它们的分割精度和适用范围: 参与随机系统整体熵计算的各随机变量应当相互独立. 提出了一种概率分布双向稀疏化下的单一Tsallis熵最大化导向的自动阈值选取方法, 可以自然规避多个随机变量需要相互独立的约束条件.在多尺度卷积乘变换...     

Note on the article: Maximum entropy analysis of the M/M/1 queueing system with multiple vacations and server breakdowns

Wang et al. [Wang, K. H., Chan, M. C., & Ke, J. C. (2007). Maximum entropy analysis of the M^[x]/M/1 queueing system with multiple vacations and server breakdowns. Computers & Industrial Engineering, 52, 192–202] elaborate on an interesting approach to estimate the equilibrium distribution for the number of customers in the M^[x]/M/1 queueing model with multiple vacations and server breakdowns. Their approach consists of maximizing an entropy function subject to constraints, where the constraints are formed by some known exact results. By a comparison between the exact expression for the expected delay time and an approximate expected delay time based on the maximum entropy estimate, they argue that their maximum entropy estimate is sufficiently accurate for practical purposes. In this note, we show that their maximum entropy estimate is easily rejected by simulation. We propose a minor modification of their maximum entropy method that significantly improves the quality of the estimate.     

The relationship between seismic frequency and magnitude as based on the Maximum Entropy Principle

Entropy is a state function. The entropy increase principle tells us that under isolated or adiathermal conditions, the spontaneous development of a system from a state of non-equilibrium to a state of equilibrium is a process of entropy increase, in which a state of equilibrium corresponds to a state of maximum entropy. When the system is in a state of equilibrium, it is also at its most chaotic and disordered. The occurrence of earthquakes can be classified as a random event and can be described using entropy. Earthquakes occur in the most disordered way, indicating that entropy has reached its maximum value, so we can use the Maximum Entropy Method to determine the distribution of earthquakes that occur within a certain area curing a particular period of time. Results show that the formula representing the relationship between seismic frequency and magnitude (based on data and experience) is in fact a negative exponential distribution under given restraints and supposing seismic entropy is set as the maximum value. Therefore, we can theoretically explain the origin of the relationship between seismic frequency and magnitude.     

Extension of Yager's negation of a probability distribution based on Tsallis entropy

The negation of probability distribution becomes an important topic since some problems are burdensome to deal with directly. Inspired by Yager's negation of probability distribution, an extension model to measure the negation of a probability distribution is proposed using the idea of a nonextensive statistic based on Tsallis entropy. Proofs show that the proposed extension of negation of probability distribution converges to the maximum Tsallis entropy. The proposed model may extend Yager's method to consider the influences of the correlations in a system, which gives the different convergent routes. Some numerical simulation results are used to illustrate the effectiveness of the proposed methodology.     

射电天文图像恢复的改进方法

天线接收到天体的频域值,经傅里叶逆变换得到了天体的亮度分布图.由于天文观测站天线数量有限,只能接收到部分的频域数据,为了达到更好的视觉效果,对天体亮度分布图进行图像恢复.在数学上,天文图像恢复主要处理欠采样样本的还原,采用洁化算法与最大熵方法来进行处理,两种方法未从根本上解决欠采样样本的还原问题.通过基于压缩感知理论与最大熵方法相结合的方法对欠采样的射电太阳图像进行恢复,得到了不错的效果.