向量自回归模型Granger因果图的条件互信息辨识与应用

Grangerl因果性是衡量系统变量间动态关系的重要依据．传统的两变量Grangerl因果分析法容易产生伪因果关系,且不能刻画变量间的即时因果性．本文利用图模型方法研究时间序列变量间的Grangerl因果关系,建立了时间序列Granger因果图,提出Grangerl因果图的条件互信息辨识方法,利用混沌理论中的关联积分估计条件互信息,统计量的显著性由置换检验确定．仿真结果证实了方法的有效性,并利用该方法研究了空气污染指标以及中国股市间的Grangerl因果关系．     

一种考虑类别信息的音频特征提取方法

提出了一种利用训练数据的类别信息改善分类效果的音频特征提取方法．与传统的利用独立分量分析进行特征提取的方法相比，在计算训练向量空间的基函数组时，特征向量各分量之间的互信息不是直接在全体训练向量上计算的，而是分别在各个不同类的训练向量上计算，然后求其统计平均值．实验结果表明，用这种方法得到的基函数组，能够进一步减小同一类音频的特征向量各分量之间的互信息．从而提高分类的成功率．     

基于信息论的Bayesian网络结构学习算法研究

Bayesian网是一种进行不确定性推理的有力工具,它结合图型理论和概率理论,可以方便地表示和计算我们感兴趣的事件概率,同时也是对实体之间依赖关系提供了一种紧凑、直观、有效的图形表示。文中基于信息论中测试信息独立理论,对Bayesian网中各结点进行条件独立(CI)测试,以发现各结点的条件依赖关系,并通过计算结点之间的互相依赖度以发现Bayesian网边的方向,从而构造Bayesian网结构,算法的计算复杂度只需要进行O(N²)次CI测试。     

基于图嵌入和最大互信息组合的降维

在特征降维方面,图嵌入框架统一了PCA,LDA等一系列特征降维算法,方便求解,但相似度矩阵计算有赖于人为假设.而最大互信息(MMI)从信息论的角度得到有效的特征降维变换,但是求解复杂.针对这种情况,本文指出了图嵌入和最大互信息的联系,给出了基于两者组合的新算法GE-MMI.该算法继承了两者的优点,是一种有效的特征降维方法.     

一种优化的线性随机系统的状态可估计性

从信息论的角度来考察线性随机系统的可估计性问题。之前对于访问约束（Access Constraint）问题研究的比较多,但是大多是基于传统控制的研究方法。在前人研究的基础上把互信息分析与率失真联系起来,用率失真之后的好处,在于能将访问约束下信道传输的性能体现出来。从公式分析与仿真结果可以看到,存在合理的通信序列,使得系统在访问约束的情况下,能够很好的保持系统状态的可估计性。     

检验统计量的选取对替代数据方法的影响

替代数据方法是检验时间序列中是否存在非线性的重要统计方法，它可对动力系统实测时间序列数据的随机性或混沌特性进行判定。在应用此方法时，我们发现单一的检验统计量往往不能作出接受或拒绝零假设的正确判断。因此本文引入互信息函数作为检验统计量，同高阶自相关函数和时间反演不对称统计量对时序进行检验的方法进行了比较。实验结果表明，三种统计量对时序的检验各有优势和局限性，交叉检验可获得较好的判断结果。     

通讯访问约束条件下线性随机系统的状态可估计性

本文从信息论的视角考察了线性离散随机系统在访问约束情况下的可估计性问题.针对系统中存在的访问约束所带来的通讯冲突现象,采用一个二值向量函数描述系统中各个输出信号的通讯状态.针对这类对象,根据由互信息定义的可估计性概念,讨论了访问约束系统的状态估计问题,得出了在输出检测信号传输存在访问约束情况下的状态可估计性条件,解析分析和仿真结果表明,存在合理的通信序列,使得系统在访问约束情况下,能够保持其状态可估计性.本文还证明了在访问约束条件下随机系统的可估计性和相应的确定性系统的能观性之间的等价关系.     

基于图论与互信息量的差分隐私度量模型

差分隐私是数据发布、数据挖掘领域内隐私保护的重要工具,但其强度和效果仅能后验评估,且高度依赖于经验性选择的隐私预算。文中提出一种基于图论和互信息量的差分隐私量化模型和隐私泄露量计算方法。利用信息论通信模型重构了差分隐私保护框架,构造了差分隐私信息通信模型和隐私度量模型;基于图的距离正则和点传递提出隐私泄露互信息量化方法,证明并计算了差分隐私泄露量的信息量上界。分析和对比表明,该隐私泄露上界与原始数据集的属性数量、属性值数量以及隐私预算参数具有较好的函数关系,且计算限制条件较少。文中所提方法优于现有方法,能够为差分隐私算法的设计及评价、隐私泄露风险评估提供理论支撑。     

线性多变量控制系统中的信息率和H∞熵

运用信息论的概念和方法考察受随机干扰的线性多变量控制系统,研究了系统变量的 熵率、互信息率和传递函数的H∞熵三者之间的关系讨论了小熵H∞控制方法的信息论意义.同 时得出了系统熵率和互信息率的时域计算方法,为进一步利用信息率作为性能函数研究控制系 统探索了新的途径.     

融合互信息与线性变换的非线性特征提取

由于线性变换无法较好保留数据的非线性结构而非线性变换往往需要进行大量的复杂运算,提出一种快速、高效的非线性特征提取方法。该方法通过研究互信息梯度在核空间中的线性不变性,采用互信息二次熵快速算法及梯度上升寻优策略,在有效降低计算量的同时能够提取有判别力的非线性高阶统计量。详细的数据投影和分类实验表明该方法在分类性能和算法时间复杂度上都优于传统算法。     

基于互信息的分类属性数据特征选择算法

提出了一种针对分类属性数据特征选择的新算法。通过给出一种能够直接评价分类属性数据特征选择的评价函数新定义,重新构造能实现分类属性数据信息量、条件互信息、特征之间依赖度定义的计算公式,并在此基础上,提出了一种基于互信息较大相关、较小冗余的特征选择（MRLR）算法。MRLR算法在特征选择时不仅考虑了特征与类标签之间的相关性,而且还考虑了特征之间的冗余性。大量的仿真实验表明,MRLR算法在针对分类属性数据的特征选择时,能获得冗余度小且更具代表性的特征子集,具有较好的高效性和稳定性。     

The posterior probability of Bayes nets with strong dependences

 Stochastic independence is an idealized relationship located at one end of a continuum of values measuring degrees of dependence. Modeling real-world systems, we are often not interested in the distinction between exact independence and any degree of dependence, but between weak ignorable and strong substantial dependence. Good models map significant deviance from independence and neglect approximate independence or dependence weaker than a noise threshold. This intuition is applied to learning the structure of Bayes nets from data. We determine the conditional posterior probabilities of structures given that the degree of dependence at each of their nodes exceeds a critical noise level. Deviance from independence is measured by mutual information. The arc probabilities are set equal to the probability that the mutual information, provided by the neighbors of a node, exceeds a given threshold. A χ2 approximation for the probability density function of mutual information is used. A large number of network structures in which the arc probabilities are evaluated, is generated by stochastic simulation. Finally, the probabilities of the whole graph structures are obtained by combining the individual arc probabilities with the number of possible construction sequences compatible with the partial ordering of the graph. While selecting models with large deviance from independence results in simple networks with few but important links, selecting models with small deviance results in highly connected networks also containing less important links.     

基于最小联合互信息亏损的最优特征选择算法

提出了一种基于最小联合互信息亏损的最优特征选择算法。该算法首先通过一种动态渐增策略搜索一个特征全集的无差异特征子集,并基于最小条件互信息原则在保证每一步中联合互信息量亏损都最小的情况下筛选其中的冗余特征,从而得到一个近似最优特征子集。针对现有基于条件互信息的条件独立性测试方法在高维特征域上所面临的效率瓶颈问题,给出了一种用于估计条件互信息的快速实现方法,并将其用于所提算法的实现。分类实验结果表明,所提算法优于经典的特征选择算法。此外,执行效率实验结果表明,所提条件互信息的快速实现方法在执行效率上有着显著的优势。     

一种互信息梯度不变的非线性特征提取方法*

针对线性的互信息特征提取方法,通过研究互信息梯度在核空间中的线性不变性,提出一种快速、高效的非线性特征提取方法。该方法采用互信息二次熵快速算法及梯度上升的寻优策略,提取有判别能力的非线性高阶统计量;在计算时避免传统非线性特征提取中的特征值分解运算,有效降低计算量。通过UCT数据的投影和分类实验表明,该方法无论在投影空间的可分性上,还是在算法时间复杂度上,都明显优于传统算法。     

新的采用球面杂交的克隆选择算法*

针对传统克隆选择算法的不足,提出了一个基于球面杂交的新型克隆选择算法。在该算法的每次迭代过程中,动态地计算出每个抗体的变异概率,根据抗体的亲和度将抗体种群动态分为记忆单元和一般抗体单元,并以球面杂交方式对种群进行调整,从而加快了算法的全局搜索速度。实例验证了所提算法的有效性、可行性。     

基于互信息的主成分分析特征选择算法

主成分分析是一种常用的特征选择算法,经典方法是计算各个特征之间的相关,但是相关无法评估变量间的非线性关系.互信息可用于衡量两个变量间相互依赖的强弱程度,且不局限于线性相关,鉴于此,提出一种基于互信息的主成分分析特征选择算法.该算法计算特征间的互信息,以互信息矩阵的特征值作为评价准则确定主成分的个数,并衡量主成分分析特征选择的效果.通过实例对所提出方法和传统主成分分析方法进行比较,并以神经网络为分类器分析分类效果.     

互信息的序决策信息系统属性约简研究

优势关系粗糙集理论是粗糙集理论有意义的推广,决策信息系统知识约简是粗糙集理论的核心内容之一.通过在协调序决策信息系统中引入条件熵、互信息概念,给出了基于条件熵、互信息的协调序决策信息系统属性约简算法,并通过学生评价决策信息系统验证了该算法的有效性,使协调序决策信息系统的属性约简得到了扩展.在不协调序决策信息系统中引入限定条件熵、限定互信息概念,并给出基于限定互信息的不协调序决策信息系统属性约简算法,为不协调序决策信息系统的属性约简的应用提供了可行的解决方法.     

基于互信息的软测量变量选择

针对软测量建模中的变量选择问题,提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理,对软测量中各辅助变量和主导变量的概率分布进行估计,得到主导变量和各辅助变量间的互信息,这些互信息间接地反映了主导变量和各辅助变量间的相关性,包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息,重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本。用T检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理,并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明,基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点,并且有效地改善了模型的估计精度。     

基于条件互信息的特征选择改进算法

针对传统特征选择算法只专注于特征类相关性或者特征冗余性的问题,提出一种基于条件互信息的特征选择算法。该算法采用k-means的基本思想聚类特征,并从中选出类相关度最大的特征,从而去除不相关和冗余特征。实验使用5个数据集,结果表明,该算法的分类性能优于传统特征选择算法。