线性多变量控制系统中的信息率和H∞熵

运用信息论的概念和方法考察受随机干扰的线性多变量控制系统,研究了系统变量的 熵率、互信息率和传递函数的H∞熵三者之间的关系讨论了小熵H∞控制方法的信息论意义.同 时得出了系统熵率和互信息率的时域计算方法,为进一步利用信息率作为性能函数研究控制系 统探索了新的途径.     

线性时不变控制系统中的熵率和H∞熵

利用Bode积分定理将线性时不变控制系统中的熵率和系统零极点分析结合起来, 从信息论的角度来阐述反馈控制系统的性能设计局限, 讨论了“变异度守恒定律”. 同时, 研究了系统变量互信息率和H_∞ 熵的关系, 阐述了最小熵H_∞ 控制的信息论意义.     

信息融合中的有关熵理论

将信息论中有关熵的概念和应用引入到目标观测识别系统中，建立了观测决策融合系统的熵模型；提出了观测决策融合系统中有关条件熵的两个重要定理，并指出它们在理论研究和实际应用中的指导意义；最后阐述了融合系统中熵的结构关系．     

基于熵率的密码芯片抵御SPA功耗攻击能力的量化方法

通过大量的工程实验获得了描述密码芯片功耗泄漏量随机性的两个关键指标:一是门级翻转数量的分布律,二是门级翻转数量的转移矩阵.以这两个关键指标为基础,引入信息论中熵率的概念,通过熵率的值动态地测量密码芯片在加密过程中功耗波形的熵值随机器周期数量的增长速度,进而有效地衡量密码芯片在SPA攻击下所具备的防御性能.     

率熵函数

提出了率熵函数的概念,用译码器不确定度约束代替传统的失真度约束,从译码侧定义广义率失真函数。虽然率熵函数定义为互信息的约束变分问题,但可以通过构造变分问题特解求率熵函数的闭式解,还提出了构造变分问题特解的4种方法,即熵不变准则、独立误差准则、再生性准则和弱再生性准则。据此得到目前常见概率分布的率熵函数闭合表达式,包括均匀分布、向量高斯分布以及具有再生性和弱再生性的概率分布。熵失真度与熵幂失真度是均方失真（二阶统计量）和绝对值失真度（一阶统计量）的推广,是更一般的结果。率熵函数的概念解决了目前已知常见信源的率失真函数问题,丰富和发展了香农的率失真函数理论,在信源编码领域中具有重要的理论意义和应用价值。     

基于新的条件熵的入侵检测算法

在分析了现有的入侵检测方法的基础上,为了降低入侵检测系统的错检率、降低漏检率和提高实时性,提出了一种新的检测方法:基于新的条件熵的入侵检测算法.本算法在考虑信息论有关理论的基础上,利用信息熵的知识对收集到的数据进行离散化.通过分析离散化后的数据,利用新的条件熵的知识约简方法去除冗余属性,生成检测规则,然后用来分析入侵数据.实验结果表明:基于新的条件熵的入侵检测算法与基于BP神经网络和支持向量机的入侵检测算法比较,可以有效地提高入侵检测系统的检测率,降低错检率.该算法的检测率提高7%左右,能为信息系统提供很好的入侵检测服务.     

信息熵在粗糙集中衍生的几个概念

随着对粗糙集理论研究的的深入,基于信息论的信息熵陆续被引入到粗糙集研究中,陆续产生了一些如条件熵、联合熵、知识熵、决策熵、知识粗糙熵、粗集粗糙熵等新的概念,尽管丰富了粗糙集理论和应用,但使用中存在语义不统一的地方,甚至缺乏必要的说明和证明。对这些有价值的新概念作了系统的、严格的、规范的定义及阐述,给出了它们的公式表示,同时,通过相关熵的运算揭示彼此间的关系,最后指出这些熵的应用范畴,以便研究人员在清楚概念的基础上作进一步研究。     

线性多变量控制系统的干扰抑制性能极限:信息论方法

考察了受随机干扰的线性离散多变量时不变反馈控制系统中的不确定性和信息传输,从信息论的角度阐述了系统干扰抑制的性能极限.讨论中采用熵率和信息率作为系统干扰抑制的性能函数.针对调节问题,利用Bode积分定理将控制系统中的熵率和系统开环不稳定极点结合起来,修正了“变异度守恒定律”;针对跟踪问题,研究高斯系统中干扰与输出间的互信息率和系统闭环传递函数H_∞熵的关系,并在此基础上得出了系统干扰抑制的性能上界.     

基于安全熵的访问控制模型量化分析方法

针对访问控制模型的量化分析问题,提出基于安全熵的安全性量化分析方法。结合信息论有关知识引入安全熵概念,基于安全熵对模型的安全性进行定义;应用该方法对BLP等经典安全模型进行了量化分析,验证了该方法的实用性,并指出了访问控制模型和BLP模型对非授权间接访问防护方面的不足。实验结果表明,该方法适用于访问控制模型的安全性度量以及系统的访问控制能力评估。     

决策信息系统不确定性的熵度量

提出基于Rough集信息论观点的决策表不确定性的熵度量指标,相比代数论观点的决策表不确定性度量指标在含义上更清晰,对不确定性的度量更全面.运用不同的熵度量指标,可分别度量一致性决策信息系统和不一致性决策信息系统的规则前件不确定性、规则后件不确定性、规则整体随机性以及决策表整体不确定性,并对同一决策信息系统运用不同的熵度量指标对其不确定性进行分析.     

协同极大熵聚类算法

极大熵聚类算法(MEC)是基于信息论的新型聚类算法。以不同子集之间的协同关系为出发点,与信息理论中的极大熵原理相结合,通过构造新的极大熵目标函数来改变传统聚类算法中对整个数据集直接聚类的机制。提出一种基于协同的极大熵聚类算法CMEC,它不仅具有较MEC算法更高的聚类精度和更好的泛化性等特点,较之协同模糊聚类算法还具有更好的物理意义。实验结果表明所提出的CMEC算法具有上述优点,其聚类效果比传统的聚类算法有了很大的提高。     

基于容差关系的加权知识粗糙熵

粗集理论为从信息论角度研究知识粗糙熵和属性约简问题提供了一种重要的途径和方法。本文提出了基于容差关系下的不完备信息系统加权的知识熵和条件熵概念，将等价关系下的粗糙熵自然地推广到不完备信息系统的容差关系情形。本文的结果为在一般二元关系下的知识获取提供了理论依据。     

径向基函数（RBF）神经网络的一种极大熵学习算法

RBF神经网络中心向量的确定是整个网络学习的关键,该文基于信息论中的极大熵原理构造了训练中心向量的极大熵聚类算法,由此给出了网络的极大熵学习算法。文中最后分别用一个时间序列预测和系统辨识问题验证了该学习算法的有效性,同RBF网络和多层感知机的误差回传算法相比,该算法不仅在学习精度和泛化推广能力上有一定程度的提高,而且学习时间有显著的降低。     

信息熵在粗糙集中衍生的几个概念

随着对粗糙集理论研究的的深入,基于信息论的信息熵陆续被引入到粗糙集研究中,陆续产生了一些如条件熵联合熵、知识熵、决策熵、知识粗糙熵、粗集粗糙熵等新的概念,尽管丰富了粗糙集理论和应用,但使用中存在语义不统一的地方,甚至缺乏必要的说明和证明.对这些有价值的新概念作了系统的、严格的、规范的定义及阐述,给出了它们的么式表示,同时,通过相关熵的运算揭示彼此间的关系,最后指出这些熵的应用范畴,以便研究人员在清楚概念的基础上作进一步研究.     

参数估计定理

空间信息论是关于雷达等目标参数估计系统信息获取一般规律的基本理论,这里的空间信息指被测目标相对于雷达的距离、方向和散射信息。参数估计定理是空间信息论的重要组成部分,本文提出参数估计定理的证明框架,该框架由3个原创性概念和1个定理构成,其中3个概念是空间信息、熵误差和抽样后验概率估计。参数估计定理证明,熵误差是可达的,反之,任何估计器的熵误差不低于熵误差。空间信息论的建立将对雷达探测的系统理论和方法产生巨大的推动作用。     

HEVC 熵编码算法优化

新一代视频编码标准HEVC提供了更加灵活的编码工具选择,在提高压缩率的同时也提高了编码的计算复杂度。由于可选择更大的变换单元以及编码中更强的系数间依赖关系,在率失真优化（RDO）模式选择过程中,HEVC熵编码的计算复杂度显著高于H．264/AVC。为了解决这一问题,本文对HEVC熵编码算法进行优化,通过优化熵编码的上下文空间选择过程、非零系数的编码结构,以及对不同大小的变换矩阵进行整体优化。实验结果表明,本文提出的优化算法能够在保证视频编码质量基本不变的同时,平均降低约43％的熵编码时间。     

基于显著性和最大熵的输送带撕裂检测

针对带式输送机在运行过程中输送带易撕裂的背景,根据人眼视觉系统特点和信息论相关理论,提出了一种基于视觉显著性和一维最大熵的输送带撕裂故障检测算法.首先在频域提取图像的显著性区域,然后计算显著图的最大信息熵,进而分割图像.实验结果表明,该方法具有较强的稳定性和适应性.     

基于局部灰度熵的人体检测方法

针对造成低对比度环境下运动人体检测困难的两个主要因素：拍摄时光线昏暗和拍摄时距离较远,引入局部灰度熵概念,根据局部灰度熵可以准确地反映样本的离散程度且与样本的灰度均值无关这一原理,提出基于局部灰度熵的人体目标检测算法。建立背景模型,运用泰勒展开式简化局部灰度熵计算公式,计算邻域窗口内运动物体与背景模型的局部灰度熵值之差,通过检测率与虚警率对算法进行的评价, 得到两种低对比度情况下可以获取运动人体目标的局部灰度熵差值的最佳阈值。实验结果表明,在低对比度环境下,基于局部灰度熵的人体检测算法能够有效地检测出运动人体目标。     

基于模糊理论的2维隶属划分Renyi熵分割算法

基于信息论中最大熵原理,提出了一种2维直方图模糊划分Renyi熵分割算法。首先介绍了模糊划分的原理,由于Renyi熵是Shannon熵的广义形式,因此用模糊概率和条件概率来定义模糊划分Renyi熵。然后在向量空间内搜索最优参数组合,利用隶属函数实现图像分割。选用3幅不同类型的图像进行MATLAB仿真实验,结果表明该方法对噪声及杂散点等干扰的抑制性能较理想,且显著优于对比方法所得结果。     

基于流量和IP熵特性的DDoS攻击检测方法

针对现有DDoS(Distributed Deny of Service)攻击检测率低、误报率较高等问题进行了深入研究。根据DDoS攻击发生时网络中的流量特性和IP熵特性,建立了相应的流量隶属函数和IP熵隶属函数,隶属函数的上下限参数通过对真实网络环境仿真得到。提出了基于流量和IP熵特性的DDoS攻击检测算法,先判断流量是否异常,再判断熵是否异常,进而判断是否发生了DDoS攻击,提高了。由仿真结果可以看出：单独依靠流量或IP熵都不能很好地检测出DDoS攻击。该算法将流量和IP熵特性综合考虑,准确地检测出了DDoS攻击,降低了误报率,提高了检测率。