信息融合中的有关熵理论

将信息论中有关熵的概念和应用引入到目标观测识别系统中，建立了观测决策融合系统的熵模型；提出了观测决策融合系统中有关条件熵的两个重要定理，并指出它们在理论研究和实际应用中的指导意义；最后阐述了融合系统中熵的结构关系．     

加权条件熵在异常检测中的应用

通过分析信息熵在异常检测中的应用和条件熵的固有特性, 提出了一种基于条件熵和加权熵理论的异常检测方法。分析网络流量特征, 选取具有内在相关性的网络特征属性, 给出了加权系数矩阵的公式和异常检测的具体实现方法。通过实验验证了该方法的有效性和实用性, 根据不同属性特征在加权条件熵理论中的应用效果, 分析了不同特征属性选择造成检测效果差异的原因。     

基于新的条件熵的入侵检测算法

在分析了现有的入侵检测方法的基础上,为了降低入侵检测系统的错检率、降低漏检率和提高实时性,提出了一种新的检测方法:基于新的条件熵的入侵检测算法.本算法在考虑信息论有关理论的基础上,利用信息熵的知识对收集到的数据进行离散化.通过分析离散化后的数据,利用新的条件熵的知识约简方法去除冗余属性,生成检测规则,然后用来分析入侵数据.实验结果表明:基于新的条件熵的入侵检测算法与基于BP神经网络和支持向量机的入侵检测算法比较,可以有效地提高入侵检测系统的检测率,降低错检率.该算法的检测率提高7%左右,能为信息系统提供很好的入侵检测服务.     

一种粗糙集属性约简算法

该文针对RoughSet理论的属性约简进行了研究。利用RoughSet和信息论的相关知识,研究了通过可辨识矩阵求得属性约简集,并利用条件熵来计算属性约简集中属性间的相关性,其平均值最小的属性集即为求得的最佳属性约简的结果。实验证明,它可以取得比较理想的效果。最后利用该文的方法给出了对UCI机器学习数据库的例子的约简结果。     

基于熵的入侵检测研究综述

在网络安全领域中,用熵值分析网络中的异常流量是一个较为常用的异常入侵检测方法。总结已知入侵检测方法的分类,并给出各种方法的应用场景及优缺点。结合信息熵、相对熵、条件熵、活跃熵等熵值理论在入侵检测领域的研究,概述其研究现状,总结不同的熵值理论的应用场景和不足之处。最后讨论基于熵的入侵检测方法的改进方向。     

基于指数熵的蠕虫病毒检测方法

在传统的入侵检测理论的基础上,研究了统计学概念模型系统熵,并结合蠕虫病毒的行为特征提出了指数熵概念,从异常检测的角度对蠕虫病毒采取了一种新型扼制方法.该方法的具体实施是建立完整的指数熵理论,推导出实用的熵值计算公式,结合局域网蠕虫病毒入侵检测技术,开发了高教的蠕虫病毒检测应用程序.实验结果表明,该方法可以检测到网络蠕虫,且具有较高的效率和较低的漏报率.     

基于熵的正常行为规则性度量

异常检测是防范新型攻击的基本手段。该文使用信息熵作为理论工具，用正常行为的熵相对于随机行为的熵的比值作为正常行为规则性的度量标准，并结合一个具体的异常检测实例验证了这种度量标准的合理性。     

基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

参数估计定理

空间信息论是关于雷达等目标参数估计系统信息获取一般规律的基本理论,这里的空间信息指被测目标相对于雷达的距离、方向和散射信息。参数估计定理是空间信息论的重要组成部分,本文提出参数估计定理的证明框架,该框架由3个原创性概念和1个定理构成,其中3个概念是空间信息、熵误差和抽样后验概率估计。参数估计定理证明,熵误差是可达的,反之,任何估计器的熵误差不低于熵误差。空间信息论的建立将对雷达探测的系统理论和方法产生巨大的推动作用。     

基于容差关系的加权知识粗糙熵

粗集理论为从信息论角度研究知识粗糙熵和属性约简问题提供了一种重要的途径和方法。本文提出了基于容差关系下的不完备信息系统加权的知识熵和条件熵概念，将等价关系下的粗糙熵自然地推广到不完备信息系统的容差关系情形。本文的结果为在一般二元关系下的知识获取提供了理论依据。     

基于条件信息熵的覆盖约简算法

针对覆盖算法中识别精度与泛化能力存在的矛盾,在信息论观点的Rough集理论基础上,提出覆盖熵概念,以决策属性相对于分类器的条件信息熵为约束条件,在确保算法分类能力不降低的情况下,对一组覆盖中信息熵最大的覆盖进行约简,减少了分类器的不确定因素。实验结果证明,该算法具有很好的识别精度与泛化能力,对模糊、不确定的数据也具有较好的处理能力。     

基于信息熵的一种属性约简算法

文章针对Rough Set理论的核心内容之一属性约简进行了研究。结合信息论的有关知识,研究了在属性约简过程中决策属性集相对条件属性集的条件熵的变化规律,在此基础上提出了新的属性约简算法。实验分析表明,在多数情况下这种算法都能够得到决策表的最小约简,同时还对算法复杂度做了简单的分析。     

基于边界域的条件信息熵和属性约简

为了建立边界域条件信息熵与属性约简之间的关系,证明了边界域和整个论域上的条件信息熵相等,得到信息熵约简的边界域条件信息熵表示。利用严凸函数和Jensen不等式,讨论了边界域条件信息熵的若干性质,给出保持边界域条件信息熵不变的充要条件。为了得到正域约简的边界域条件信息熵表示,给出了保持正域不变的边界域条件信息熵充要条件,从而得到正域约简的边界域条件熵判定方法,它是一致决策表正域约简判定方法的推广形式。最后设计一个数值算例阐述如何应用边界域条件信息熵计算正域约简和信息熵约简。     

利用归一化互信息进行基于像斑的遥感影像变化检测

提出了利用遥感影像分割获取像斑进行变化检测的方法。将归一化互信息引入到遥感影像变化检测中,利用像斑的灰度直方图以及联合灰度直方图计算像斑的归一化互信息,依据条件熵最小的原则,获取最佳划分阈值,并与相关系数法进行了比较。实验结果显示归一化互信息法更适用于遥感影像变化检测。     

知识粗糙性和条件信息熵的关系

目前,粗糙集理论存在着两种观点,它们分别是代数观和信息观。在代数观点中,知识粗糙性体现了知识的粒度;而在信息观中,定义了知识的信息熵和条件信息熵。已经有定理证明了信息熵与知识的粗糙性存在对应关系,它建立了代数观和信息观之间的联系,但是这种关系却不是一一对应的。该文通过重新证明知识粗糙性和信息熵的对应关系定理,找到与知识粗糙性存在一一对应关系的是条件信息熵,并给出相关定理及其证明。     

基于覆盖算法的条件信息熵表示及属性约简

利用覆盖算法对数据进行处理,得到论域U的一个划分,定义一种基于覆盖的条件信息熵,由新的条件信息熵定义新的属性重要性,并证明了对于一致决策表,它与代数定义下的重要性是等价的。以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的算法。实验结果表明该约简算法能快速搜索到最优或次优约简。     

覆盖约简算法在Captcha识别方面的应用

Captcha是用来区分计算机与人类的一种程序,图像验证码是一种典型的Captcha。对图像验证码的发展历程进行了总结,比较了几种目前最常见验证码的特点和设计思路,提出了对一般验证码的破解方法,并设计实现了提取验证码数据的图片信息提取系统;应用基于条件信息熵的覆盖约简算法,对验证码进行识别,对比实验结果证明,识别效果良好。