基于互信息和关系积理论的特征选择方法

研究互信息理论,针对其不足引进粗糙集并给出一个基于关系积理论的属性约简算法,以此为基础提出一个适用于海量文本数据集的特征选择方法。该方法使用互信息进行特征初选,利用所给的属性约简算法消除冗余,从而获得具有代表性的特征子集。实验结果表明,该特征选择方法效果良好。     

基于互信息最大化和特征聚类的特征选择

提出一种互信息最大化和特征聚类相结合的特征选择法。并将其应用于邮件识别。通过互信息最大化从原始特征空间中选择次优特征子集．借助于特征空间的聚类来剔除冗余特征,从而实现特征空间的再次降维。实验结果表明该方法是一种有效的特征选择法。     

基于互信息和粗糙集理论的特征选择

针对互信息方法在精度方面的不足,通过引入粗糙集,给出一种基于关系积理论的属性约简算法,以此为基础提出一个适用于海量文本数据集的特征选择方法。该方法采用互信息进行特征初选,利用提出的属性约简算法消除冗余,获得较具代表性的特征子集。实验结果表明,该特征选择方法能获得冗余度小且较具代表性的特征子集。     

基于NA-MEMD和互信息的脑电特征提取方法

多变量经验模式分解（MEMD）方法不需要根据先验知识选取基函数,能同时对多通道数据进行自适应分解,适合于分析具有高度相关性和非平稳性的脑电信号。为了判别包含有用信息的内蕴模式函数（IMFs）,提出一种基于噪声辅助多变量经验模式分解（NA-MEMD）和互信息的方法,并用于脑电特征提取。首先使用NA-MEMD算法对多通道信号进行分解得到多尺度IMF分量,然后采用互信息法分别计算各尺度上信号与其IMF分量、噪声与其IMF分量、信号IMF分量与噪声IMF分量之间的相关性,接着根据敏感因子筛选包含有用信息的IMF分量,将其叠加得到对应的重构信号,最后采用共同空间模式（CSP）法对重构信号进行特征提取,再用支持向量机（SVM）实现分类。使用仿真数据和实际数据集BCI Competition IV Data Set 1进行测试,与现有的其他方法比较,验证了所提方法的有效性。     

基于平均互信息的混合条件属性聚类算法

混合条件属性参数间的距离值存在较大的差异,导致仅聚合距离数量级较大、较规律的数值条件属性对象,而忽视数量级较小、混沌,但类别特征更加明显的分类条件属性对象。提出了一种基于平均互信息的聚类算法。通过熵量化参数类别特性的大小,再根据熵的平均互信息计算方法衡量数据对象间类别的相同、相异特征量,统一数值和分类条件属性参数间距离的数量级,最后通过优化迭代自适应过程得到最终聚类结果。实验结果表明,该算法具有良好的聚类质量和自适应性。     

一种基于互信息的模糊聚类集成算法

聚类集成是机器学习中的新问题．它是利用同一数据集的多个聚类划分集成在一起，以提高聚类分析的性能．如何发现从多个划分中得到“consensus clustering”是一个很困难的问题．很多学者对此作了研究．本文提出了一种基于互信息的模糊聚类集成算法．该算法主要扩展了Strehl　＆　Ghosh提出的基于互信息的聚类集成目标函数，将其应用到模糊划分的集成，同时利用类似于信息瓶颈聚类的算法进行求解．实验结果表明，在4个UCI的数据集上，基于互信息的聚类集成能获得良好的性能．     

基于最大联合条件互信息的特征选择

在高维数据如图像数据、基因数据、文本数据等的分析过程中,当样本存在冗余特征时会大大增加问题分析复杂难度,因此在数据分析前从中剔除冗余特征尤为重要。基于互信息（MI）的特征选择方法能够有效地降低数据维数,提高分析结果精度,但是,现有方法在特征选择过程中评判特征是否冗余的标准单一,无法合理排除冗余特征,最终影响分析结果。为此,提出一种基于最大联合条件互信息的特征选择方法（MCJMI）。MCJMI选择特征时考虑整体联合互信息与条件互信息两个因素,两个因素融合增强特征选择约束。在平均预测精度方面,MCJMI与信息增益（IG）、最小冗余度最大相关性（mRMR）特征选择相比提升了6个百分点;与联合互信息（JMI）、最大化联合互信息（JMIM）相比提升了2个百分点;与LW向前搜索方法（SFS-LW）相比提升了1个百分点。在稳定性方面,MCJMI稳定性达到了0.92,优于JMI、JMIM、SFS-LW方法。实验结果表明MCJMI能够有效地提高特征选择的准确率与稳定性。     

一个选择最大似然互信息特征的网络关系预测通用模型

信息网络结构特征作为影响关系生成与演化的主要因素在信息网络关系分类与推断领域占据重要地位。现有的关系分类与推断算法在处理网络结构特征的过程中,无法达到令人满意的效果。为此,结合互信息的定义,提出一种基于互信息特征选择的关系分类与推断算法。通过定义CN、AA、Katz等相似度指标充分抽取局部和全局(半全局)两类网络结构特征,利用基于密度比函数的最大似然估计来计算特征之间的近似互信息。该密度函数有效地解决了特征选择中全局最优解的过程,同时筛选出更具判别性的特征。通过多个真实信息网络数据集上的实验结果表明,无论是经典分类算法还是新近提出的基于学习理论的关系分类算法,经过互信息特征选择步骤的算法在Accuracy、AUC、Precision等评价指标上均比基准算法要优。     

一种基于二次互信息的双聚类算法

双聚类模型有助于聚类存在相关性的局部模式。论文提出了一种可识别多种相关模式的双聚类算法,以二次互信息作为相关性标准,并以Parzen窗口法有效估算高维变量之间的互信息;同时提出了最大相关维簇的概念。算法以多个最大相关维簇为种子,通过迭代细化聚类,可有效地发现高维数据环境内相关的长模式。真实基因表达数据的实验证明了算法的有效性。     

基于互信息和本体的协同检索模型的研究

在信息检索中,用户习惯用尽可能少的关键字来检索信息,这必然会导致检索结果与用户需求存在较大偏差.针对这一问题,我们提出了基于互信息的语义扩展模型(QSE_BMI)[2],结合用户兴趣模型,对用户输入的查询问句进行语义扩展.本文在QSE_BMI基础上,利用互信息与本体互补性,建立基于互信息和本体的协同检索模型,从而提高了信息检索的查全率与查准率.     

Ranking inter-relationships between clusters

The evaluation of the relationships between clusters is important to identify vital unknown information in many real-life applications, such as in the fields of crime detection, evolution trees, metallurgical industry and biology engraftment. This article proposes a method called ‘mode pattern?+?mutual information’ to rank the inter-relationship between clusters. The idea of the mode pattern is used to find outstanding objects from each cluster, and the mutual information criterion measures the close proximity of a pair of clusters. Our approach is different from the conventional algorithms of classifying and clustering, because our focus is not to classify objects into different clusters, but instead, we aim to rank the inter-relationship between clusters when the clusters are given. We conducted experiments on a wide range of real-life datasets, including image data and cancer diagnosis data. The experimental results show that our algorithm is effective and promising.     

基于互信息量的分类模型

针对分类数据集中属性之间的相关性及每个属性取值对属性权值的贡献程度的差别,提出基于互信息量的分类模型以及影响因子与样本预测信息量的计算公式,并利用样本预测信息量预测分类标号。经实验证明,基于互信息量的分类模型可以有效地提高分类算法的预测精度和准确率。     

基于互信息与边缘互距离的医学图像配准

提出了一种基于互信息与边缘互距离信息的医学图像配准新测度。该种测度既利用了待配准图像间的灰度互信息,又利用了图像边缘间的互距离均值和互距离方差空间信息,从而改进了互信息测度。实验证明这种测度得到的配准参数曲线光滑且峰值尖锐,收敛范围宽,对图像大小有更强的鲁棒性,在图像互信息值一样的情况下,仍有辨识能力。     

基于最近邻互信息的特征选择算法

针对邻域信息系统的特征选择模型存在人为设定邻域参数值的问题。分别计算样本与最近同类样本和最近异类样本的距离,用于定义样本的最近邻以确定信息粒子的大小。将最近邻的概念扩展到信息理论,提出最近邻互信息。在此基础上,采用前向贪心搜索策略构造了基于最近邻互信息的特征算法。在两个不同基分类器和八个UCI数据集上进行实验。实验结果表明：相比当前多种流行算法,该模型能够以较少的特征获得较高的分类性能。     

基于分块互信息的图像配准

针对传统互信息缺乏利用空间信息而容易导致误配的缺点,提出了基于分块互信息的多模图像配准方法,并运用于可见光与红外图像之间的配准。该方法首先将可见光与红外图像分块,求得每个可见光与红外图像块对的互信息,并由块对中可见光与红外图像的质心间的距离为参数,确定块对的配准系数,求得每个块对的互信息与配准系数的乘积的和,定义为分块互信息,并以此为配准准则。实验表明,该方法运用与可见光与红外光配准,在配准精度上优于传统互信息方法。     

基于EMD和互信息熵的微震信号自适应去噪

针对强干扰背景下的微震信号提取,提出一种基于经验模态分解（Empirical Mode Decomposition,EMD）和互信息熵的自适应提取算法。通过EMD对微震信号进行分解,得到高频和低频两部分信号,并对分解得到的各阶固有模态分量求出能量和能量熵值。根据互信息准则,通过依次计算相邻分量能量熵之间的互信息值来区分高频和低频信号。将经过自适应阈值滤波后的高频信号和低频信号一起进行信号重构,得到新的微震信号。仿真结果表明,在对微震信号去噪时,该方法可以有效地去除噪声信号,信噪比均提升了10 dB以上。工程上的微震信号通过该方法处理后,也取得了较好的效果。     

基于互信息的主成分分析特征选择算法

主成分分析是一种常用的特征选择算法,经典方法是计算各个特征之间的相关,但是相关无法评估变量间的非线性关系.互信息可用于衡量两个变量间相互依赖的强弱程度,且不局限于线性相关,鉴于此,提出一种基于互信息的主成分分析特征选择算法.该算法计算特征间的互信息,以互信息矩阵的特征值作为评价准则确定主成分的个数,并衡量主成分分析特征选择的效果.通过实例对所提出方法和传统主成分分析方法进行比较,并以神经网络为分类器分析分类效果.     

一种基于广义互信息的图像配准算法

互信息作为图像配准中的相关度矩阵有着广泛的应用,通常采用的是基于Shannon熵的互信息。采用一个广义的信息熵——Renyi熵,提出了一种基于广义互信息的图像配准方法。在全局搜索阶段,采用q取较小值的Renyi熵,此时,Renyi熵可以消除局部极值,再通过局部优化方法对当前的局部最优解进行局部寻优,以找到全局最优解;在局部优化阶段,使用基于q→1时的Renyi熵的归一化互信息测度作为目标函数。实验结果表明:相对于归一化互信息图像配准算法,基于Renyi熵的互信息配准算法有良好的配准效果,且提高了配准速度。