一种基于改进互信息和信息熵的文本特征选择方法

互信息是一种常用的特征选择评价函数,但研究表明它会导致分类精度相对较低.文中针对互信息倾向选择低频词的不足,提出了一种新的特征评价函数TFMIIE,将信息熵和改进互信息相结合,其中改进互信息能够避免偏向低频的生僻词,而特征熵有利于去除类别不确定的特征词.实验结果表明,采用TFMIIE进行特征选择,用得到的特征子集表示文本和构建分类器,文本分类的准确率与召回率比采用互信息的方法提高了约40％,验证了所提出的基于改进互信息和信息熵的文本特征选择方法是有效的.     

文本分类中改进型互信息特征选择的研究

互信息是文本分类中常用的特征选择方法.提出了一种新的基于互信息的特征选择方法.首先分析了特征选择影响文本分类精度的因素,将这些因素组合起来表征特征对于分类的强弱,并用公式直观地表示由组合因素计算出的特征值,根据这些值得大小选择对分类影响大的特征.最后理论证明了其可行性,并通过实验证明了该方法在提高分类精度方面比传统方法提高了10%.     

基于零亏损冗余删减策略的最优光谱特征选择法

为了以最小的代价筛选出最优的光谱特征,从信息亏损角度提出了一种Filter型光谱特征选择算法.该算法依据联合互信息的大小对特征进行排序,并采用一种零信息亏损原则对排序后特征全集中的冗余特征进行判断和删减.这样既能获得一个规模较小并可表现整个原始光谱特征的最优光谱特征子集,又减小了由冗余特征删减带来的信息亏损.     

基于零亏损冗余删减策略的最优光谱特征选择算法

为了以最小的代价筛选出最优的光谱特征,从信息亏损角度提出了一种Filter型光谱特征选择算法。该算法依据联合互信息的大小对特征进行排序,并采用一种零信息亏损原则对排序后特征全集中的冗余特征进行判断和删减。这样既能获得一个规模较小并可表现整个原始光谱特征的最优光谱特征子集,又减小了由冗余特征删减带来的信息亏损。     

一种用于雷达信号调制分类的特征评估方法

针对用于调制分类过程中雷达信号脉内特征参数评估问题,提出了一种多指标联合评估方法.该方法使用复杂性、可分离性和稳定性3个指标对特征参数的调制分类性能进行联合评估,克服了传统评估手段仅使用单一指标难以进行全面科学评估的缺陷,并可以根据应用需求获取相应的最合理的综合评分值.理论分析和计算机仿真结果表明,该方法可以有效评估特征的调制分类性能,具有较强的工程应用价值.     

基于复杂度特征的调制信号识别

调制信号的调制规律能够直接在信号波形上得到反映，本文使用复杂度来定量描述信号的这种有效、简便的波形变化特征，它包括Lempel-Ziv复杂度和分形维数。在Lempel-Ziv复杂度的提取中，本文提出了一种有效的序列重构方法，以此来提高特征的类内集群程度和类间分离程度。在此基础上针对7种调制类型设计了分层结构的组合分类器，从而获得较为满意的识别。计算机仿真实验也证实了本文方法的有效性。     

遗传与互信息混合算法用于水声目标特征选择

特征选择是目标分类的一项重要步骤，直接影响到分类器的设计和性能。本文利用实际水声目标辐射噪声数据，对遗传算法和互信息算法两种特征选择方法分别作了分析。在特征维数较大的情况下，两种方法都需要很长的计算时间，为此，提出一种遗传与互信息混合算法，旨在降低计算时间。最后，分类器用三种选择后的特征子集作为输入进行分类，并与任意选择的特征子集作为输入的分类结果作了比较。     

新特征选择方法下的信号调制识别

针对通信信号的特点,该文提出了一种适用范围较广的新的特征选择方法。它运用高效、稳健的遗传算法,按照使同一类别特征的集群程度和不同类别特征的分离程度达到最佳的评价准则,筛选出一高质量的特征子集,并结合证据理论的精细结构,在一个较大的信噪比变化范围内,得到了较高的调制识别率,计算机模拟结果证实了该方法的优越性。     

动态加权条件互信息的特征选择算法

特征选择是机器学习、自然语言处理和数据挖掘等领域中数据预处理阶段必不可少的步骤.在一些基于信息论的特征选择算法中,存在着选择不同参数就是选择不同特征选择算法的问题.如何确定动态的非先验权重并规避预设先验参数就成为一个急需解决的问题.该文提出动态加权的最大相关性和最大独立性(WMRI)的特征选择算法.首先该算法分别计算新分类信息和保留类别信息的平均值.其次,利用标准差动态调整这两种分类信息的参数权重.最后,WMRI与其他5个特征选择算法在3个分类器上,使用10个不同数据集,进行分类准确率指标(fmi)验证.实验结果表明,WMRI方法能够改善特征子集的质量并提高分类精度.     

动态加权条件互信息的特征选择算法

特征选择是机器学习、自然语言处理和数据挖掘等领域中数据预处理阶段必不可少的步骤。在一些基于信息论的特征选择算法中,存在着选择不同参数就是选择不同特征选择算法的问题。如何确定动态的非先验权重并规避预设先验参数就成为一个急需解决的问题。该文提出动态加权的最大相关性和最大独立性(WMRI)的特征选择算法。首先该算法分别计算新分类信息和保留类别信息的平均值。其次,利用标准差动态调整这两种分类信息的参数权重。最后,WMRI与其他5个特征选择算法在3个分类器上,使用10个不同数据集,进行分类准确率指标(fmi)验证。实验结果表明,WMRI方法能够改善特征子集的质量并提高分类精度。     

Multi-label feature selection algorithm based on joint mutual information of max-relevance and min-redundancy

Feature selection has played an important role in machine learning and artificial intelligence in the past decades.Many existing feature selection algorithm have chosen some redundant and irrelevant features,which is leading to overestimation of some features.Moreover,more features will significantly slow down the speed of machine learning and lead to classification over-fitting.Therefore,a new nonlinear feature selection algorithm based on forward search was proposed.The algorithm used the theory of mutual information and mutual information to find the optimal subset associated with multi-task labels and reduced the computational complexity.Compared with the experimental results of nine datasets and four different classifiers in UCI,the proposed algorithm is superior to the feature set selected by the original feature set and other feature selection algorithms.     

利用互信息进行网络异常检测的熵特征优选

首先讨论了传统流量统计分析的缺点,指出熵分析能够反映更多潜在的信息,发现传统流量统计分析不能发现的网络异常.其次,讨论了流量熵和计数熵的不同,指出两者应该配合使用,不能如现有研究中一样片面地使用其中一种.最后,用互信息法分析了两种熵的常用特征,实验发现两者分别呈现冗余状态,在剔除冗余之后检测的效率有明显提高,且不失检测...     

基于改进特征选择方法的文本情感分类研究

提出了结合情感词典的改进信息增益特征选择方法。首先,针对现有的信息增益特征选择存在注重特征词的文档频率而忽视语料均衡等问题,提出了改进方法。其次,考虑情感词对文本分类的影响,提出了基于情感词典的特征选择（information gain combining sentiment classification,IGSC）算法进行文本分类。该算法通过对文本情感词进行匹配并结合情感词赋权重,实现了特征降维并解决了文本数据稀疏影响分类性能的问题;最后,针对旅游评论数据集对所提出的特征选择方法进行了实验验证及分析。实验结果表明,本文提出的改进文本情感分类特征选择方法在分类准确率、召回率和F值方面均得到了提升,并且具有较好的分类稳定性。     

基于密集连接和特征消冗网络的零水印方法

针对鲁棒水印不可见性和鲁棒性的矛盾,提出了一种基于密集连接和特征消冗网络(dense connection and redundant feature elimination network, DCRFENet)的零水印方法。首先,为了抵抗不同图像攻击,设计密集连接模块,即从不同卷积层提取浅层和深层图像的鲁棒特征。同时,为了增强零水印的唯一性,结合特征间权重学习与特征内权重学习设计特征消冗模块,从而消除冗余特征以及增强图像的有效特征。其次,融合有效特征与鲁棒特征,生成图像特征图,并进行抗攻击训练。最后,基于训练的DCRFENet,将特征图进行分块,比较分块均值与块内每一特征值的大小构造零水印。实验结果表明,在CIFAR10、COCO、VOC数据集上抵抗单一攻击的平均比特误差率(bit error rate,BER)均低于0.03。此外,与现有方法相比,提出的零水印方法对训练的攻击、非训练的攻击以及混合攻击均具有较好的鲁棒性     

基于实例学习和协同子集搜索的特征选择方法

特征子集搜索是数据挖掘分类任务中一个关键性的难题,常用的过滤器方法忽略了基因之间的相关性,此外,现有的解决方法并不是专门针对处理小样本数据,因此在特征选择方面表现出了不稳定性.为了解决上述问题,在实例学习的基础上提出了一种新型的混合封装过滤算法,并且提出了一种具有封装器评价体系的分类器算法——协同性子集搜索(CSS).选取几个高维小样本的癌症数据集作为数据来源,对提出的评价体系进行了实验测试,结果表明,该方法在准确性及稳定性方面较其他方法表现更好.     

An enhanced feature selection filter for classification of microarray cancer data

The main aim of this study is to select the optimal set of genes from microarray cancer datasets that contribute to the prediction of specific cancer types. This study proposes the enhancement of the feature selection filter algorithm based on Joe's normalized mutual information and its use for gene selection. The proposed algorithm is implemented and evaluated on seven benchmark microarray cancer datasets, namely, central nervous system, leukemia (binary), leukemia (3 class), leukemia (4 class), lymphoma, mixed lineage leukemia, and small round blue cell tumor, using five well‐known classifiers, including the naive Bayes, radial basis function network, instance‐based classifier, decision‐based table, and decision tree. An average increase in the prediction accuracy of 5.1% is observed on all seven datasets averaged over all five classifiers. The average reduction in training time is 2.86 seconds. The performance of the proposed method is also compared with those of three other popular mutual information–based feature selection filters, namely, information gain, gain ratio, and symmetric uncertainty. The results are impressive when all five classifiers are used on all the datasets.     

基于小波包变换和特征选择的雷达辐射源信号识别

为了提高雷达辐射源信号的正确识别率以满足现代电子对抗的需要，提出一种基于小波包变换和特征选择的雷达辐射源信号识别新方法。先采用小波包变换进行特征提取，再采用基于量子遗化算法的相像系数特征选择法来挑选出小波包特征中分辨能力强的特征。仿真实验结果显示，该方法用较少的特征能获得较高的正确识别率，具有一定的参考价值。     

互信息熵与区域特征结合的图像匹配研究

解决检测目标的定位问题是实施自动光学检测的前期工作。针对挠性印制电路基材制成品与标准设计存在的差异导致的匹配误差,本文提出了基于互信息熵与关键区域特征相结合的匹配误差校正方法。首先采用图像灰度互信息熵作为衡量检测目标与设计标准之间差异的指标,建立以互信息熵值为目标函数的搜索方法;根据关键区域内的互信息熵对匹配误差具有更好的敏感性与准确性的特点,选取含灰度信息丰富的关键区域与互信息熵相结合的方法对检测目标进行匹配以提高匹配效率;然后,在焊盘图像中添加椒盐噪声、缺损、冗余等干扰信息,在存在干扰的环境下实现对目标的准确定位与搜索,验证了算法的抗干扰能力。通过最终的实验表明,采用该方法对于75μm制程该方法定位精度可达22.4μm,优于霍夫变换法与坐标转换法。对于工艺误差、基材胀缩、外形缺损等因素造成的不良影响具有良好的抗扰性,更适于在实际的工业环境中使用。     

一种基于ReliefF评估和互补系数的特征选择算法

Filter特征选择算法具有通用性强、算法复杂度低的特点,但对某一个具体的分类器选择的特征子集也许并不是最优的;Wrapper方法与其相反,对特定的分类器可以找到最优的特征子集,但算法复杂度很高.研究一种Filter与Wrapper相结合的混合型算法.首先从特征对样本分类效果的角度提出互补系数的概念,然后基于ReliefF评估和互补系数,提出ReCom算法.实验证明,由ReCom算法得到的特征子集与ReliefF算法得到的特征子集相比具有更好的性能,并且与传统Wrapper方法相比,该算法大大降低了时间复杂度.     

基于近邻图正则化的高光谱图像特征选择方法

高光谱图像分类是近年来的研究热点。其数据的 高维性引发了“维度灾难”问 题。数据降维成为解决问题的关键。针对高光谱数据有标记训练样本点匮乏的特点, 提出用无监督的特征选择方法对高光谱数据进行降维。该方法能够同时保持原始高光 谱数据的判别能力和局部几何结构。为了保持判别能力,用所选特征对原始高光谱数 据进行重构,利用重构误差最小化将特征选择问题转化为优化问题。为了保持局部几 何结构,建立近邻图,并将其转化为正则项加入目标函数中。通过迭代梯度下降方法 解此优化问题,得出优选特征子集参与高光谱图像分类识别任务。在真实数据集上的 实验表明,新方法能够提高分类识别的精度。