基于互信息的选择性集成核极端学习机

针对集成学习中的准确性和差异性平衡问题, 提出一种基于信息论的选择性集成核极端学习机. 采用具有结构简单、训练简便、泛化性能好的核极端学习作为基学习器. 引入相关性准则描述准确性, 冗余性准则描述差异性,将选择性集成问题转化为变量选择问题. 利用基于互信息的最大相关最小冗余准则对生成的核极端学习机进行选择, 从而实现准确性和差异性的平衡. 基于UCI 基准回归和分类数据的仿真结果验证了所提出算法的优越性.

     

一种基于属性关系的特征选择算法

对于包含大量特征的数据集, 特征选择已成为一个研究热点, 能剔除无关和冗余特征, 将会有效改善分类准确性. 对此, 在分析已有文献的基础上, 提出一种基于属性关系的特征选择算法(NCMIPV), 获取优化特征子集, 并在UCI 数据集上对NCMIPV 算法进行性能评估. 实验结果表明, 与原始特征子集相比, 该算法能有效降低特征空间维数, 运行时间也相对较短, 分类差错率可与其他算法相比, 在某些场合下性能明显优于其他算法.

     

改进式混合增量极限学习机算法

针对增量型极限学习机(I-ELM) 中存在大量降低学习效率及准确性的冗余节点的问题, 提出一种基于Delta 检验(DT) 和混沌优化算法(COA) 的改进式增量型核极限学习算法. 利用COA的全局搜索能力对I-ELM 中的隐含层节点参数进行寻优, 结合DT 算法检验模型输出误差, 确定有效的隐含层节点数量, 从而降低网络复杂程度, 提高算法的学习效率; 加入核函数可增强网络的在线预测能力. 仿真结果表明, 所提出的DCI-ELMK 算法具有较好的预测精度和泛化能力, 网络结构更为紧凑.

     

一种基于k-近邻互信息变化率的输入变量选择方法

针对多变量时间序列建模中的输入变量选择问题,提出一种基于κ-近邻互信息变化率的变量选择方法.根据多变量之间的相关关系,以输入输出之间的κ-近邻互信息变化率作为评价标准选择相关变量;同时根据输入变量子集之间互信息值的大小判断变量是否为冗余变量;通过设定合适的阈值系数,可以有效地实现输入变量选择.Friedman,Lorenz混沌时间序列以及Housing数据的变量选择仿真结果验证了所提出方法的有效性.     

一种基于遗传算法的最小交叉熵阈值选择方法

最小交叉熵阈值法(MCET) 在二级阈值中是有效的, 但在多极阈值的穷尽搜索中却要付出昂贵的时间代价. 鉴于此, 提出一种基于遗传算法(GA) 的MCET选择方法: 在执行图像分割(IS) 任务之前, 先将IS 转化为在一定约束 条件下待优化的问题; 在寻找待优化问题最优解的计算过程中引入一种回归设计技巧以存储中间结果; 使用这种回 归设计技巧, 在一组标准测试图像上利用GA搜索待优化问题的最优解. 实验结果表明, 利用所提出的方法获得的多 个阈值非常接近于穷尽搜索获得的结果.

     

一种用于软测量建模的增量学习集成算法

针对软测量模型在实际应用中遇到的问题, 结合AdaBoost 集成学习思想, 提出适用于软测量回归的集成学习算法, 以提高传统软测量模型的精度. 为了克服模型更新技术对软测量实际应用的制约, 将增量学习机制加入软测量集成建模中, 使软测量模型具有在线实时更新的增量学习能力. 对浆纱过程使用新方法建立上浆率软测量模型, 并使用实际生产数据对模型进行检验, 检验结果表明, 该模型具有很好的预测精度, 并能够较好地实现在线更新.

     

基于互信息的软测量变量选择

针对软测量建模中的变量选择问题,提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理,对软测量中各辅助变量和主导变量的概率分布进行估计,得到主导变量和各辅助变量间的互信息,这些互信息间接地反映了主导变量和各辅助变量间的相关性,包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息,重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本。用T检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理,并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明,基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点,并且有效地改善了模型的估计精度。     

基于选择判据与贴近度的电网故障诊断算法

针对传统D-S 证据理论难以解决高度冲突证据融合问题, 提出一种新的证据合成算法. 将贴近度概念引入D-S 证据合成中, 通过证据的一致性度量计算其权重, 实现冲突证据的加权融合. 提出证据合成方法选择判据, 将证据合成分为冲突和非冲突2 类, 分别采用改进算法和传统算法对证据进行融合. 实例验证表明, 所提出的方法信息聚焦性能优越, 可以有效解决冲突证据合成问题, 在解决电力系统故障诊断问题方面有良好的效果.

     

一种基于能耗均衡的分区节点部署算法

鉴于能耗问题是无线传感器网络研究的重要问题, 首先建立一种非均匀部署网络拓扑模型, 该模型中越靠近sink 的区域节点部署越密集, 节点通信距离越小; 然后针对节点初始随机部署情况, 提出一种基于节点能耗均衡的分区域节点重部署算法, 该算法利用分区域的节点移动, 减少节点移动距离, 降低移动能耗, 提高算法收敛速度; 最后通过仿真表明, 所提出的算法可以用较少数量的节点覆盖监测区域, 保证网络中各节点能量均衡消耗, 提高网络生存周期.

     

基于环境Pareto 支配选择策略的有约束多目标差分进化算法

在处理有约束多目标问题的进化算法中, 目前普遍采用Deb 教授提出的约束占优的直接支配选择策略. 在约束处理中, 优秀不可行解与优秀可行解同样重要, 但在直接支配选择策略中, 不可行解被选择的几率很小. 针对此问题, 设计一种环境Pareto 支配的选择策略, 并基于此提出用于解决有约束多目标问题的差分进化算法. 对经典测试函数进行仿真计算, 结果表明, 与其他算法相比, 所提出的算法具有更高的收敛性和稳定性.

     

基于灵敏度分析法的ELM剪枝算法

针对极端学习机(ELM)网络结构设计问题,提出基于灵敏度分析法的ELM剪枝算法.利用隐含层节点输出和相对应的输出层权值向量,定义学习残差对于隐含层节点的灵敏度和网络规模适应度,根据灵敏度大小判断隐含层节点的重要性,利用网络规模适应度确定隐含层节点个数,删除重要性较低的节点.仿真结果表明,所提出的算法能够较为准确地确定与学习样本相匹配的网络规模,解决了ELM网络结构设计问题.     

基于多层学习克隆选择的改进式增量型超限学习机算法

针对增量型超限学习机(incremental extreme learning machine,I-ELM)中大量冗余节点可导致算法学习效率降低,网络结构复杂化等问题,提出基于多层学习(multi-learning)优化克隆选择算法(clone selection algorithm,CSA)的改进式I-ELM.利用Baldwinian learning操作改变抗体信息的搜索范围,结合Lamarckian learning操作提高CSA的搜索能力.改进后的算法能够有效控制I-ELM的隐含层节点数,使网络结构更加紧凑,提高算法精度.仿真结果表明,所提出的基于多层学习克隆选择的增量型核超限学习机(multi-learning clonal selection I-ELMK,MLCSIELMK)算法能够有效简化网络结构,并保持较好的泛化能力,较强的学习能力和在线预测能力.     

基于最近邻互信息的特征选择算法

针对邻域信息系统的特征选择模型存在人为设定邻域参数值的问题。分别计算样本与最近同类样本和最近异类样本的距离,用于定义样本的最近邻以确定信息粒子的大小。将最近邻的概念扩展到信息理论,提出最近邻互信息。在此基础上,采用前向贪心搜索策略构造了基于最近邻互信息的特征算法。在两个不同基分类器和八个UCI数据集上进行实验。实验结果表明：相比当前多种流行算法,该模型能够以较少的特征获得较高的分类性能。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。     

多标签学习中基于互信息的快速特征选择方法

针对传统的基于启发式搜索的多标记特征选择算法时间复杂度高的问题，提出一种简单快速的多标记特征选择（EF-MLFS）方法。首先使用互信息（MI）衡量每个维度的特征与每一维标记之间的相关性，然后将所得相关性相加并排序，最后按照总的相关性大小进行特征选择。将所提方法与六种现有的比较有代表性的多标记特征选择方法作对比，如最大依赖性最小冗余性（MDMR）算法和基于朴素贝叶斯的多标记特征选择（MLNB）方法等。实验结果表明，EF-MLFS方法进行特征选择并分类的结果在平均准确率、覆盖率、海明损失等常见的多标记分类评价指标上均达最优；该方法无需进行全局搜索，因此时间复杂度相较于MDMR、对偶多标记应用（PMU）等方法也有明显降低。     

基于ELM的一类MIMO仿射非线性系统的鲁棒自适应控制

针对一类多输入多输出(MIMO) 仿射非线性动态系统, 提出一种基于极限学习机(ELM) 的鲁棒自适应神经控制方法. ELM随机确定单隐层前馈网络(SLFNs) 的隐含层参数, 仅需调整网络的输出权值, 能以极快的学习速度获得良好的推广性. 在所提出的控制方法中, 利用ELM逼近系统的未知非线性项, 针对ELM网络的权值、逼近误差及外界扰动的未知上界值分别设计参数自适应律, 通过Lyapunov 稳定性分析可以保证闭环系统所有信号半全局最终一致有界. 仿真结果表明了该控制方法的有效性.

     

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

改进的灵敏度剪枝极限学习机

针对极限学习机(ELM) 网络结构优化问题, 提出一种改进的灵敏度剪枝ELM(ImSAP-ELM). ImSAP-ELM 将??₂ 正则化因子引入SAP-ELM 中, 采用留一准则确定最优隐节点数. 推导基于奇异值分解的输出权重计算公式, 避免矩阵奇异导致求解无效的问题. 将ImSAP-ELM 用于故障预测, 利用多组同类型故障数据建立多个ImSAP-ELM 模型, 基于加权思想融合不同ImSAP-ELM 的预测值. 某型无人机发射机实例表明, 相比于ELM、OP-ELM (最优剪枝ELM) 和SAP-ELM, ImSAP-ELM 耗时最高, 但是ImSAP-ELM 的预测误差小于其他3 种方法.