基于最优特征组合改进极限梯度提升的负荷预测

为解决常规特征选择方法无法有效度量特征间的非线性相关的局限性,提出基于最优特征组合改进极限梯度提升(extreme gradient boosting,XGBoost)的负荷预测方法.该方法首先计算历史负荷与待预测负荷之间的互信息值(MI),取互信息最大的K个历史负荷特征形成MI滤集;进而从MI滤集取特征归因(SHAP)值最大的前L个特征形成SHAP滤集.通过粒子群优化寻找最优K、L值,建立基于最优特征组合改进极限梯度提升的预测模型(optimal feature combination improved XGBoost,OFCI-XGBoost).结果表明所提方法的预测误差为1.11％,低于相同策略改进的支持向量机、决策树、岭回归模型,验证了该预测模型的有效性.     

基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类

针对单一极限学习机(ELM)在癫痫脑电信号研究中分类结果不稳定、泛化能力差的缺陷,提出一种基于互信息(MI)的AdaBoost极限学习机分类算法。该算法将AdaBoost引入到极限学习机中,并嵌入互信息输入变量选择,以强学习器最终的性能作为评价指标,实现对输入变量以及网络模型的优化。利用小波变换(WT)提取脑电信号特征,并结合提出的分类算法对UCI脑电数据集以及波恩大学癫痫脑电数据进行分类。实验结果表明,所提方法相比传统方法以及其他同类型研究,在分类精度和稳定性上有着明显提高,并具有较好的泛化性能。     

QBF问题中隐蔽集的求解过程

隐蔽集作为QBF问题的重要结构之一,能使QBF这一难求解问题变得更加简单. QBF问题中隐蔽集的求解相当复杂且难以理解. 为了使读者更好的理解QBF问题中隐蔽集的求解过程,本文对QBF问题中隐蔽集的求解过程进行深入研究,结合实例计算变量的深度、选择符合条件的变量X并计算其对应的三角依赖变量集D_ψ^Δ（x）,根据B=B∪{x}=x和ψ''=ψ-D_ψ^Δ（x）的思想求解出问题的隐蔽集,希望本文能为该领域的相关研究人员提供一定的参考.     

正则化和交叉验证在组合预测模型中的应用

组合预测模型的权重确定方式对于提高模型精度至关重要,为研究正则化与交叉验证是否能改善组合预测模型的预测效果,提出将正则化和交叉验证应用于基于最小二乘法的组合预测模型.通过在组合模型的最优化求解中分别加入L₁、L₂范数正则化项,并对数据集进行留一交叉验证后发现：L₁、L₂范数正则化都对组合模型的预测精度具有改善效果,且L₁范数正则化比L₂范数正则化对组合预测模型的改善效果更好,并且参与组合预测的单项预测模型越多,正则化的改善效果越好,交叉验证对组合预测模型的改善效果则与给定实验数据量呈现正相关.     

区间上非线性程序的终止性判定

分析了如下类型程序的终止性:While x∈Ω do {x:=f(x)} end.其中,x是程序变量,Ω是一个区间,f是一个连续函数.这类程序被称为区间上非线性程序.证明了上面程序不终止的必要条件是函数在区间内部或边界上有不动点.如果不动点不在区间的边界,则上述结果是充要条件.仅仅在区间边界上有不动点的情况下,对函数略加限制,也建立了相应结果.特别地,对逐段多项式连续函数程序的终止性给出了完备判定算法.     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

构造有限域上具有给定阶点的椭圆曲线

考虑有限域上椭圆曲线的构造.设q是一个奇素数的方幂,l是一个素数.证明了,如果GF(q)[x]上的方程U²-D(x)V2=ε(x-a)^l有本原解,其中,D(x)∈GF(q)[x]是一个首1三次无平方因子的多项式,则椭圆曲线y²=D(x)上的点(a,b)的阶是l.由此,给出了一种构造具有给定阶点的椭圆曲线的算法.     

基于Stacking模型融合的光伏发电功率预测

为了提高光伏发电输出功率的预测精度和可靠性,本文提出一种基于Stacking模型融合的光伏发电功率预测方法.选取某光伏电站温度、湿度、辐照度等历史实测数据为研究对象,在将光伏发电功率数据进行特征交叉以及基于模型的递归特征消除法进行预处理和特征选择的基础上,以XGBoost、LightGBM、RandomForest 3种机器学习算法作为Stacking集成学习的第一层基学习器,以LinearRegression作为第二层元学习器,构建了多个机器学习算法嵌入的Stacking模型融合的光伏发电功率预测模型.预测结果表明,该方法的R²、MSE分别达到了0.9874和0.1056,相较于单一的机器学习模型,预测精度显著提升.     

基于MRMR-PSO的递归模糊神经网络PM2.5预测模型

针对PM2.5浓度预测中存在的特征变量之间关系复杂、信息冗余问题,提出了一种基于互信息最大相关最小冗余(maximum relevance-minimum redundancy,MRMR)准则结合粒子群优化算法(particle swarm optimization,PSO)的混合特征选择算法,并采用所设计的递归模糊神经网络(recurrent fuzzy neural network,RFNN)为预测模型实现PM2.5浓度预测。首先根据MRMR准则对变量的互信息进行计算并排序,过滤掉一些相关性小的特征。然后将PSO优化算法与RFNN预测模型结合,以RFNN的预测精度作为PSO的适应度函数在过滤得到的特征中选择出最优特征子集,作为RFNN模型的输入变量。将该方法用于PM2.5浓度预测实验,与3种不同特征选择算法的结果进行对比,基于互信息和PSO混合特征选择方法的RFNN预测模型利用最少的特征获得了最小的预测误差,说明该方法能够有效地用于PM2.5浓度预测。     

基于自助采样和互信息策略的集成校正算法及应用

综合应用训练集自助采样(bootstrap)和互信息(mutual information)选择变量来引入成员模型间的差异性,提出一种子空间回归的集成校正算法ESPLS.当建立一成员模型时,先淘汰互信息量小于一个特定阈值的变量,使建模在原变量的一个子空间上进行,有效避免了多元共线性产生的诸多问题.通过一近红外光谱数据集实验,同时与全谱偏最小二乘法(PLS)和互信息选择变量的偏最小二乘法(SPLS)2种单模型算法进行了比较,证明:该算法在不增加模型复杂度的前提下,能提高校正模型的预测精度、稳定性及抗过拟合的能力.     

Transforming input variables for RBFN based on PCA-ASH multivariate correlation analysis and its application

The mutual information (MI) based on averaged shifted histogram (ASH) probability density estimator is considered as a good indicator of relevance between input variables and output variable. However, it cannot deal with redundant input variables problem. Therefore, a method integrates principal component analysis (PCA) with MI is proposed for radial basis function network (RBFN) to improve the predicting performance of RBFN. Firstly, PCA is employed to characterize the PCs from original variables, among which there is non-correlation. Secondly, MI based on ASH is applied to select the several closest correlation PCs with output variable as the new input variables. Finally, PCA-ASH-RBFN is employed to develop the housing price model based on the Boston housing data set. The result shows that PCA-ASH-RBFN has better prediction and robust performance than PCA-RBFN and RBFN integrating with robust feature selection for input variables.

     

基于iPLS和CARS数据融合技术的波长选择算法

针对液体中物质含量的光谱分析中波长选择展开研究,构建一种多模型融合算法进行波长选择,在减少波长数量的基础上提高预测精度。提出的区间自适应加权波长选择算法（iCARS）,应用iPLS算法和CARS算法的多模型融合,在波长选择中结合变量与样本纵横向自适应优化选择,以及对波段和波长分步骤选择实现波长优化选择,实现了波段和波长的自适应选择。通过MATLAB仿真实验,将PLS模型做为预测模型,在对啤酒原麦汁浓度预测仿真实验中,应用iCARS算法选择19个变量,利用这些变量建立PLS预测模型得到的RMSEP为0.139。变量数目大大减少,预测能力明显提高,实现了变量的优化选择。     

Nearest neighbor estimate of conditional mutual information in feature selection

Mutual information (MI) is used in feature selection to evaluate two key-properties of optimal features, the relevance of a feature to the class variable and the redundancy of similar features. Conditional mutual information (CMI), i.e., MI of the candidate feature to the class variable conditioning on the features already selected, is a natural extension of MI but not so far applied due to estimation complications for high dimensional distributions. We propose the nearest neighbor estimate of CMI, appropriate for high-dimensional variables, and build an iterative scheme for sequential feature selection with a termination criterion, called CMINN. We show that CMINN is equivalent to feature selection MI filters, such as mRMR and MaxiMin, in the presence of solely single feature effects, and more appropriate for combined feature effects. We compare CMINN to mRMR and MaxiMin on simulated datasets involving combined effects and confirm the superiority of CMINN in selecting the correct features (indicated also by the termination criterion) and giving best classification accuracy. The application to ten benchmark databases shows that CMINN obtains the same or higher classification accuracy compared to mRMR and MaxiMin at a smaller cardinality of the selected feature subset.     

Using partial least squares and support vector machines for bankruptcy prediction

The evaluation of corporate financial distress has attracted significant global attention as a result of the increasing number of worldwide corporate failures. There is an immediate and compelling need for more effective financial distress prediction models. This paper presents a novel method to predict bankruptcy. The proposed method combines the partial least squares (PLS) based feature selection with support vector machine (SVM) for information fusion. PLS can successfully identify the complex nonlinearity and correlations among the financial indicators. The experimental results demonstrate its superior predictive ability. On the one hand, the proposed model can select the most relevant financial indicators to predict bankruptcy and at the same time identify the role of each variable in the prediction process. On the other hand, the proposed model’s high levels of prediction accuracy can translate into benefits to financial organizations through such activities as credit approval, and loan portfolio and security management.     

Using support vector machine with a hybrid feature selection method to the stock trend prediction

In this paper, we developed a prediction model based on support vector machine (SVM) with a hybrid feature selection method to predict the trend of stock markets. This proposed hybrid feature selection method, named F-score and Supported Sequential Forward Search (F_SSFS), combines the advantages of filter methods and wrapper methods to select the optimal feature subset from original feature set. To evaluate the prediction accuracy of this SVM-based model combined with F_SSFS, we compare its performance with back-propagation neural network (BPNN) along with three commonly used feature selection methods including Information gain, Symmetrical uncertainty, and Correlation-based feature selection via paired t-test. The grid-search technique using 5-fold cross-validation is used to find out the best parameter value of kernel function of SVM. In this study, we show that SVM outperforms BPN to the problem of stock trend prediction. In addition, our experimental results show that the proposed SVM-based model combined with F_SSFS has the highest level of accuracies and generalization performance in comparison with the other three feature selection methods. With these results, we claim that SVM combined with F_SSFS can serve as a promising addition to the existing stock trend prediction methods.     

人工智能技术在电力系统状态估计的应用研究

为了有效地提高状态估计的计算精度和鲁棒性,将人工智能技术与电网数据相结合,提出了基于偏最小二乘(PLS)和极限学习(ELM)的电力系统状态估计方法。针对量测量之间的强相关性问题,采用偏最小二乘(PLS)对各量测量进行重要信息提取和变量选择,将得到的最优变量输入ELM模型,从而建立了状态量的PLS-ELM模型,然后,采用IEEE14节点系统数据样本和实际电网历史数据对所提方法进行了验证,并将该方法与其他方法进行对比。结果表明,所提状态估计方法降低了模型的复杂程度,能够有效地抵抗量测量中的不良数据,具有较高的估计精度和较强的鲁棒性。     

基于归一化模糊联合互信息最大的特征选择

特征选择就是从特征集合中选择出与分类类别相关性强而特征之间冗余性最小的特征子集,这样一方面可以提高分类器的计算效率,另一方面可以提高分类器的泛化能力,进而提高分类精度。基于互信息的特征相关性和冗余性的评价准则,在实际应用中存在以下的问题：（1）变量的概率计算困难,进而影响特征的信息熵计算困难;（2）互信息倾向于选择值较多的特征;（3）基于累积加和的候选特征与特征子集之间冗余性度量准则在特征维数较高的情况下容易失效。为了解决上述问题,提出了基于归一化模糊互信息最大的特征评价准则,基于模糊等价关系计算变量的信息熵、条件熵、联合熵;利用联合互信息最大替换累积加和的度量方法;基于归一化联合互信息对特征重要性进行评价;基于该准则建立了基于前向贪婪搜索的特征选择算法。在UCI机器学习标准数据集上的多组实验,证明算法能够有效地选择出对分类类别有效的特征子集,能够明显提高分类精度。     

利用偏最小二乘法的一种变量筛选法

根据偏最小二乘法(PLS)建模中的回归系数等一些信息,筛选原始自变量,在不损失模型预报能力的前提下,除去冗余的或影响不大的一些原始自变量,使模型更简单。本研究中找到了用于删除变量的一种新判据,计算简单,使用效果好。研究结果表明,利用PL3法得到的删除变量的新判据筛选变量是一种非常实用和有效的变量筛选方法,该法非常适合处理海量数据或变量数很大的建模问题,可使最终所得的模型中变量数大大减少,使模型大大简化,因而便于分析和解决实际问题。在处理中药指纹图谱数据时,与传统的算法比较,模型得到了大大简化。     

基于回归系数的变量筛选方法用于近红外光谱分析

提出了一种基于回归系数的变量逐步筛选方法。对光谱中各变量计算其回归系数后,按其绝对值由大到小将相应变量排列,采用PLS交互检验按前向选择法逐步选择最佳变量子集。用该方法对玉米和柴油近红外光谱数据进行分析,对玉米蛋白质、柴油十六烷值和粘度分别选择出了14、12以及30个最佳变量用于建模,所得预测结果均优于全谱变量建模的预测结果。可见本方法是一种有效实用的近红外光谱变量选择方法。