基于二次判别分析的多模型建模方法

针对单一软测量模型难以精确描述复杂非线性的化工生产过程的问题,为提高软测量模型的预测精度,基于多模型建模思想,提出一种基于二次判别分析的支持向量机多模型建模方法.首先依据样本输出空间的值区间把样本集合分为若干子集,并分别对每个子集建立基于支持向量机算法的子模型,多个子模型采用"开关切换"方式连接.对于未知类别的输入数据,依据各子集的先验类别信息,用二次判别分析算法判断其所属类别,并以输入向量所属类别的支持向量机模型的输出作为多模型的最终输出.工业仿真实例表明,该建模方法建立的多支持向量机模型比单一支持向量机模型具有更高的预测精度.     

基于MapReduce的最小二乘支持向量机回归模型

针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型.模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果.实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性.     

基于最大矩阵元法确定聚类数的软测量建模方法

采用模糊C均值聚类算法(FCM)与支持向量机(SVM)相结合的多模型建模方法:较单一支持向量机软测量模型而言,可以有效解决复杂工业对象的强非线性和大工况范围的问题。但是传统的模糊C均值聚类算法必须依赖先验知识预先确定聚类个数。本文通过建立样本间的相似矩阵,利用模糊聚类最大矩阵元法确定FCM最佳聚类个数,再由FCM对训练样本数据进行聚类并用SVM构建组合软测量模型,得到多模型软测量系统。在对双酚A结晶单元工艺分析的基础上,将该方法:应用于结晶单元苯酚含量的软测量建模,仿真结果:证明该建模方法:提高了模型的估计精度,具有更好的可行性和有效性,能够满足工业生产的要求。     

基于核模糊聚类的多模型LSSVM回归建模

针对大规模数据采用单模型回归存在精度差和计算量较大的问题,提出一种基于核模糊聚类的多模型最小二乘支持向量回归建模方法.该方法首先使用基于条件正定核的模糊C均值聚类算法对数据集做出聚类划分;然后针对每个聚类做最小二乘支持向量回归估计;同时根据每个聚类内数据分布的特征,给出了一种简单的核参数选择方法.利用数值仿真实验进行非线性函数估计,实验结果表明了所提出的方法具有良好的精度和泛化能力.     

基于聚类的LS-SVM的入侵检测方法研究

本文针对最小二乘法支持向量机在入侵检测中的训练效率低下的缺点,将聚类方法应用其中。该方法主要用来对数据集进行剪枝,有效地减少距离分类面较远的数据集合数量,而使用靠近聚类中心的数据集合作为有效的样本集合,减少样本的训练时间,提高训练效率。实验表明,使用聚类方法提高了最小二乘法支持向量机的训练效率,而且对入侵检测有很好的效果。     

一种基于Morlet小波核的约简支持向量机

针对支持向量机（SVM）的训练数据量仅局限于较小样本集的问题,结合Morlet小波核函数,提出了一种基于Morlet小波核的约倚支持向量机（MWRSVM—DC）．算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合,并利用该约倚集合寻找支持向量．实验表明,利用小波核,该算法不仅提高了分类的准确率,而且提高了整体分类效率．     

基于相关分析与最小二乘支持向量机的TE过程多模型建模

针对TE化工过程高度非线性、复杂性的特点,文章提出了一种基于相关分析和最小二乘支持向量机对TE过程进行多模型建模方法,以提高模型性能;首先对TE过程采用相关分析法划分为3个子系统,对每个子系统分别采用基于C-均值聚类的最小二乘支持向量机建模和基于K均值聚类的最小二乘支持向量机多模型建模;实验表明,基于K均值聚类的多模型建模能简化计算、提高模型精度、并且能更好的预测模型输出.     

改进仿射传播聚类的LS-SVM多模型建模方法

多模型建模方法通常比单一模型建模方法适用范围更广、效果更佳,但也存在着因模型选择失当而导致发生错误,为解决该问题,提出了一种新的建模方法。该方法先用仿射传播聚类算法实现数据聚类,并由最小二乘支持向量机建立各子模型。多模型预测时需知道待测样本对子模型的归属情况,则采用K近邻算法并结合隶属度阈值来进行判断。当待测样本对某子模型的隶属度大于阈值时,就由该子模型进行预测:若对所有子模型的隶属度均小于阈值时,则由K近邻算法从训练样本中选择与该待测样本相似的样本组成相似样本集,再采用最小二乘支持向量机建模并对该点预测。将其应用于青霉素发酵软测量建模中,并与其它方法比较,结果显示该方法是可行有效的,且能有效地克服当前一些多模型建模方法存在的不足。     

基于AP的LS-SVM多模型建模算法

针对多工况对象的单模型建模中存在的回归精度差和泛化能力弱的问题,提出基于仿射传播聚类的LS-SVM多模型建模方法。该方法用仿射传播聚类算法对样本进行聚类,采用LS-SVM的方法对子类样本分别建立模型。测试样本根据相似性的测度进行归类,并用所属子类的模型进行预测输出。将该建模方法用在丙烯浓度的软测量建模实验中,结果表明该方法有较高的回归精度和较好的泛化能力。     

基于灰关联分析的KFCM-LSSVM蒸发过程软测量

针对氧化铝蒸发过程出口浓度在线检测问题,提出一种基于灰色关联分析和核模糊聚类相结合的多支持向量机蒸发过程建模方法.该方法采用灰色关联分析提取影响出口浓度较大的变量,再用核模糊聚类算法将样本划分成不同的子类,并对各子类构建的支持向量机模型的输出综合加权得到最终输出.对蒸发过程生产数据进行实验,并与核模糊聚类最小二乘支持向量机(KFCM-LSSVM)相比较,结果表明新模型鲁棒性较强、精度较高、泛化性更好,可以用于蒸发过程的优化控制.     

自组织映射算法与基于专家系统的支持向量回归的结合

A new approach is proposed to model nonlinear dynamic systems by combining SOM (self-organizing feature map) with support vector regression (SVR) based on expert system. The whole system has a two-stage neural network architecture. In the first stage SOM is used as a clustering algorithm to partition the whole input space into several disjointed regions. A hierarchical architecture is adopted in the partition to avoid the problem of predetermining the number of partitioned regions. Then, in the second stage, multiple SVR, also called SVR experts, that best fit each partitioned region by the combination of different kernel function of SVR and promote the configuration and tuning of SVR. Finally, to apply this new approach to time-series prediction problems based on the Mackey-Glass differential equation and Santa Fe data, the results show that SVR experts has effective improvement in the generalization performance in comparison with the single SVR model.     

A symmetry based multiobjective clustering technique for automatic evolution of clusters

In this paper the problem of automatic clustering a data set is posed as solving a multiobjective optimization (MOO) problem, optimizing a set of cluster validity indices simultaneously. The proposed multiobjective clustering technique utilizes a recently developed simulated annealing based multiobjective optimization method as the underlying optimization strategy. Here variable number of cluster centers is encoded in the string. The number of clusters present in different strings varies over a range. The points are assigned to different clusters based on the newly developed point symmetry based distance rather than the existing Euclidean distance. Two cluster validity indices, one based on the Euclidean distance, XB-index, and another recently developed point symmetry distance based cluster validity index, Sym-index, are optimized simultaneously in order to determine the appropriate number of clusters present in a data set. Thus the proposed clustering technique is able to detect both the proper number of clusters and the appropriate partitioning from data sets either having hyperspherical clusters or having point symmetric clusters. A new semi-supervised method is also proposed in the present paper to select a single solution from the final Pareto optimal front of the proposed multiobjective clustering technique. The efficacy of the proposed algorithm is shown for seven artificial data sets and six real-life data sets of varying complexities. Results are also compared with those obtained by another multiobjective clustering technique, MOCK, two single objective genetic algorithm based automatic clustering techniques, VGAPS clustering and GCUK clustering.     

柔性支持向量回归及其在故障检测中的应用

支持向量回归(Support vector regression, SVR)的学习性能及泛化性能取决于参数设置.在常规方法中,这些参数以固定值形式参与运算,而当面对复杂分布的数据集时, 可能无法挑选出一组能够胜任各种分布情况的参数,参数设置需要在过拟合和欠拟合之间进行取舍. 因此,本文提出一种能够根据样本分布进行参数自我调整的柔性支持向量回归算法(Flexible support vector regression, F-SVR).该算法根据样本分布的复杂度,将训练样本划分为多个区域,在训练过程中, F-SVR为不同 区域设置不同的训练参数,有效避免了过拟合与欠拟合.本文首先采用一组人工数据对所提算法有效性进行验证,在实验中, F-SVR在 保持学习能力的同时,具备较传统方法更优秀的泛化性能.最后,本文将该算法运用至高频电源故障的实际检测,效果良好.     

Hybrid approach of selecting hyperparameters of support vector machine for regression.

To select the hyperparameters of the support vector machine for regression (SVR), a hybrid approach is proposed to determine the kernel parameter of the Gaussian kernel function and the epsilon value of Vapnik's epsilon-insensitive loss function. The proposed hybrid approach includes a competitive agglomeration (CA) clustering algorithm and a repeated SVR (RSVR) approach. Since the CA clustering algorithm is used to find the nearly "optimal" number of clusters and the centers of clusters in the clustering process, the CA clustering algorithm is applied to select the Gaussian kernel parameter. Additionally, an RSVR approach that relies on the standard deviation of a training error is proposed to obtain an epsilon in the loss function. Finally, two functions, one real data set (i.e., a time series of quarterly unemployment rate for West Germany) and an identification of nonlinear plant are used to verify the usefulness of the hybrid approach.     

一种新的SVM数字音频水印嵌入算法

为了取得鲁棒性与不可感知性的良好平衡,提出一种新的SVM数字音频水印嵌入算法.该算法以回归型支持向量机(SVR)理论及同步码技术为基础,首先结合数字音频内容,选取稳定的能量、过零率作为特征向量并获得SVR训练模型,然后利用SVR训练模型自适应确定嵌入位置,最后采纳量化调制策略,分别在空间域和频率域内将同步码和数字水印嵌入到音频载体内.仿真实验表明,本文算法不仅具有较好的不可感知性,而且对诸如叠加噪声、重新采样、重新量化、低通滤波、MP3压缩、随机剪切等攻击均具有较好的鲁棒性.     

基于CMAES-SVR的WLAN室内定位算法研究

针对传统WLAN指纹定位算法中存在的定位精度低、稳定性差、实时性不高等问题,提出一种基于CMAES-SVR的WLAN室内定位算法。该算法首先对接入点（AP）的接收信号强度（RSS）进行统计分析,采用高斯滤波对信号进行预处理,然后利用k-means聚类算法将原始指纹数据库中的定位区域进行聚类分块;其次采用协方差矩阵自适应进化策略（CMAES）优化支持向量回归机（SVR）参数,从而建立CMAES-SVR室内定位学习模型,通过该模型分别构建各定位子区域中RSS信号与物理位置非线性映射关系;最后判断测试点所属类簇,根据该类簇中训练好的CMAES-SVR模型进行回归预测。实验结果表明,与WKNN、传统SVR以及PSO-SVR算法相比,该算法在定位精度、稳定性以及实时性方面均有所提高。     

基于区间阴影集的密度峰值聚类算法

为了减小模糊集及其诱导的经典阴影集之间存在的较大的不确定性差异,文中基于模糊熵提出阴影集模型——区间阴影集.由此提出基于区间阴影集的密度峰值聚类算法,优化经典密度峰值聚类算法的噪声检测策略.改进算法在原二支聚类结果的基础上摒弃原有检测策略,引入区间阴影集模型,并转化为三支聚类结果,达到噪声检测的目的.在经典人工数据集、UCI数据集上的对比实验表明,文中算法能将数据集中对象更合理地分配到相应类簇,对噪声数据具有良好的鲁棒性.     

A new support vector model-based imperialist competitive algorithm for time estimation in new product development projects

Time estimation in new product development (NPD) projects is often a complex problem due to its nonlinearity and the small quantity of data patterns. Support vector regression (SVR) based on statistical learning theory is introduced as a new neural network technique with maximum generalization ability. The SVR has been utilized to solve nonlinear regression problems successfully. However, the applicability of the SVR is highly affected due to the difficulty of selecting the SVR parameters appropriately. The imperialist competitive algorithm (ICA) as a socio-politically inspired optimization strategy is employed to solve the real world engineering problems. This optimization algorithm is inspired by competition mechanism among imperialists and colonies, in contrast to evolutionary algorithms. This paper presents a new model integrating the SVR and the ICA for time estimation in NPD projects, in which ICA is used to tune the parameters of the SVR. A real data set from a case study of an NPD project in a manufacturing industry is presented to demonstrate the performance of the proposed model. In addition, the comparison is provided between the proposed model and conventional techniques, namely nonlinear regression, back-propagation neural networks (BPNN), pure SVR and general regression neural networks (GRNN). The experimental results indicate that the presented model achieves high estimation accuracy and leads to effective prediction.     

面向不等长多维时间序列的聚类改进算法

针对已有基于模型的多维时间序列（MTS）聚类算法处理不等长MTS速度较慢的问题,提出了一种基于LR分量提取的MTS聚类算法（MUTSCA〈LRCE〉）。首先,采用等频离散化方法符号化MTS;然后,计算用于表达MTS样本各维时间序列之间时序模式的LR向量,对每个LR向量进行排序后从其两端提取固定数目的不同关键分量,所有提取的关键分量拼接形成表示MTS样本的模型向量,该过程将不等长MTS样本集转换为等长的模型向量集;最后,采用k-means算法对生成的等长模型向量集进行聚类分析。在多个公共数据集上的实验结果表明,与基于模型的MTS聚类算法——MUTSCA〈LR〉相比,所提算法能够在保证聚类效果的前提下,显著提高不等长MTS数据集的聚类速度。     

一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...