基于高斯过程回归的网络流量预测模型

针对传统网络流量预测精度低难题,为了获得理想的网络流量预测结果,提出一种基于高斯过程回归(GPR)的网络流量预测模型。该模型首先计算延迟时间和嵌入维数,构建高斯过程回归的学习样本;然后采用高斯过程回归对网络流训练集进行学习,并采用入侵杂草优化对高斯过程回归的参数进行优化;最后采用经典的网络流量测试集对该模型性能进行实验测试。实验结果表明,高斯过程回归模型提高了网络流量的预测精度。     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

一种基于SVM后验概率的网络流量识别方法

为解决网络样本标注的难题,实现多种网络流量环境中的主动学习,提出一种基于支持向量机后验概率的网络流量识别方法。结合支持向量机输出和Sigmoid函数拟合样本所属类别后验概率,用其中较大的2类概率信息熵值衡量样本影响分,借助支持向量机和不确定性采样策略实现主动学习过程,形成流量识别模型。实验结果表明,该方法能取得较好的识别效果。     

基于局部熵双子空间的多模态过程故障检测

为了提高非高斯工业过程的检测性能, 提出局部熵双子空间(LEDS)的多模态过程故障检测方法. 运用局部 概率密度估计构建数据的局部熵矩阵, 消除数据的多模态特性. 用Kolmogorov-Smirnov (KS)检验局部熵数据中变 量的正态分布特性, 对高斯分布和非高斯分布的数据分别建立基于PCA的高斯子空间和ICA的非高斯子空间故障 检测模型. 利用Bayesian决策将检测结果转化成发生故障概率的形式, 将检测结果组合成最终的统计信息, 进行故 障检测. 将该方法应用于数值例子和田纳西–伊斯曼多模态过程, 仿真结果表明, 该方法在误报率较低的情况下, 故 障检测率最高, 优于PCA、局部熵PCA(LEPCA)和局部熵ICA(LEICA)方法.     

组合核函数高斯过程的网络流量预测模型

针对网络流量的非线性和时变性等特点,为了提高网络流量预测精度,提出一种组合核函数高斯过程的网络流量预测模型。用自相关法和假近邻法计算网络流量的延迟时间和嵌入维数,构建网络流量学习样本;采用组合核函数高斯过程对训练集进行学习,并且参数通过遗传算法进行优化;最后采用网络流量数据对模型性能测试。仿真表明,相对于对比模型,组合核函数高斯模型获得了更高的预测精度,预测结果更加稳定、可靠,具有较大的实际应用价值。     

基于混合变分自编码器回归模型的软测量建模方法EI北大核心CSCD

近年来,变分自编码器(Variational auto-encoder,VAE)模型由于在概率数据描述和特征提取能力等方面的优越性,受到了学术界和工业界的广泛关注,并被引入到工业过程监测、诊断和软测量建模等应用中.然而,传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布,限制了其对复杂工业过程数据,尤其是多模态数据的建模能力.为了解决这一问题,本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression,MVAER),并将其应用于复杂多模态工业过程的软测量建模.具体来说,该方法采用高斯混合模型来描述VAE的潜在变量分布,通过非线性映射将复杂多模态数据映射到潜在空间,学习各模态下的潜在变量,获取原始数据的有效特征表示.同时,建立潜在特征表示与关键质量变量之间的回归模型,实现软测量应用.通过一个数值例子和一个实际工业案例,对所提模型的性能进行了评估,验证了该模型的有效性和优越性.     

复合协方差函数高斯回归的网络流量建模与预测

为了获得更优的网络流量预测结果,提出一种复合协方差函数高斯过程(GP)的网络流量预测模型。首先采用复合协方差函数构建GP模型,然后对网络流量训练集进行训练,找到协方差和均值函数的最优参数,最后建立网络流量预测模型,并与支持向量机、神经网络、传统高斯过程进行网络流量的单步和多步预测对比测试。结果表明,相对于对比模型,复合协方差函数GP模型更加能够辨识非线性的网络流量变化趋势,提高了网络流量的预测精确性,是一种有效的复杂网络流量变化预测方法。     

基于CS-HRVM的网络流量预测

为了获得更加理想的网络流量预测结果,准确刻画网络流量的变化趋势,提出一种基于布谷鸟搜索算法优化组合核相关向量机的网络流量预测模型（CS-HRVM）。首先针对网络流量的混沌特性,采用相空间理论建立网络流量的多维学习样本,并采用组合核函数构建相关向量机,然后将学习样本输入到相关向量机中进行训练,并采用布谷鸟搜索算法对模型参数进行优化,从而建立网络流量预测模型,最后采用仿真实验对模型性能进行仿真对比实验。结果表明,CS-HRVM获得了比其他网络流量预模型更高的预测精度,而且可以对含噪网络流量进行准确预测。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型。首先,使用卷积神经网络（CNN）、双向门控循环神经网络（BiGRU）和多头自注意力（MHSA）实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,添加额外的情感极性分类和情感强度回归任务作为辅助,从而提升情感评分回归主任务的综合性能。实验结果表明,相较于多模态分解模型,所提模型的二分类准确度指标在CMU-MOSEI和CMU-MOSI多模态数据集上分别提高了7.8个百分点和3.1个百分点。该模型适用于多模态场景下的情感分析问题,能够为商品推荐、股市预测、舆情监控等应用提供决策支持。     

基于自适应遗传算法LS-SVM的网络流量预测

网络流量受众多因素的影响并且具有复杂的非线性特点,因此网络流量的预测和分析是一个很复杂的问题,最小二乘支持向量机能够成功地解决非线性问题并应用于网络流量的预测和分析.提出一种最小二乘支持向量机模型,将自适应遗传算法用于最小二乘支持向量机参数寻优,并将该模型用于网络流量的预测和分析.对比实验表明,基于最小二乘支持向量机的网络预测模型具有更强的预测能力,在网络流量预测中有一定的实用价值.经实例验证,该模型预测精度高.     

A Gaussian process mixture model-based hard-cut iterative learning algorithm for air quality prediction

Air quality is closely related to concentrations of gaseous pollutants, and the prediction of gaseous pollutant concentration plays a decisive role in regulating plant and vehicle emissions. Due to the non-linear and chaotic characteristics of the gas concentration series, traditional models may not easily capture the complex time series pattern. In this study, the Gaussian Process Mixture (GPM) model, which adopts hidden variables posterior hard-cut (HC) iterative learning algorithm, is first applied to the prediction of gaseous pollutant concentration in order to improve prediction performance. This algorithm adopts iterative learning and uses the maximizing a posteriori (MAP) estimation to achieve the optimal grouping of samples which effectively improves the expectation–maximization (EM) learning in GPM. The empirical results of the GPM model reveals improved prediction accuracy in gaseous pollutant concentration prediction, as compared with the kernel regression (K-R), minimax probability machine regression (MPMR), linear regression (L-R) and Gaussian Processes (GP) models. Furthermore, GPM with various learning algorithms, namely the HC algorithm, Leave-one-out Cross Validation (LOOCV), and variational algorithms, respectively, are also examined in this study. The results also show that the GPM with HC learning achieves superior performance compared with other learning algorithms.     

基于ELM-LSSVM的网络流量预测

为了对网络流量进行准确预测,针对传统极限学习机的“过拟合”不足,提出一种极限学习机和最小二乘支持向量机相融合的网络流量预测模型（ELM-LSSVM）。该模型通过相空间重构获得网络流量的学习样本,引入最小二乘支持向量机对极限学习进行改进,并对网络流量训练集进行学习,采用仿真实验对模型性能进行测试。结果表明,ELM-LSSVM提高了网络流量的预测精度,实现了网络流量准确预测,并具有较强的实际应用价值。     

改进鲸鱼优化支持向量机的交通流量模糊粒化预测

针对支持向量机（SVM）在交通流量预测中存在波动性且预测精度低的问题,提出了采用模糊信息粒化（FIG）和改进鲸鱼优化算法（IWOA）的SVM模型来预测交通流量的变化趋势和动态区间。首先,对数据处理采用FIG方法进行处理,从而得到交通流量变化区间的上界（Up）、下界（Low）和趋势值（R）;其次,在鲸鱼优化算法（WOA）的种群初始化中采用动态对立学习来增加种群多样性,并引入了非线性收敛因子和自适应权重来增强算法的全局搜索及局部寻优能力,然后建立了IWOA模型,并分析了IWOA的复杂度;最后,以预测交通流量的均方误差（MSE）为目标函数,在IWOA迭代过程中不断优化SVM的超参数,建立了基于FIG-IWOA-SVM的交通流量区间预测模型。在国内和国外交通流量数据集上进行测试的结果表明,在国外交通流量预测上,与基于遗传算法优化的支持向量机（GA-SVM）、基于粒子群优化算法优化的支持向量机（PSO-SVM）和基于鲸鱼优化算法的支持向量机（WOA-SVM）相比,IWOA-SVM模型的平均绝对误差（MAE）分别降低了89.5%、81.5%和1.5%;而FIG-IWOA-SVM模型在交通流量动态区间和趋势预测上与FIG-GA-SVM、FIG-PSO-SVM和FIG-WOA-SVM等模型相比预测精度更高且预测范围更平稳。实验结果表明,在不增加算法复杂度的前提下,FIG-IWOA-SVM模型能够合理地预测交通流量的变化趋势和变化区间,为后续的交通规划和流量控制提供依据。     

Online-SVR for short-term traffic flow prediction under typical and atypical traffic conditions

Most literature on short-term traffic flow forecasting focused mainly on normal, or non-incident, conditions and, hence, limited their applicability when traffic flow forecasting is most needed, i.e., incident and atypical conditions. Accurate prediction of short-term traffic flow under atypical conditions, such as vehicular crashes, inclement weather, work zone, and holidays, is crucial to effective and proactive traffic management systems in the context of intelligent transportation systems (ITS) and, more specifically, dynamic traffic assignment (DTA).To this end, this paper presents an application of a supervised statistical learning technique called Online Support Vector machine for Regression, or OL-SVR, for the prediction of short-term freeway traffic flow under both typical and atypical conditions. The OL-SVR model is compared with three well-known prediction models including Gaussian maximum likelihood (GML), Holt exponential smoothing, and artificial neural net models.The resultant performance comparisons suggest that GML, which relies heavily on the recurring characteristics of day-to-day traffic, performs slightly better than other models under typical traffic conditions, as demonstrated by previous studies. Yet OL-SVR is the best performer under non-recurring atypical traffic conditions. It appears that for deployed ITS systems that gear toward timely response to real-world atypical and incident situations, OL-SVR may be a better tool than GML.     

包容性检验和SVM相融合的网络流量预测

模型选择对网络流量组合预测结果至关重要,为了提高网络流量的预测效果,提出一种包容性检验和支持向量机相融合的网络流量预测模型（ET-SVM）。采用多个单一模型对网络流量进行预测,根据预测结果的均方根误差对模型优劣进行排序,通过包容性检验,根据t统计量检验选择最合适的单一模型,采用支持向量机对单一模型预测结果进行组合得到最终预测结果,通过仿真实验对模型性能进行测试。仿真结果表明,ET-SVM降低了网络流量的预测误差,预测精度得到了提高。     

相关向量机超参数优化的网络安全态势预测

针对当前网络安全态势预测方法存在的过学习与欠学习、自由参数多、预测精度不高等问题,提出使用一种改进模拟退火法优化的相关向量机模型(PSA-RVM)来解决网络安全态势预测问题。在预测过程中,首先对网络安全态势样本数据进行相空间重构形成训练样本集;然后,利用Powell算法改进模拟退火(PSA)法,并将相关向量机(RVM)嵌入到PSA算法的目标函数计算过程中,优化RVM超参数,以得到学习能力、预测精度提升的网络安全态势预测模型。仿真实例表明,所提方法具有较高的预测精度,平均相对误差(MAPE)和均方根误差(RMSE)分别为0.39256和0.01261,均优于Elman和PSO-SVR模型;所提方法能够较好地刻画网络安全态势的变化趋势,有助于网络管理人员把握未来网络安全态势发展趋势,从而提前主动采取相应的网络防御措施。     

基于改进极端学习机的网络流量预测

为了提高网络流量的预测精度,针对极端学习机的训练样本选择问题,提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构,建立网络学习样本,将学习样本输入到改进极端学习机进行训练,随新样本加入而逐步求解网络的权值,以提高学习速度,引入cholesky分解方法提高模型的泛化能力,采用具体网络流量数据进行了仿真测试。结果表明,IELM不仅可以获得较传统网络流量预测模型更高的精度,并且大幅度减少了计算时间,提高了建模效率,可以较好地满足网络流量预测要求。     

一种改进的深度置信网络在交通流预测中的应用

针对现有交通流预测方法忽视对交通流数据自身特征的有效利用以及不能模拟更复杂的数学运算,提出了一种改进深度置信网络（deep belief network,DBN）的交通流预测方法。该方法结合深度置信网络模型与Softmax回归作为预测模型,利用连续受限玻尔兹曼机（continuous restricted Boltzmann machines,CRBM）处理输入特征向量,利用自适应学习步长（adaptive learning step,ALS）减少RBM训练网络模型时重建误差所需的时间,用改进的深度置信网络模型进行交通流特征学习,在网络顶层连接Softmax回归模型进行流量预测。实验结果表明,在实际的交通流数据预测中,改进的DBN模型的预测准确率以及时间复杂度相比传统预测模型都得到了较好的改善。