基于深度学习的短时交通流预测

针对现有预测方法未能充分揭示交通流内部的本质规律,提出了一种基于深度学习的短时交通流预测方法。该方法结合深度信念网路模型（DBN）与支持向量回归分类器（SVR）作为预测模型,利用差分去除交通流数据的趋势向,用深度信念网络模型进行交通流特征学习,在网络顶层连接支持向量回归模型进行流量预测。实际交通流数据测试结果表明：文中提出的预测模型与传统预测模型相比,具有更高的预测精度,预测性能提高了18.01%,是一种有效的交通流预测方法。     

基于深度去噪核映射的长期预测模型

针对最小二乘支持向量机核函数结构较浅对其长期预测模型精度的限制,采用深度学习中逐层特征提取的思想,提出基于深度去噪核映射的最小二乘支持向量机长期预测模型.该模型通过深度核网络的逐层变换,将样本数据映射到深度特征空间,从而有效提高其长期预测的精度.此外,为了提高模型对含高噪声数据的拟合性能,将去噪算法融入深度核网络的训练过程中,并通过反向传播算法对核网络参数进行整体微调.标准数据集及实际工业数据的仿真实验结果表明,所提方法能够有效提取数据中蕴含的特征信息,提高预测模型的精度.     

基于深度学习的蛋白质二级结构预测

后基因组时代的到来,蛋白质的数据量急剧增长.为对蛋白质结构进行准确预测,提出了一种深度学习的方法,来预测蛋白质的二级结构分类问题.采用由近似熵、疏水模式以及图像特征组成的伪氨基酸组分方法,来提取蛋白质序列的特征;预测模型采用了5层的深度玻尔兹曼机(DBM)+分类层,5层的DBM组成了4个RBM,分类层采用softmax分类器;同时采用了非监督学习和监督学习作为预测模型的训练策略.与现有预测方法相比,提出的预测方法,比目前较好的支持向量机(SVM),人工神经网络(ANN)精度均要高.实验结果表明,提出的改进方法具有很好的可行性和有效性.     

基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。     

支持向量机应用于大气污染物浓度预测

支持向量机是基于统计学习理论的新一代机器学习技术,其非线性回归预测性能优越于传统统计方法。提出了一种大气污染物浓度预测模型,该方法将支持向量机应用于大气污染物浓度预测,首先对各类影响因子进行分析并进行建模预测;而后利用主成分分析的方法对输入因子降维,从而形成支持向量机的训练样本集;在此基础上建立了基于RBF核函数支持向量回归法的大气污染预模型。大气污染预测实例表明,该方法具有泛化能力强、预测精度高、训练速度快、稳定性好、便于建模等优点,有良好的应用前景。     

支持向量机应用于大气污染物浓度预测

支持向量机是基于统计学习理论的新一代机器学习技术,其非线性回归预测性能优越于传统统计方法。提出了一种大气污染物浓度预测模型,该方法将支持向量机应用于大气污染物浓度预测,首先对各类影响因子进行分析并进行建模预测;而后利用主成分分析的方法对输入因子降维,从而形成支持向量机的训练样本集;在此基础上建立了基于RBF核函数支持向量回归法的大气污染预模型。大气污染预测实例表明,该方法具有泛化能力强、预测精度高、训练速度快、稳定性好、便于建模等优点,有良好的应用前景。     

结合SBAS-InSAR与支持向量回归的开采沉陷监测与预测

针对传统矿区沉降预测方法存在精度低、难以获取长时间序列预测结果等问题,采用合成孔径雷达差分干涉(small baseline subset interferometric synthetic aperture radar,SBAS-InSAR)技术进行开采沉陷监测,提出了一种自适应遗传算法优化的支持向量回归算法,将监测结果作为支持向量回归算法的训练样本进行沉陷预测。首先,利用SBAS-InSAR技术获取沉降量;其次,对支持向量回归算法进行参数优化;最后,建立预测模型并进行开采沉陷预测。以内蒙古李家壕矿区某工作面为例,采用17景哨兵1号雷达影像进行研究分析,SBAS-InSAR技术监测矿区沉降的最大绝对误差为4.8mm,开采沉陷预测的最大绝对误差和相对误差分别为5.0mm、4.08%。实验结果表明,该方法在矿区地表沉降监测与预测方面具有良好的应用前景。     

基于改进PSO优化SVR的交通事故预测模型

为了有效预测交通事故,提出一种基于改进粒子群算法优化支持向量回归机的预测模型。改进粒子群算法利用网格搜索对全局最优粒子的邻域进行精细搜索,结合粒子群算法较快的收敛速度和网格搜索较强局部搜索能力的优点,提高了支持向量回归机相关参数的优化精度,进而改善了交通事故预测模型的预测性能。仿真结果表明,基于改进粒子群算法优化支持向量回归机的交通事故预测模型达到了较快的学习速度和较高的预测精度,具有良好的工程应用性。      

多阶灰色支持向量机集成预测模型研究

对灰色预测模型GM(1,1)和支持向量机SVM预测模型进行分析,提出了多阶灰色支持向量机集成预测模型Dm_GM(1,1)-SVM。通过多阶缓冲算子改进灰色预测模型的预测精度,对最终预测值的各个相关指标进行预测;同时,采用粒子群优化算法对支持向量机模型进行径向基核参数和惩罚参数寻优,得到最佳参数对(c,g),从而确定支持向量机的最佳回归模型;最后将各指标预测值作为支持向量机模型的输入,依据预测模型和预测模型的输入值求得预测结果。实验实例表明,多阶灰色支持向量机集成模型和传统的预测模型相比,在本例中预测精度更高,说明多阶灰色预测模型和支持向量机模型相结合在解决实际预测问题中具有实用价值。     

基于支持向量回归的旅客吞吐量预测研究

在分析现有机场旅客吞吐量预测方法不足的基础上,利用基于结构风险最小化原则的支持向量回归疗法,建立了机场旅客吞吐量预测模型通过实际数据的检验及BP神经网络等方法的预测结果相比较,证明应用支持向量回归方法对机场旅客吞吐量进行预测具备可行性,同时具有较高的预测精度。     

一种面向分布式深度学习系统的资源及批尺寸协同配置方法

如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以...     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

一种改进的深度置信网络在交通流预测中的应用

针对现有交通流预测方法忽视对交通流数据自身特征的有效利用以及不能模拟更复杂的数学运算,提出了一种改进深度置信网络（deep belief network,DBN）的交通流预测方法。该方法结合深度置信网络模型与Softmax回归作为预测模型,利用连续受限玻尔兹曼机（continuous restricted Boltzmann machines,CRBM）处理输入特征向量,利用自适应学习步长（adaptive learning step,ALS）减少RBM训练网络模型时重建误差所需的时间,用改进的深度置信网络模型进行交通流特征学习,在网络顶层连接Softmax回归模型进行流量预测。实验结果表明,在实际的交通流数据预测中,改进的DBN模型的预测准确率以及时间复杂度相比传统预测模型都得到了较好的改善。     

基于贝叶斯网络的海量数据多维分类学习方法研究

摘 要: 多维分类根据数据实例的特征向量将数据实例在多个维度上进行分类,具有广泛的应用前景。在多维分类算法的模型学习过程中,海量的训练数据使得准确的分类算法需要很长的模型训练时间。为了提高多维分类的执行效率,同时保持高的预测准确性,本文提出了一种基于贝叶斯网络的多维分类学习方法。首先,将多维分类问题描述为条件概率分布问题。其次,根据类别向量之间的依赖关系建立了条件树贝叶斯网络模型。最后,根据训练数据集对条件树贝叶斯网络模型的结构和参数进行学习,并提出了一种多维分类预测算法。大量的真实数据集实验表明,本文提出的方法与当前最好的多维分类算法MMOC相比,在保持高准确性的同时将模型的训练时间降低了两个数量级。因此,本文提出的方法更适用于海量数据的多维分类应用中。     

Ensemble deep learning based semi-supervised soft sensor modeling method and its application on quality prediction for coal preparation process

Coal preparation is the most effective and economical technique to reduce impurities and improve the product quality for run-of-mine coal. The timely and accurate prediction for key quality characteristics of separated coal plays a significant role in condition monitoring and production control. However, these quality characteristics are usually difficult to directly measure online in industrial practices Although some computation intelligence based soft sensor modeling methods have been developed and reported in existing research for these quality variables estimation, some problems still exist, i.e., manual feature extraction, considerable unlabeled data, temporal dynamic behavior in data, which will influence the accuracy and efficiency for established soft sensor model. To address above-mentioned problem and develop an more excellent quality prediction model for coal preparation process, a novel deep learning based semi-supervised soft sensor modeling approach is proposed which combining the advantage of unsupervised deep learning technique (i.e., Stacked Auto-Encoder (SAE)) with the advantage of supervised deep bidirectional recurrent learner (i.e., Bidirectional Long Short-Term Memory (BLSTM)). More specifically, the unsupervised SAE networks are implemented to learn the representative features hidden in all available input data (labeled and unlabeled samples) and store them as context vector. Then, partial context vector with corresponding labels and the quality variable measure value at previous time are concatenated to form a new merged input feature vector. After that, the temporal and dynamic features are further extracted from the new merged input feature vector via BLSTM networks. Subsequently, the fully connected layers (FCs) are exploited to learn the higher-level features from the last hidden layer of the BLSTM. Lastly, the learned output features by FCs are fed into a supervised liner regression layer to predict the coal quality metrics. Meanwhile, to avoid over-fitting, some regularization techniques are utilized and discussed in proposed network. The application in ash content estimation for a real dense medium coal preparation process and some comparison experiment result demonstrate that the effectiveness and priority of proposed soft sensor modeling approach.     

基于大数据和深度学习的全社会月用电总量预测

为解决经典方法预测全社会用电总量预测数值精度较低、模型结构参数过于复杂等技术难题,本文提出将电力大数据和人工智能领域深度学习算法相结合的研究方法。采用计算机建立具有阶层结构的深度神经网络,根据仿生学原理引入线性整流函数解决梯度消失及神经网络收敛速度减慢问题,采用梯度下降来进行优化模型,同时通过引入指数衰减法由神经网络模型自动设定学习率以提高模型预测精度并降低迭代次数。从数量场的梯度原理并结合泰勒公式,推导出梯度下降法背后数学原理。为解决过拟合问题引入早停算法以提高模型训练速度及泛化能力。最后深度学习算法预测数值与经典线性回归算法预测数值相比较,深度学习算法在对全社会月用电总量的预测精准度、稳定性指标上明显优于线性回归算法,深度神经网络模型对未来全社会电力需求的预测数值具有高度的可信性。     

基于特征层密集连接与注意力机制的宽度学习系统及其在锌浮选过程的应用

本文针对宽度学习存在计算消耗资源大、计算过程冗余数据较多等问题,提出了一种基于特征层密集连接与注意力机制的宽度学习系统(DCA-BLS),并利用其建立锌浮选过程快粗槽底流品位在线预测模型.首先将宽度学习系统的特征层不同窗口进行密集连接,引入弹性网络进行稀疏化处理,利用注意力机制处理特征节点,获得不同特征节点的权值,再将加权后的特征节点与输入的数据相结合,共同作为增强层节点的输入,使模型更为紧凑.在公共数据集和锌泡沫浮选数据上将DCA-BLS与其他预测算法进行了对比实验,实验结果表明,本文提出的方法训练时间短,且相较于其他所比较方法具有更高的准确率.     

基于宽度自编码器的VSLAM快速回环检测方法

回环检测对于视觉同步定位和建图（visual simultaneous localization and mapping,VSLAM）系统减小累计误差和重定位具有重要意义。为缩短回环检测在线运行时间,同时满足准确率召回率需求,提出了一种基于宽度自编码器的快速回环检测算法（fast loop closure detection-broad autoencoder,FLCD-BA）。该检测算法改进了宽度学习网络,通过无监督的方式从输入数据中自主学习数据特征,进而运用于回环检测任务。与传统的深度学习方法不同,该网络使用伪逆的岭回归算法求解权重矩阵,通过增量学习的方法实现网络的快速重构,从而避免了整个网络的重复训练。所提算法在三个公开数据集上进行了实验,无须使用GPU设备,且网络的训练时间相比词袋模型以及深度学习的方法有较大缩短。实验结果表明该算法在检测回环时具有较高的准确率和召回率,测试中每帧的平均运行时间仅需21 ms,为视觉SLAM系统的回环检测提供了一种新算法。     

宽度学习系统研究进展

当数据规模庞大时,深度学习模型会遇到权重调整耗时,容易陷入局部最优解的问题.为了解决这些问题,宽度学习系统应运而生,宽度学习系统不仅结构简单、训练速度快、准确率高,而且还具有增量学习的优势.介绍了宽度学习系统的产生背景和发展历程,阐述了宽度学习系统的基础理论与实现方法,对比了它与深度网络的异同;介绍了宽度学习系统在图像分类、数值回归、脑电信号处理等应用中的改进算法,分析了这些算法的优势和不足.最后总结了现有宽度学习算法存在的缺陷,并对未来研究方向进行了展望.