基于改进LSTM神经网络的测井曲线重构方法

地球物理测井过程中,由于仪器测量或者井眼原因等经常会造成部分测井曲线失真或缺失的情况,针对失真或缺失部分测井曲线的补全与生成问题,对测井领域知识和长短期记忆神经网络(LSTM)进行了研究,提出联合领域知识与深度学习的测井曲线重构模型(DK-LSTM)。利用测井领域知识中的地层岩性特征指数筛选数据得到高质量的训练样本,并将其作为深度学习重构测井曲线的依据;构建并训练带有领域知识约束层的长短期记忆神经网络模型;基于测井曲线间的强依赖关系在重构模型中引入注意力机制,进而生成并补全测井曲线中失真或缺失的信息。实验结果表明DK-LSTM测井曲线重构模型较标准长短期记忆神经网络和串级长短期记忆神经网络具有更准确的预测效果,为测井曲线重构提供了一种新思路。     

基于禁忌算法优化神经网络的海洋船舶流量预测

为了有效缓解船舶交通拥堵和提高通航效率,对海洋港口和航道管理提供一个更可靠的数据,设计了一种基于禁忌算法优化神经网络的海洋船舶流量预测的方法。首先,建立了基于禁忌算法优化神经网络的海洋船舶流量预测模型。然后,设计了三层的脊波神经网络结构,提出了采用禁忌算法优化脊波神经网络结构参数的具体方法,从而得到一个初始化的脊波神经网络流量预测模型。然后,采用有标签的训练样本数据集对网络进行训练,将满足误差阈值的训练模型作为最终的预测模型。以某港口为例进行仿真实验,结果表明文中得到的预测结果与真实值较为接近,且与其它方法相比,具有更好的预测效果。     

基于神经网络预测模型输入参数配置方法的实现

基于数据挖掘中的关联概念,提出了一种针对神经网络预测模型训练参数的选择方法,有效地提高了神经网络模型在毛纺工艺中对纱线断头率的预测精度;该方法通过生产中的训练参数记录进行关联规则的提取,可快速的排除产生负面影响的训练参数,迅速选择可以提高预测精度的训练参数,从而达到提高神经网络模型预测性能的目的;实验证明,利用关联算法进行参数配置,可以有效提高神经网络输入模型的预测精度.     

改进的自适应脊波网络的碳通量预测

碳通量同生态因素之间具有复杂的非线性关系,可以通过生态因素预测碳通量。为提高网络的训练速度和预测精度,针对碳通量数据高维、多样本、非线性、超平面奇异的特点,提出了一种改进的自适应脊波网络预测模型,采用高斯牛顿法调整激励函数的参数,运用矩阵分块法和伪逆矩阵计算脊波网络的权值和阈值。通过实验,比较了改进自适应脊波网络、自适应脊波网络和小波网络的训练收敛速度、隐含层节点个数和预测精度。实验结果表明,提出的预测模型预测精度更高,网络结构更稀疏,训练收敛速度更快。     

基于分位数损失的短期概率负荷预测

为提高电力负荷预测精度,并针对用电不规律导致的负荷数据波动性大的问题,提出一种分位数损失引导的门控卷积神经网络模型。首先,使用卷积神经网络提取出历史数据中更多的重要特征;其次,在模型训练过程中采用分位数损失指导训练,然后添加门控单元使得关键特征更加明显;最后,模型输出每个分位点的预测值。实验结果表明,相对于多种概率负荷预测模型,所提的分位数引导的门控卷积神经网络模型在概率负荷预测方面具有更好的预测精度,同时具有良好的实际应用前景。     

一种混合优化的结构自适应极限过程神经网络及应用

为解决过程神经网络的隐层结构和训练速度问题,在极限学习机的基础上,提出一种混合优化的结构自适应极限过程神经网络.首先,采用在隐层中逐次增加过程神经元节点直至满足输出误差的方式完成模型结构自适应;然后,为消除冗余节点,提出对新增临时节点输出实施Gram-Schmidt正交化完成相关性判别;最后,构建一种量子衍生布谷鸟算法,对新增节点输入权函数正交基展开系数实施寻优.仿真实验以Mackey-Glass和页岩油TOC预测为例,通过对比分析验证所提出方法的有效性,仿真结果表明所得模型的逼近效率和训练速度有明显提高.     

基于神经网络的岩性物性参数计算方法研究

岩性物性参数的计算会关系到后续油气田开发生产,因而备受录井解释、地质分析等部门的高度重视。为了解决传统数理计算方法计算岩性物性参数需要依赖人工经验,计算量大,造成人力成本和时间成本较高且计算准确率不高的问题,提出一种基于神经网络的岩性物性参数计算方法。通过对研究的储层地质特征进行分析,选取孔隙度和渗透率作为反映岩性的物性参数;阐明应用测井曲线反映岩性物性参数的合理性,选取合适的测井曲线,应用不同的测井曲线特征提取方法提取测井曲线特征,作为神经网络的输入参数;设计岩性物性参数计算的技术路线,构建BP神经网络模型,选取样本数据集对神经网络模型完成模型训练,最终实现对选区岩性物性参数的计算,为储层岩性识别提供依据。实验结果表明,基于BP神经网络的岩性物性参数计算方法能够较为准确地计算岩性物性参数。     

网络流量预测的建模与仿真研究

研究网络流量准确预测问题,网络流量变化是一种具有时变性、多尺度和突发性的非线性系统,由于传统时间序列预测方法很难揭示内在变化规律,导致网络流量的预测精度比较低.为了提高网络流量的预测精度,提出一种小波分析BP神经网络的网络流量预测模型.模型首先通过小波分析对网络流量进行分解,得到网络流量信号的近似和细节部分,然后进行重构提取多尺度特征,最后将重构的网络流量数据输入到BP神经网络,利用BP神经网络的非线性能力对网络流量进行训练、建模并预测.仿真结果表明,小波神经网络方法提高了网络流量预测精度,是一种有效实用的网络流量预测方法.     

网络流量组合预测模型研究

研究优化网络管理系统,高精度的短期负载预测对提高网络性能和服务质量意义重大.为了解决各种传统的单一预测方法在网络流量预测中存在不能有效利用资源的问题,提出了一种BP神经网络最优组合的预测方法.将单一预测方法所得到的预测值作为BP神经网络的输入样本,相应历史流量数据的实际值作为样本的输出,经过样本训练达到期望精度,应用BP神经网络模型进行预测.仿真实验结果表明,新模型具有良好的预测效果,比传统的单一预测模型具有更高的预测精度和更好的自适应性.     

基于权重能量自适应分布的三维形状分割算法

针对三维形状分割问题,提出一种引入权重能量自适应分布参与深度神经网络训练的全监督分割算法.首先对三维形状表面进行过分割得到若干小块,提取每一个小块的特征描述符向量作为神经网络的输入,计算权重能量自适应分布,将经过加权后的分割标签作为神经网络的输出,训练深度神经网络.对于新的未分割的三维模型,提取模型表面三角面片的特征向量后输入到神经网络中进行预测分割后,对预测分割的边缘进行修整得到分割结果,实现三维模型的自动分割.在普林斯顿三维模型分割数据集上的实验结果表明,算法通过在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差,提高神经网络预测结果的准确率;与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点.     

A new wind power prediction method based on ridgelet transforms,hybrid feature selection and closed-loop forecasting

To reduce network integration and boost energy trading, wind power forecasting can play an important role in power systems. Furthermore, the uncertain and nonconvex behavior of wind signals make its prediction complex. For this purpose, accurate prediction tools are needed. In this paper, a ridgelet transform is applied to a wind signal to decompose it into sub-signals. The output of ridgelet transform is considered as input of new feature selection to identify the best candidates to be used as the forecast engine input. Finally, a new hybrid closed loop forecast engine is proposed based on a neural network and an intelligent algorithm to predict the wind signal. The effectiveness of the proposed forecast model is extensively evaluated on a real-world electricity market through a comparison with well-known forecasting methods. The obtained numerical results demonstrate the validity of proposed method.     

基于自适应脊波网络的高光谱遥感图像分类

神经网络是遥感地物自动分类的重要工具之一。利用多尺度几何分析中的眷波基函数建立了一种自适应眷波网络模型。在传统自适应粒子群算法的基础上,提出一种引入粒子密度因子的自适应粒子群优化算法作为网络训练算法。为验证其性能,利用互信息约简技术对22。波段AVIRIS 92AV3C高光谱数据进行约简,并将它们作为网络输入实现对高光谱遥感地物的自动分类。仿真试验表明:引入粒子密度因子的粒子群算法与传统粒子群算法相比,不易出现早熟问题,在处理高维非线性组合优化问题时具有一定优势;由于眷波函数对高维奇异性的表征能力,相比于传统的RBF和SVM分类器,脊波神经网络分类器对具有明显边界特征的地物分类问题具有较高的精度,同时网络规模小,结构简单。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于半监督动态深度融合神经网络的软测量

半监督深度神经网络建模方法已被广泛应用于软测量,但基于分层训练的网络在特征提取过程局限于挖掘每层输入的有效信息,忽略了原始输入有效信息的丢失,逐层累积,从而导致原始输入的特征表示准确率低下;另外,缺乏挖掘过程时空相关性,也会导致模型性能退化。提出一种半监督动态深度融合神经网络（semisupervised dynamics deep fusion neural network,SS-DDFNN）方法。该方法在特征提取网络的每层都重构原始输入数据并预测质量变量,通过在预训练损失中使用重构原始输入误差,减小原始输入有效信息的丢失;同时融入注意力机制和t分布随机邻域嵌入提取时空相关信息,应用提取的特征建立门控神经网络质量预测模型。实验结果显示,相较于SAE、GSTAE和SIAE模型,所提方法在脱丁烷塔案例中的预测精度分别提升了2.8%、1.1%和0.9%;在工业聚乙烯生产案例中,分别提升了2.7%、1.0%和0.7%。实验结果验证了所提方法的有效性。     

Forming a new small sample deep learning model to predict total organic carbon content by combining unsupervised learning with semisupervised learning

The total organic carbon (TOC) content is a parameter that is directly used to evaluate the hydrocarbon generation capacity of a reservoir. For a reservoir, accurately calculating TOC using well logging curves is a problem that needs to be solved. Machine learning models usually yield the most accurate results. Problems of existing machine learning models that are applied to well logging interpretations include poor feature extraction methods and limited ability to learn complex functions. However, logging interpretation is a small sample problem, and traditional deep learning with strong feature extraction ability cannot be directly used; thus, a deep learning model suitable for logging small sample features, namely, a combination of unsupervised learning and semisupervised learning in an integrated DLM (IDLM), is proposed in this paper and is applied to the TOC prediction problem. This study is also the first systematic application of a deep learning model in a well logging interpretation. First, the model uses a stacked extreme learning machine sparse autoencoder (SELM-SAE) unsupervised learning method to perform coarse feature extraction for a large number of unlabeled samples, and a feature extraction layer consisting of multiple hidden layers is established. Then, the model uses the deep Boltzmann machine (DBM) semisupervised learning method to learn a large number of unlabeled samples and a small number of labeled samples (the input is extracted from logging curve values into SELM-SAE extracted features), and the SELM-SAE and DBM are integrated to form a deep learning model (DLM). Finally, multiple DLMs are combined to form an IDLM algorithm through an improved weighted bagging algorithm. A total of 2381 samples with an unlabeled logging response from 4 wells in 2 shale gas areas and 326 samples with determined TOC values are used to train the model. The model is compared with 11 other machine learning models, and the IDLM achieves the highest precision. Moreover, the simulation shows that for the TOC prediction problem, when the number of labeled samples included in the training is greater than 20, even if this number of samples is used to train 10 hidden layer IDLMs, the trained model has a very low overfitting probability and exhibits the potential to exceed the accuracies of other models. Relative to the existing mainstream shallow model, the IDLM based on a DLM provides the most advanced performance and is more effective. This method implements a small sample deep learning algorithm for TOC prediction and can feasibly use deep learning to solve logging interpretation problems and other small sample set problems for the first time. The IDLM achieves high precision and provides novel insights that can aid in oil and gas exploration and development.     

基于多维特征图知识蒸馏的对抗样本防御方法

计算机视觉领域倾向使用深度神经网络完成识别任务,但对抗样本会导致网络决策异常。为了防御对抗样本,主流的方法是对模型进行对抗训练。对抗训练存在算力高、训练耗时长的缺点,其应用场景受限。提出一种基于知识蒸馏的对抗样本防御方法,将大型数据集学习到的防御经验复用到新的分类任务中。在蒸馏过程中,教师模型和学生模型结构一致,利用模型特征图向量作为媒介进行经验传递,并只使用干净样本训练。使用多维度特征图强化语义信息的表达,并且提出一种基于特征图的注意力机制,将特征依据重要程度赋予权重,增强蒸馏效果。所提算法在Cifar100、Cifar10等开源数据集上进行实验,使用FGSM(fast gradient sign method)、PGD(project gradient descent)、C&W(Carlini-Wagner attack)等算法进行白盒攻击,测试实验效果。所提方法在Cifar10干净样本的准确率超过对抗训练,接近模型在干净样本正常训练的准确率。在L2距离的PGD攻击下,所提方法效果接近对抗训练,显著高于正常训练。而且其学习成本小,即使添加注意力机制和多维度特征图等优化方案,...     

Predicting molten steel endpoint temperature using a feature-weighted model optimized by mutual learning cuckoo search

A feature-weighted neural network model for the prediction of the endpoint temperature of molten steel (MSET) in a ladle furnace (LF) is proposed in this paper. Accurate prediction of MSET is essential for promoting product quality, reducing production costs and enhancing productivity. Considering that different features have different impacts on the MSET during the process of LF refining, a weight is applied to each feature before feeding the feature to neural networks. A mutual learning cuckoo search (MLCS) algorithm is proposed to simultaneously determine the feature weights and network parameters of the proposed prediction model. The search of each cuckoo in the basic cuckoo search algorithm and many of its variants is performed independently, which may decrease the algorithms’ performance. The proposed MLCS algorithm introduces two new search strategies, the mutual learning-based search strategy and the bottom reinforcement learning-based search strategy. The superior performance of MLCS is first confirmed with 20 benchmark optimization problems. Then, MLCS is applied to optimize the feature weights and network parameters in the feature-weighted MSET prediction model. Application to modeling the production data from a 300 t LF in an iron & steel plant in China demonstrates the effectiveness of the proposed feature-weighted neural network model.     

自适应遗传退火算法优化BP神经网络及其应用

以提高预测软件老化趋势为应用背景,提出一种新型自适应遗传退火算法（NAGSA）优化BP神经网络模型,该模型采用轮盘赌选择法与精英保留策略相结合的选择算子,在迭代后期通过模拟退火算法对适应度函数进行拉伸,相比传统的自适应遗传算法（AGA）在个体适应度较低时,能够非线性地自适应调节交叉概率和变异概率,从而对BP神经网络的权值和阈值优化并进行网络训练.对在线售书网站注入内存泄漏的代码使之老化,收集实验所需的老化数据进行仿真训练,实验结果表明,NAGSA-BP模型相比于传统遗传算法（GA）、传统自适应遗传算法（AGA）、传统自适应遗传退火算法（NGSA）优化的BP神经网络模型提高了预测精度和取得了优良的收敛效果,在该应用领域验证了本文方法的有效性.