数据关联的时序有限自动机模型的建模方法

介绍了一种用时序自动机为数据关联问题建模的方法，对数据关联问题的研究方法做了新的尝试。目前有多种数据关联算法，对这些方法的分析和评价成为急于解决的问题。鉴于观测信息的时序性，该文以有限自动机(FA)为基础，将时间序列引入到有限自动机中，定义了时序有限自动机(TFA)，建立了数据关联(DA)的时序有限自动机模型，用于判断关联算法得到的航迹准确性。     

基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

一种部分输入自调整神经网络及其在非线性数据重构中的应用

实际工业过程大部分是非线性过程,其遗失数据的重构问题不能采用现有的线性数据重构方法来解决.本文提出一种部分输入自调整神经网络,以待求的重构变量作为要调整的网络输入.与传统网络不同的是,该网络的权值和阚值先由另外的神经网络训练求得,通过神经网络后向传递算法只需对网络的部分输入值进行训练,这样将非线性数据重构问题转化为部分输入神经网络的训练问题.仿真结果验证本文方法的有效性.     

一种优化的RBF神经网络模型用于网络流量预测

采用径向基RBF神经网络对网络流量数据的时间序列进行建模与预测。采用传统的学习算法对RBF网络训练时,对网络流量数据容易出现过拟合现象,提出了自适应量子粒子群优化AQPSO算法,用于训练RBF神经网络的基函数中心和宽度,并结合最小二乘法计算网络权值,改善了RBF神经网络的泛化能力。实验结果表明,采用AQPSO算法获得的RBF神经网络模型具有泛化能力强、稳定性良好的特点,在网络流量预测中有一定的实用价值。     

基于数据自律分发的神经网络集成模型

针对神经网络在求解大规模数据时表现出的计算能力不足的瓶颈问题,本文在对神经网络集成理论及其算法进行分析研究的基础上,结合自律分散系统提出一种新的基于数据自律分发实现的神经网络集成模型,设计了该模型下由Pull-MA和Push-MA实现的确保时序一致性的通信机制,并给出了用于实现网络中数据自律分发和结果自律收集评价的训练算法.实验结果表明,所构建模型和集成算法对大规模数据的处理能达到理想的训练效果,网络具有良好的泛化和分类能力.     

基于Elman神经网络变风量空调系统研究

变风量空调控制系统具有非线性和动态特性.目前,在VAV空调控制领域应用最广泛的神经网络是静态前馈Bp神经网络,而在多层前向Bp网络中引入特殊关联层,形成有"记忆"能力的Elman神经网络,可以映射系统的非线性和动态特性.其在网络训练算法中,采用自适应学习速率梯度下降反向传播算法,显著提高了网络的训练速率,有效抑制了网络陷入局部最小点.文中分别采用Bp神经网络与Elman神经网络建立模型,对VAV空调系统的少量参数的数据进行仿真预测,经比较分析,证明后者具有收敛速度快、预测精度高的特点.     

基于招生数据利用不同的机器学习方法预测大一学生成绩

利用机器学习方法从招生数据中挖掘影响高校学生大一GPA的因素并构建预测模型。首先，进行了数据清洗、筛选了招生相关数据和大一GPA成绩。随后，将学生的招生信息作为特征，训练了三种机器学习模型，分别为线性回归模型、逻辑回归模型和神经网络模型。最后，对三个模型的性能进行了评估，并对神经网络模型进行了优化。研究的成果可以为高校大一GPA预测建模提供借鉴，并有助于推进学业预警、学业成绩预测和评价的实践。研究结果表明，机器学习方法可以有效地挖掘影响高校学生大一GPA的因素并构建预测模型。通过训练和比较不同的机器学习模型，研究提供了一个可行的预测模型，并对神经网络模型进行了优化，提高了其预测精度。这些成果可以为高校学业预警、学业成绩预测和评价提供有用的参考信息，对于提高学生学习效果和改善教学质量具有积极的作用。     

数据异常情况下遥感影像时间序列分类算法

针对时序遥感图像数据异常时卷积神经网络对其分类性能较差的问题,提出了一种端到端的多模式与多单模架构相结合的网络结构。首先,通过多元时序模型和单变量时间序列模型对多维时间序列进行多尺度特征提取;然后,基于像素空间坐标信息,通过自动编码形式完成遥感图像的时空序列特征的构建;最后,通过全连接层和softmax函数实现分类。在数据异常（数据缺失和数据扭曲）的情况下,提出的算法和一维卷积神经网络（1D-CNN）、多通道深度神经网络（MCDNN）、时序卷积神经网络（TSCNN）和长短期记忆（LSTM）网络等通用时间序列遥感影像分类算法进行分析比较。实验结果表明,所提的利用端到端的多模式与多单模式架构融合的网络在数据异常的情况下分类精度最高,F1值达到了93.40%。     

单时序特征图卷积网络融合预测方法

近年来,图神经网络逐渐成为深度学习领域广泛讨论的话题和研究的重点,但大多数研究都是基于图节点,在存在多维属性的前提下进行分类和回归预测,对单时序特征的图节点预测并不能产生理想的效果。本文提出一种时序图卷积网络算法,可以在复杂图网络中,只根据节点单一特征的时序序列,实现对该特征的预测。算法通过在传统图卷积网络中对邻接矩阵参数化,解决单一特征条件下的参数退化问题,并结合长短时记忆网络的序列学习方法,将时序信息融入到训练过程中,提高训练精度。在交通流量数据集PeMS和Los上的实验表明,其预测精度要优于GCN、T-GCN、GRU、LSTM等主流算法。     

Automated time domain modeling of linear and nonlinear microwave circuits using recurrent neural networks

In this article, a recurrent neural network (RNN) method is employed for dynamic time‐domain modeling of both linear and nonlinear microwave circuits. An automated RNN modeling technique is proposed to efficiently determine the training waveform distribution and internal RNN structure during the offline training process. This technique extends a recent automatic model generation (AMG) algorithm from frequency‐domain model generation to dynamic time‐domain model generation. Two types of applications of the algorithm are presented, transient electromagnetic (EM) behavior modeling of microwave structures, and time‐domain envelope modeling of power amplifiers (PA). For transient EM modeling, we consider EM structures with varying material and geometrical parameters. AMG automatically varies the EM structural parameters during training and drives time‐domain EM simulators to generate necessary amount of data for RNN to learn. AMG aims to model the transient behavior with minimum RNN order while satisfying accuracy requirements. In modeling PA behavior, an envelope formulation is used to specifically learn the AM/AM and AM/PM distortions due to third‐generation (3G) digital modulation input. The RNN PA model is able to model these time domain distortions after training and can accurately model the amplifier behavior in both time (AM/AM, AM/PM) and frequency (spectral re‐growth). © 2008 Wiley Periodicals, Inc. Int J RF and Microwave CAE, 2008.     

基于统计特征的时序数据符号化算法

为克服SAX(符号聚合近似)算法对时序信息描述不完整的缺陷,提出基于统计特征的时序数据符号化算法,与SAX不同的是,该算法将时序符号看作矢量,而各时序子段的均值和方差则分别作为描述其平均值及发散程度的分量.由于该算法能够比SAX提供更多的描述信息,因而在时序数据挖掘应用中能够获得比SAX更精确的结果.大量的实验也证实了它的出色表现.     

Process structure-based recurrent neural network modeling for model predictive control of nonlinear processes

In this work, physics-based recurrent neural network (RNN) modeling approaches are proposed for a general class of nonlinear dynamic process systems to improve prediction accuracy by incorporating a priori process knowledge. Specifically, a hybrid modeling method is first introduced to integrate first-principles models and RNN models. Subsequently, a partially-connected RNN modeling method that designs the RNN structure based on a priori structural process knowledge, and a weight-constrained RNN modeling method that employs weight constraints in the optimization problem of the RNN training process are developed. The proposed physics-based RNN models are utilized in model predictive controllers and applied to a chemical process network example to demonstrate their improved approximation performance compared to the fully-connected RNN model that is developed as a black box model.     

基于大数据应用的地质灾害数据存储策略

针对人工智能算法和大数据技术在地质灾害监测和预警上的应用需求,基于分布式文件系统(HDFS)和列式存储非关系型数据库(HBase)提出了地质灾害相关数据的存储策略;分析了地质灾害监控系统、地质灾害预测预报系统所需使用数据的数据种类、数据格式、数据容量、数据频率及数据增长速度等信息;从数据粒度大小的角度来对数据进行分类和组织,对不同粒度的数据设计了不同的存储模式,以实现高效的存取效率;根据数据的应用特性对数据进行类别划分,为不同类型的数据提供不同的存储结构和访问接口,以获得最优的数据访问性能。     

Artificial Neural Network Approach to Data Matrix Laser Direct Part Marking

Certain applications have recently appeared in industry where a traditional bar code printed on a label will not survive because the item to be tracked has to be exposed to harsh environments. Laser direct-part marking is a manufacturing process used to create permanent marks on a substrate that could help to alleviate this problem. In this research, artificial neural networks were employed to model the laser direct-part marking process of Data Matrix symbols on carbon steel substrates. Several experiments were conducted to study the laser direct-part marking process and to generate data to serve as training, validation and testing data sets in the artificial neural networks modeling process. Two performance measures, mean squared error and correlation coefficient, were utilized to assess the performance of the artificial neural network models. Single-output artificial neural network models corresponding to four performance measures specific to the Data Matrix bar code symbology were found to have good learning and predicting capabilities. The single-output artificial neural network models were compared to equivalent multiple linear regression models for validation purposes. The prediction capability of the single-output artificial neural network models with respect to laser direct-part marking of Data Matrix symbols on carbon steel substrates was superior to that of the multiple linear regression models.     

对多维时间序列应用于在线监测数据处理的探讨

本文首先简述了多维时间序列近年来的发展背景,然后具体的分析了其特点和建模的方法,并对其算法做了简单的介绍,最后建立了多维时间序列的AR模型,将多维时间序列应用到具体的在线检测的数据处理中,取得了良好的效果。     

基于IDL的遥感水文时空序列数据可视化分析系统开发与应用

遥感水文模型的输入和输出数据中含有大量的具有时间和空间序列的图像数据。通过可视化分析,可以找出这些数据中隐含的规律。目前遥感水文时空序列数据可视化分析的各个过程相互分离,分析效率比较低,因此基于IDL(Interactive Data Language,交互式数据语言)进行了遥感水文时空序列数据可视化分析系统的开发,并将其应用于EcoHAT(Ecohydrological Assessment Tools,生态水文评价系统)系统的数据分析。利用IDL强大的图像处理和数据计算能力,实现了遥感水文时空序列数据管理、图像显示和图表绘制等功能,使得海量遥感水文数据得到了更高效的利用。     

Extracting finite-state representations from recurrent neuralnetworks trained on chaotic symbolic sequences

Concerns neural-based modeling of symbolic chaotic time series. We investigate the knowledge induction process associated with training recurrent mural nets (RNN) on single long chaotic symbolic sequences. Even though training RNN to predict the next symbol leaves the standard performance measures such as the mean square error on the network output virtually unchanged, the nets extract a lot of knowledge. We monitor the knowledge extraction process by considering the nets stochastic sources and letting them generate sequences which are then confronted with the training sequence via information theoretic entropy and cross-entropy measures. We also study the possibility of reformulating the knowledge gained by RNN in a compact easy-to-analyze form of finite-state stochastic machines. The experiments are performed on two sequences with different complexities measured by the size and state transition structure of the induced Crutchfield's epsilon-machines (1991, 1994). The extracted machines can achieve comparable or even better entropy and cross-entropy performance. They reflect the training sequence complexity in their dynamical state representations that can be reformulated using finite-state means. The findings are confirmed by a much more detailed analysis of model generated sequences. We also introduce a visual representation of allowed block structure in the studied sequences that allows for an illustrative insight into both RNN training and finite-state stochastic machine extraction processes.     

基于Transformer重建的时序数据异常检测与关系提取

现有时序异常检测方法存在计算效率低和可解释性差的问题.考虑到Transformer模型在自然语言处理任务中表现出并行效率高且能够跨距离提取关系的优势,提出基于Transformer的掩膜时序建模方法.建立时序数据的并行无方向模型,并使用掩膜机制重建当前时间步,从而实现整段序列的重建.在存储系统数据集和NASA航天器数据...     

基于结构化类比的时间序列预测算法

基于结构化类比思想,提出针对时间序列的预测算法SAP-TS。通过类比建立条件概率分布,解决了以往概率模型在此时遭遇的精度问题、空间问题或缺值问题,使用综合置信指标在预测的同时评估预测准确性。在预测PTA共沸精馏塔塔顶醋酸含量的工程应用中,SAP-TS的预测精度高于目前实际使用的广义回归神经网络算法。误差分析表明其综合置信指标对预测准确性的评估是有效的。