基于层级注意力机制与双向长短期记忆神经网络的智能合约自动分类模型

针对区块链平台上智能合约应用种类繁多,人工筛选合适的智能合约应用服务日益困难的问题,提出一种基于层级注意力机制与双向长短期记忆（Bi-LSTM）神经网络的智能合约自动分类模型——HANN-SCA。首先,利用Bi-LSTM网络从智能合约源代码和账户信息两个角度同时建模,最大限度地提取智能合约的特征信息。其中源代码角度关注智能合约中的代码语义特征,账户信息角度关注智能合约的账户特征。然后,在特征学习过程中从词层面和句层面分别引入注意力机制,重点捕获对智能合约分类有重要意义的单词和句子。最后,拼接代码特征与账户特征以生成智能合约文档级特征表示,通过Softmax层完成分类任务。实验结果表明,所提模型在Dataset-E、Dataset-N和Dataset-EO数据集上的分类正确率分别达到了93.1%、91.7%和92.1%,效果明显优于传统的支持向量机模型（SVM）和其他神经网络基准模型,且具有更好的稳定性与更高的收敛速度。     

Boosting a fast neural network for supervised land cover classification

It is demonstrated that the use of an ensemble of neural networks for routine land cover classification of multispectral satellite data can lead to a significant improvement in classification accuracy. Specifically, the AdaBoost.M1 algorithm is applied to a sequence of three-layer, feed-forward neural networks. In order to overcome the drawback of long training time for each network in the ensemble, the networks are trained with an efficient Kalman filter algorithm. On the basis of statistical hypothesis tests, classification performance on multispectral imagery is compared with that of maximum likelihood and support vector machine classifiers. Good generalization accuracies are obtained with computation times of the order of 1 h or less. The algorithms involved are described in detail and a software implementation in the ENVI/IDL image analysis environment is provided.     

基于树结构长短期记忆神经网络的金融时间序列预测

针对传统方法对多噪声、非线性的时间序列无法进行有效预测的问题,以多尺度特征融合为切入点,提出并验证了基于树结构长短期记忆（LSTM）神经网络的预测方法。首先,提出了实现预测目标的核心方法,并分析了方法的内在优势;其次,构建了基于树结构长短期记忆神经网络的预测模型;最后,基于最近十年的国际黄金现货交易数据对模型进行了验证。实验结果表明,所提算法预测准确率高出最小成功率近10个百分点,证实了所提方法的有效性。     

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术.句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中.但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足.本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neu...     

Linguistic time series forecasting using fuzzy recurrent neural network

It is known that one of the most spread forecasting methods is the time series analysis. A weakness of traditional crisp time series forecasting methods is that they process only measurement based numerical information and cannot deal with the perception-based historical data represented by linguistic values. Application of a new class of time series, a fuzzy time series whose values are linguistic values, can overcome the mentioned weakness of traditional forecasting methods. In this paper we propose a fuzzy recurrent neural network (FRNN) based time series forecasting method for solving forecasting problems in which the data can be presented as perceptions and described by fuzzy numbers. The FRNN allows effectively handle fuzzy time series to apply human expertise throughout the forecasting procedure and demonstrates more adequate forecasting results. Recurrent links in FRNN also allow for simplification of the overall network structure (size) and forecasting procedure. Genetic algorithm-based procedure is used for training the FRNN. The effectiveness of the proposed fuzzy time series forecasting method is tested on the benchmark examples.     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

Effect of Landsat thematic mapper sensor parameters on land cover classification

Selected sensor parameter differences between TM and MSS were assessed through classification performance of a suburban/regional test site. Overall classification accuracy of a seven-band Landsat TM scene in comparison to MSS yielded an improvement in accuracy from 74.8% to 83.2%. To study the possible causes for the difference in classification performance, key sensor parameter differences between MSS and TM, including 1) spatial resolution (30 m for TM versus 80 m for MSS), 2) quantization level (256 levels for TM versus 64 for MSS), and 3) spectral regions (seven bands in four major spectral regions for TM versus four bands in two regions for MSS), were evaluated. Landsat TM data were processed to simulate all possible combinations of these MSS and TM parameters, yielding a three-factor design with two levels per factor. The results indicated that the added spectral regions (TM 1, TM 5, and TM 7) and to a lesser degree the increase in quantization level to eight bits produced the improved TM classification accuracy. However, in this study, the higher 30 m spatial resolution of TM contributed to a reduced classification accuracy from increased within-field variability or class heterogeneity.     

基于NSCT和LSSVM的Landsat ETM+图像土地覆盖分类

提出一种新的基于非下采样Contourlet变换（NSCT）和最小二乘支持向量机（LSSVM）的遥感图像土地覆盖分类方法。该方法动态选择最优的多光谱图像的波段特征进行组合,基于NSCT和IHS对多光谱图像和全色图像进行融合,增强多光谱图像的空间分辨率,基于LSSVM对融合图像进行分类。实验结果表明,提出的方法在保留多光谱图像光谱信息的同时,增强了图像的空间细节表现能力,提供更加可靠的地物分类特征,提高了分类精度,并且优于传统的基于最小距离法、最大似然法、贝叶斯分类法和BPNN分类法的遥感图像分类方法,该方法是有效可行的。     

Driver drowsiness detection using hybrid convolutional neural network and long short-term memory

Multimedia Tools and Applications - Drowsiness and fatigue of the drivers are amongst the significant causes of the car accidents. Every year the number of deaths and fatalities are tremendously...     

基于深度长短时记忆网络的多支路串联故障电弧检测方法

针对低压配电系统中,实际配电网负载端的负载串并联形式的多样化和多变性特点,研究干路点检测支路发生的故障电弧具有十分明显的实际意义,提出了一种基于深度长短时记忆(LSTM)网络的多支路串联故障电弧检测方法.首先,构建实验平台,采集支路发生不同串联故障情况下的干路电流信号共计72000组;然后,将电流信号分为训练集和测试集...     

基于长短时记忆网络的电商大数据同一性标定

政府采购平台上的电商大数据,由于商品种类繁多且书写格式无统一规范,采用传统模型在大数据中标定出同一种商品时准确率低、速度慢、样本利用率低、泛化能力不足.提出一种基于长短时记忆网络(LSTM)的同一性标定模型,该模型由分词、重要性排序和相似度计算3个子模型串联组成.分词子模型对电商大数据进行预处理,获得有区分度的关键词序列;LSTM重要性排序子模型筛选最能表征商品信息的重要关键词序列;LS T M相似度计算子模型在给定大数据中准确标定出同一种商品.另外还引入二分查找、GloVe词向量化和词序列语义校验技术,分别用于提高标定速度、训练样本利用率与标定泛化能力.实验结果表明,在处理不同品类的电商大数据时,所提模型对易混淆样本的同一性标定准确率高.     

基于深度长短时记忆神经网络模型的心律失常检测算法

针对传统基于形态特征的心电检测算法存在特征提取不准确和高复杂性等问题,提出了一种多层的长短时记忆（LSTM）神经网络结构。结合传统LSTM模型在时序数据处理上的优势,该模型增加了反向和深度计算,避免了人工提取波形特征,提高了网络的学习能力。通过给定心拍序列和分类标签进行监督学习,然后实现对未知心拍的心律失常检测。通过对MIT-BIH数据库中的心律失常数据集进行实验验证,模型的总体准确率为98.34%。相比支持向量机（SVM）,该模型的准确率和F1值均有提高。     

基于长短时记忆神经网络的手足口病发病趋势预测

针对传统手足口病（HFMD）发病趋势预测算法预测精度不高、未结合其他影响因素、预测时间较短等问题,提出结合气象因素使用长短时记忆（LSTM）网络进行长期预测的方法。首先,将发病序列通过滑动窗口的方式转化为网络的输入和输出;然后采用LSTM网络进行数据建模和预测,并使用迭代预测的方式获得较长期的预测结果;最后在网络中增加温度和湿度变量,比较这些变量对预测结果的影响。实验结果表明,加入气象因素能够提高模型的预测精度,所提模型在济南市数据集上的平均绝对误差（MAE）为74.9,在广州市数据集上的MAE为427.7,相较于常用的季节性差分自回归移动平均（SARIMA）模型和支持向量回归（SVR）模型,该模型的预测准确率更高。可见所提模型是HFMD发病趋势预测的一种有效的实验方法。     

A self-organizing recurrent fuzzy neural network based on multivariate time series analysis

Neural Computing and Applications - Fuzzy neural networks (FNNs) have attracted considerable interest for modeling nonlinear dynamic systems in recent years. However, the recurrent design and the...     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNN-LSTM模型.1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC.首先,通过一层一维卷积...     

A new deep intuitionistic fuzzy time series forecasting method based on long short-term memory

The Journal of Supercomputing - In recent years, deep artificial neural networks can have better forecasting performance than many other artificial neural networks. The long short-term memory...     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

基于长短期记忆网络和滑动窗口的流数据异常检测方法

针对目前流数据存在数量巨大、生成迅速和概念漂移的特点,提出了一种基于长短期记忆(LSTM)网络和滑动窗口的流数据异常检测方法。首先采用LSTM网络进行数据预测,之后计算预测值与实际值的差值。对于每个数据,选择合适的滑动窗口,将滑动窗口区间内的所有差值进行分布建模,再根据每个差值在当前分布的概率密度来计算数据异常可能性。LSTM网络不仅可以进行数据预测,还可以边预测边学习,实时更新调整网络,保证模型的有效性;而利用滑动窗口可以使得异常分数的分配更为合理。最后使用在真实数据基础上制造的模拟数据进行了实验。实验结果验证了所提方法在低噪声环境下比直接利用差值进行检测和异常数据分布建模法(ADM)方法的平均曲线下面积(AUC)值分别提高了0.187和0.05。     

基于经验模态分解和长短期记忆神经网络的短期交通流量预测

交通流量预测作为智能交通的重要一环,所要处理的交通数据具有非线性、周期性和随机性的特点,导致在数据预测时,不稳定的交通流量数据依赖于长期数据范围,且由于一些外部因素使得原始数常包含一些噪声,可能导致预测性能的进一步下降。针对上述问题提出了一种能够去噪且能处理长时依赖的预测算法——EMD-LSTM。首先,通过经验模态分解（EMD）算法将交通时序数据中的不同尺度分量逐级分解出来,生成一系列具有相同特征尺度的本征模函数,从而去除一定的噪声影响;然后,借助长短期记忆（LSTM）神经网络解决数据的长期依赖问题,从而使所提算法在长时间视野预测方面表现更为突出。对实际数据集进行短期预测的实验结果表明,EMD-LSTM的平均绝对误差（MAE）比LSTM低了1.916 32,平均绝对百分误差（MAPE）比LSTM降低了4.645 45个百分点,可见所提出的混合模型使预测准确性得到显著提高,能够有效解决交通数据的问题。