云环境下基于动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型

针对点值预测方法预测虚拟机故障,未充分利用虚拟机历史周期特征和上下文信息、预测准确率不高的问题,提出了一种动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型。该模型首先利用动态滑动窗口动态捕获虚拟机故障发生过程的上下文特征;然后构建多通道机制的Bi-LSTM以同时学习不同指标类之间的相关性特征,预测虚拟机下一周期的故障;最后根据OCSVM和区间偏移度方法对预测结果进行判断,得出具体的故障类型。实验表明,该模型在预测准确率、召回率、F值三个指标上均优于基线模型,验证了模型对虚拟机故障预测的有效性。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于主动学习的命名实体识别算法

命名实体识别的目的是识别文本中的实体指称的边界和类别.在进行命名实体识别模型训练的过程中,通常需要大量的标注样本.本文通过实现有效的选择算法,从大量样本中选择适合模型更新的样本,减少对样本的标注工作.通过5组对比实验,验证使用有效的选择算法能够获得更好的样本集,实现具有针对性的标注样本.通过设计在微博网络数据集上的实验...     

孪生网络中文语义匹配方法的研究

语义匹配是问答领域的一个核心任务,能够为问答系统和信息检索等领域提供技术支持.目前对于语义匹配这一特殊分类问题,神经网络主要使用交叉熵或者对比代价损失函数,忽略了损失函数的分类限制宽泛,导致其在分类边缘存在误差.为了解决此种问题,本文在已有的孪生神经网络的基础上,引入am-softmax损失函数,提升模型精确度,同时在...     

融合依存句法的深度学习藏语句子分割研究

藏语句子分割是藏语自然语言处理中的一项重要且基础性的研究工作。该文根据藏语句子结构特征,在分析藏语句子分割规则与难点的基础上,提出一种融合依存句法的藏语句子分割模型。该模型首先通过词嵌入和藏语依存句法信息嵌入将输入序列映射成实值向量;然后构建融合藏语依存句法的双向LSTM,拼接词语和句法信息特征,提高上下文时序特征的学习能力;最后利用CRF预测出最佳句子分割点。通过对比实验,验证了该模型对藏语句子分割的有效性。实验结果表明,该模型的F₁值为99.4%。     

基于优化混合模型的航空发动机剩余寿命预测方法

针对航空发动机剩余使用寿命（RUL）预测方法没有同时加权不同时间步下的数据,包括原始数据和所提取的特征,导致RUL预测准确性较低的问题,提出了一种基于优化混合模型的RUL预测方法。首先,选用三种不同的路径提取特征：1）将原始数据的均值和趋势系数输入至全连接网络;2）将原始数据输入双向长短期记忆（Bi-LSTM）网络,并采用注意力机制处理得到的特征;3）使用注意力机制处理原始数据,并将加权特征输入至卷积神经网络（CNN）和Bi-LSTM网络中。然后,采用融合多路径特征预测的思想,将上述提取到的特征融合后输入至全连接网络获得RUL预测结果。最后,使用商用模块化航空推进系统仿真（C-MAPSS）数据集验证方法的有效性。实验结果显示,所提方法在4个数据集上均有较好的表现。以FD001数据集为例,所提方法的均方根误差（RMSE）比Bi-LSTM网络降低了9.01%。     

Bi-directional LSTM based channel estimation in 5G massive MIMO OFDM systems over TDL-C model with Rayleigh fading distribution

In this work, a deep learning (DL)-based massive multiple-input multiple-output (mMIMO) orthogonal frequency division multiplexing (OFDM) system is investigated over the tapped delay line type C (TDL-C) model with a Rayleigh fading distribution at frequencies ranging from 0.5 to 100 GHz. The proposed bi-directional long short-term memory (Bi-LSTM) channel state information (CSI) estimator uses online learning during training and offline learning during the practical implementation phase. The design of the estimator takes into account situations in which prior knowledge of channel statistics is limited and targets excellent performance, even with limited pilot symbols (PS). Three separate loss functions (mean square logarithmic error [MSLE], Huber, and Kullback–Leibler Distance [KLD]) are assessed in three classification layers. The symbol error rate (SER) and outage probability performance of the proposed estimator are evaluated using a number of optimization techniques, such as stochastic gradient descent (SGD), momentum, and the adaptive gradient (AdaGrad) algorithm. The Bi-LSTM-based CSI estimator is trained considering a specific number of PS. It can be readily seen that by incorporating a cyclic prefix (CP), the system becomes more resilient to channel impairments, resulting in a lower SER. Simulations show that the SGD optimization approach and Huber loss function-trained Bi-LSTM-based CSI estimator have the lowest SER and very high estimation accuracy. By using deep neural networks (DNNs), the Bi-LSTM method for CSI estimation achieves a superior channel capacity (in bps/Hz) at 10 dB than long short-term memory (LSTM) and other conventional CSI estimators, such as minimum mean square error (MMSE) and least squares (LS). The simulation results validate the analytical results in the study.     

结合注意力机制与图卷积网络的汉语复句关系识别

复句的关系识别是为了区分句子语义关系的类别,是自然语言处理(NLP)中必不可少的基础研究任务。现有研究无法使机器在表层判别缺少显式句间连接词句子的语义关系类型。该文将Attention机制与图卷积神经网络(GCN)相结合应用到汉语复句语义关系识别中,通过BERT预训练模型获取单句词向量,输入到Bi-LSTM获取句子位置表示,经Attention机制得到各位置间权重构建图网络以捕获句子间的语义信息,通过图卷积抽取深层的关联信息。该文的方法对缺少显式句间连接词句子的关系识别达到了较好的识别效果,为进一步研究计算机自动分析、识别处理复句的基本方法奠定基础。实验结果表明,在汉语复句语料库(CCCS)和汉语篇章树库(CDTB)数据集上,与先前最好的模型相比,其准确率分别为77.3%和75.7%,提升约1.6%,宏平均F₁值分别为76.2%和74.4%,提升约2.1%,说明了该文方法的有效性。     

基于图注意力网络的因果关系抽取

因果关系作为一种重要的关系类型在关系推理等许多领域中起着至关重要的作用,因此对因果关系进行抽取是文本挖掘中的一项基本任务.与传统文本分类方法或关系抽取不同,采用序列标注的方法可以抽取文本中的因果实体并确定因果关系方向,不需要依赖特征工程或因果背景知识.主要贡献有：1)拓展句法依存树到句法依存图,将图注意力网络应用到自然语言处理中,引入了基于句法依存图的图注意力网络的概念;2)提出Bi-LSTM+CRF+S-GAT因果关系抽取模型,根据输入的词向量生成句子中每个词的因果标签;3)对SemEval数据集进行修正与拓展,针对其存在的缺陷制定规则重新标注实验数据.在拓展后的SemEval数据集上进行了大量的实验,结果表明：该模型在预测准确率上比现有最优模型Bi-LSTM+CRF+self-ATT提高了0.064.     

基于Transformer-Bi-LSTM模型的武器装备剩余寿命预测方法

武器装备担负保卫国土安全的重要使命,其保持稳定运行状态具有重大国防、政治意义;因其装备运行状态不便中断、故障定位过程复杂,使得传统维修方式效率较低;装备使用数据具有连续性、长期性、不平稳性,甚至一些深度学习模型无法处理其中的退化状态历史依赖与关联问题;通过构建元器件层级的剩余寿命预测架构,对特征工程、退化指标构建以及Transformer-Bi-LSTM模型开展研究,采用距离编码技术,实现针对深度学习模型的技术创新,优化模型预测效果;基于某型武器装备主要器件正常试样数据,进行本方法分析验证,在器件已运行时间达到90%设计试验寿命长度时能够进行有效且准确的剩余寿命预测,所提方法满足武器装备器件寿命预警及更换提醒、保障装备战备完好性的应用需求。