基于ViLBERT与BiLSTM的图像描述算法

传统图像描述算法存在提取图像特征利用不足、缺少上下文信息学习和训练参数过多的问题,提出基于ViLBERT和双层长短期记忆网络(BiLSTM)结合的图像描述算法.使用ViLBERT作为编码器,ViLBERT模型能将图片特征和描述文本信息通过联合注意力的方式进行结合,输出图像和文本的联合特征向量.解码器使用结合注意力机制的BiLSTM来生成图像描述.该算法在MSCOCO2014数据集进行训练和测试,实验评价标准BLEU-4和BLEU得分分别达到36.9和125.2,优于基于传统图像特征提取结合注意力机制图像描述算法.通过生成文本描述对比可看出,该算法生成的图像描述能够更细致地表述图片信息.     

融合注意力机制的人机交互信息半监督敏感数据抽取算法

为提高敏感数据抽取效果,提出了融合注意力机制的人机交互信息半监督敏感数据抽取方法。融合类卷积以及人机交互注意力机制构建融合交互注意力机制双向长短词记忆（Bi-LSTM-CRF）模型,通过模型的类卷积交互注意力机制将敏感词转化为字符矩阵,采用Bi-LSTM对该矩阵进行编码获得敏感词字符级特点的分布式排列,通过Bi-LSTM对该分布式排列的二次编码获得敏感词上下文信息的隐藏状态,基于该隐藏状态通过类卷积注意力层与交互注意力层进行注意力加权,获得类卷积注意力矩阵与交互注意力矩阵,拼接两个矩阵得到双层注意力矩阵,利用交互注意力层门控循环单元升级双层注意力矩阵成新的注意力矩阵,经全连接降维获取敏感词对应的预测标签,实现人机交互信息半监督敏感数据抽取。实验结果说明：该方法可有效降低敏感数据抽取复杂度,具有较高的敏感数据抽取查全率。     

融合CNN-BiLSTM-Attention的集成学习价格预测

价格预测对于大宗农产品市场的稳定具有重要意义,但是大宗农产品价格与多种因素有着复杂的相关关系.针对当前价格预测中对数据完整性依赖性强与单一模型难以全面利用多种数据特征等问题,提出了一种将基于注意力机制的卷积双向长短期记忆神经网络(CNN-BiLSTM-Attention)、支持向量机回归(SVR)与LightGBM组合的增强式集成学习方法,并分别在包含历史交易、天气、汇率、油价等多种特征数据的数据集上进行了实验.实验以小麦和棉花价格预测为目标任务,使用互信息法进行特征选择,选择误差较低的CNN-BiLSTM-Attention模型作为基模型,与机器学习模型通过线性回归进行增强式集成学习.实验结果表明该集成学习方法在小麦及棉花数据集上预测结果的均方根误差(RMSE)值分别为12.812, 74.365,较之3个基模型分别降低11.00%, 0.94%、4.44%,1.99%与13.03%, 4.39%,能够有效降低价格预测的误差.     

层次化神经网络模型下的释义识别方法

释义识别技术（Paraphrase Identification, PI）被广泛用于问答系统、抄袭检测、个性化推荐等领域.针对已有释义识别方法缺乏有效的特征提取机制问题,提出了一种新的释义识别模型.与传统“编码-匹配”模式不同,采用“编码-匹配-提取”模式,通过添加特征提取层进一步提取分类信息.所提出模型由6层组成:输入层、嵌入层、编码层、匹配层、特征提取层、输出层.在编码层,采用基于注意力机制的上下文双向长短期记忆网络对文本上下文进行编码,充分利用句子的前向和逆向两个方向的上下文信息;在匹配层,通过多种矩阵运算,从不同角度获得句子对匹配信息;在特征提取层,利用Xception网络以便更有效地从匹配结果中提取分类信息.此外,本文采用多特征融合的方法,将GloVe预训练的词向量、字符向量和附加特征向量的连接作为最终的词向量,较普通的词向量携带更丰富的语义信息.实验结果表明,所构建的模型在Quora和SemEval-2015 PIT两个公开数据集上（分别作为大型数据集和中小型数据集的代表）都达到了竞争性效果.     

融合外部语义知识的中文文本蕴含识别

基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林知识库中选取词语相似度特征和上下位特征组成特征向量,并将注意力权重矩阵、特征向量与编码后的文本向量相结合融入神经网络的模型训练过程,实现中文文本蕴含的增强识别。实验结果表明,与增强序列推理模型相比,CKEIM在15%、50%和100%数据规模的CNLI训练集下识别准确率分别提升了3.7%、1.5%和0.9%,具有更好的中文文本蕴含识别性能和泛化能力。     

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆（1DCNN-BiLSTM）神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解（CEEMDAN）技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆（BiLSTM）神经网络模型和一维卷积神经网络（1DCNN）模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络（SENet）模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。     

基于AB-CNN-BiLSTM心衰死亡率预测模型

为了更有效地分配医疗资源并辅助医生诊疗,需要对ICU患者的死亡率做出更快、更准确的预测,提出一种融合注意力机制的CNN-BiLSTM ICU患者心衰死亡率预测模型.对MIMICIII数据集提供的入院48小时的数据进行一系列预处理操作;通过卷积神经网络模型(CNN)及双向长短期记忆神经网络模型(BiLSTM)考虑不同参数...     

采用改进CNN-BiLSTM模型的刀具磨损状态监测

自动化切削加工过程中,准确可靠地监测刀具磨损状态是保证加工质量和加工效率的关键。针对刀具磨损状态相关特征提取繁琐、准确率低及传统的深度学习网络不能全面提取数据隐含信息等问题,提出了一种以卷积神经网络(CNN)和双向长短时记忆(BiLSTM)网络集成模型为基础并通过在卷积神经网络中添加批量标准化层和采用两个双向长短时记忆网络层的改进模型,该模型通过自动提取小波阈值降噪等预处理和降采样后的切削力、振动和声音信号的空间和时序特征来实现刀具磨损状态监测。将改进模型与CNN-BiLSTM模型及传统的深度学习模型进行对比,发现改进模型在精度和稳定性方面有较大提升。所提方法为准确监测自动化加工过程中刀具磨损状态、提高生产效率和加工质量提供了技术支持。     

融合短语结构的多通道老挝语名词短语识别方法

名词短语的识别对句法分析等自然语言处理任务有着基础性的意义。目前,老挝语名词短语识别研究仍处于起步阶段,相较于其他语言,老挝语名词短语识别存在边界模糊、界定描述模糊、语料有限、句式过长等问题。针对以上问题,该文研究了老挝语名词短语的结构,并构建了融合其短语结构的多通道老挝语名词短语模型。模型通过将字符、词和词性特征组合形成不同的输入通道,使用多个BiLSTM网络从不同的方面提取更多隐藏信息,同时改善低资源语料存在大量未登录名词短语的问题。此外,由于老挝语句式过长,模型引入Attention机制,增加重要特征的权重,有效减少了无用信息的干扰。实验结果表明,该模型在有限标注语料下F₁值达到85.25%,优于其他模型方法。     

基于RF-BiLSTM的柔直阀冷入阀水温预测及冷却能力评估

为实现柔性直流(voltage sourced converter-high voltage direct current,VSC-HVDC)换流阀冷却系统入阀水温的智能预测,文中提出一种基于随机森林(random forest,RF)和双向长短时记忆(bi-directional long short-term memory,BiLSTM)网络混合的柔直换流阀冷却系统入阀水温的预测模型,并以此为基础对柔直换流站阀冷系统的冷却能力进行评估。首先,采用RF算法对由阀冷系统监测变量组成的高维特征集进行重要性分析,筛选出影响入阀水温的重要特征,与历史入阀水温构成输入特征向量。然后,将特征向量输入到BiLSTM预测模型,对模型进行训练并实现对入阀水温的准确预测和冷却能力定量评估。最后,以广东电网某柔直换流站为实例对所提方法进行分析,验证了所提出的基于RF-BiLSTM的混合模型预测精度优于BiLSTM模型、RF模型、支持向量机(support vector machine,SVM)模型和自回归滑动平均模型(auto-regressive and moving average,ARMA)模型,并且实现了冷却能力的定量评估。结果表明该换流站冷却裕量达98%,存在过度冷却、能源浪费的问题,与换流站现场运行情况相符,验证了文中所提方法的有效性和准确性。