circ2CBA: prediction of circRNA-RBP binding sites combining deep learning and attention mechanism

Circular RNAs (circRNAs) are RNAs with closed circular structure involved in many biological processes by key interactions with RNA binding proteins (RBPs). Existing methods for predicting these interactions have limitations in feature learning. In view of this, we propose a method named circ2CBA, which uses only sequence information of circRNAs to predict circRNA-RBP binding sites. We have constructed a data set which includes eight sub-datasets. First, circ2CBA encodes circRNA sequences using the one-hot method. Next, a two-layer convolutional neural network (CNN) is used to initially extract the features. After CNN, circ2CBA uses a layer of bidirectional long and short-term memory network (BiLSTM) and the self-attention mechanism to learn the features. The AUC value of circ2CBA reaches 0.8987. Comparison of circ2CBA with other three methods on our data set and an ablation experiment confirm that circ2CBA is an effective method to predict the binding sites between circRNAs and RBPs.     

边缘计算环境下基于深度学习的DDos检测

边缘计算作为一种用于降低中心节点计算压力,更靠近终端设备和数据源头的新计算范式,满足了计算业务下沉的需求,也带来了安全问题;其中,对边缘计算安全威胁最大、造成过巨大经济损失和安全事故的当属分布式拒绝服务攻击（DDos）;边缘计算环境下由于算力受限、存储空间有限等原因,传统的防御手段难以应用;因此,提出了一种适用于边缘计算环境下的基于深度学习的轻量级DDos检测框架;采用CIC-DDos-2019数据集来模拟边缘计算环境下的遭受DDos攻击的网络流量,针对数据集进行了适应性强的预处理技术和相似性标签融合,运用SMOTE算法解决了数据集类别不平衡问题,采用一维卷积技术和BiLSTM技术搭建了模型并进行了模型剪枝,构建了一个轻量级模型。结果表明,其针对DDos攻击类别的八分类实验准确率达到了96.8%,二分类实验准确率达到了99.8%。     

结合gazetteers和句法依存树的中文命名实体识别

中文命名实体识别在机器翻译、智能问答等下游任务中起着重要作用。提出一种新的基于gazetteers和句法依存树的中文命名实体识别方法,旨在解决由于字符向量缺少词信息和词之间的句法依赖结构信息而导致的错误传递问题。该方法将句子中的gazetteers信息和句法依存树信息形成图,再通过自适应门控图神经网络（adapted gated graph neural networks,AGGNN）将其融入到字符向量中,从而使得每个字向量很好地获取词汇间的语义关系,提升识别准确率。通过在Ecommerce、Resume、QI等数据集的验证,新的方法可以使得中文实体识别的准确率得到较大提升。     

面向混凝土坝施工管理的知识图谱智能构建

混凝土坝施工管理知识多以文本的形式记录存储,具有数据量大、碎片化严重、层次性差等特点。本文从非结构化文本数据中智能挖掘施工知识,理清知识间的逻辑关系,提升知识的应用效率是混凝土坝施工管理面临的重要问题。本文提出一种混凝土坝施工管理知识图谱智能生成方法,将海量文本数据转化为可直接利用的知识。融合字词向量、BiLSTM-CRF(Bi-directional Long Short-Term Memory-Conditional Random Field)网络、Attention机制,建立混凝土坝施工管理实体智能识别模型,强化施工实体特征,获取混凝土坝施工管理文本中的实体词语。结合已识别的施工实体,定义实体间关系类型,利用互信息提取实体关系,组合形成施工知识链,构建混凝土坝施工管理知识图谱。该方法应用于实际混凝土坝施工管理文本分析中,经过计算得到混凝土坝施工管理实体智能识别模型的F1值为92.48%,优于其他实体识别模型;利用已识别实体间的关联关系,建立了混凝土坝施工管理知识图谱,形成基于知识图谱的施工知识检索机制,实现施工知识的快速提取,提高了施工知识的应用效率。     

基于BiLSTM-XGBoost混合模型的储层岩性识别

储层岩性分类是地质研究基础, 基于数据驱动的机器学习模型虽然能较好地识别储层岩性, 但由于测井数据是特殊的序列数据, 模型很难有效提取数据的空间相关性, 造成模型对储层识别仍存在不足. 针对此问题, 本文结合双向长短期循环神经网络(bidirectional long short-term memory, BiLSTM)和极端梯度提升决策树(extreme gradient boosting decision tree, XGBoost), 提出双向记忆极端梯度提升(BiLSTM-XGBoost, BiXGB)模型预测储层岩性. 该模型在传统XGBoost基础上融入了BiLSTM, 大大增强了模型对测井数据的特征提取能力. BiXGB模型使用BiLSTM对测井数据进行特征提取, 将提取到的特征传递给XGBoost分类模型进行训练和预测. 将BiXGB模型应用于储层岩性数据集时, 模型预测的总体精度达到了91%. 为了进一步验证模型的准确性和稳定性, 将模型应用于UCI公开的Occupancy序列数据集, 结果显示模型的预测总体精度也高达93%. 相较于其他机器学习模型, BiXGB模型能准确地对序列数据进行分类, 提高了储层岩性的识别精度, 满足了油气勘探的实际需要, 为储层岩性识别提供了新的方法.     

基于1DCNN-BiLSTM组合模型的S700K转辙机故障诊断

针对S700K转辙机故障诊断有效特征提取困难,信号处理与分类算法难以联合优化的问题,提出了一维卷积神经网络(1DCNN)与双向长短期记忆神经网络(bidirectional long short-term memory, BiLSTM)结合的转辙机故障诊断方法。首先,对微机监测系统采集的转辙机功率曲线进行处理;其次,通过卷积神经网络(convolution neural networks, CNN)的卷积层和池化层对处理后的数据自适应提取故障特征;再经过扁平层(Flatten)把提取的故障特征作为BiLSTM层的输入,进一步挖掘深层次的特征;最后使用Softmax函数实现智能故障诊断。以某铁路局提供的真实数据验证模型,结果显示所提模型的精确率、召回率和F₁值等评价指标分别达到98.99%、98.89%和98.89%,相较于其他经典故障诊断模型,1DCNN-BiLSTM模型在保证训练速度较快的情况下,将故障诊断的准确率至少提升了1.08%。     

集成相异性准则与熵率超像素的图像分割模型

目的 高精度图像分割是生物医学图像处理中的一个重要问题。在磁共振成像过程中,噪声和强度不均匀很大程度影响图像分割的精度。因此,提出了一种基于相异性准则熵率超像素的多模态高精度图像分割网络。方法 采用熵率超像素分割算法对多模态图像进行预分割得到超像素块,提出新的融合算法对其重新编号,建立超像素图,该图中的每一个超像素块构成无向图的一个结点;利用每个结点的灰度值提取特征向量,通过相异性权重判断结点间的相关性,构建相邻结点的特征序列;将特征序列作为双向长短期记忆模型(bi-directional long short-term memory, BiLSTM)的输入,经过训练和测试,得到最终的分割结果。结果 本文方法在BrainWeb、MRBrainS和BraTS2017数据集上与主流算法进行了对比。在BrainWeb数据集上,本文方法的像素精度(pixel accuracy, PA)和骰子相似系数(Dice similarity coefficient, DSC)分别为98.93%、97.71%,比LSTM-MA(LSTM method with multi-modality and adj...     

融合句子结构特征的汉老双语句子相似度计算方法

在低资源神经机器翻译中,双语平行句对是重要的数据资源,融合语言结构特点能够较好地解决双语句子由于语言差异性导致的句子相似度计算不准确问题.该文提出一种融合句子结构特征的汉老双语句子相似度计算方法.首先,通过该文提出的特征模板获取汉语和老挝语对应的句子结构特征,预训练含有句子结构特征的汉老双语词向量分布式表示,并使用双语...     

基于GLU-CNN和Attention-BiLSTM的神经网络情感倾向性分析

情感分析是自然语言处理领域(NLP)中重要的语义处理任务,目前处理NLP任务的两大主流模型是卷积神经网络(CNN)和循环神经网络(RNN)以及他们的变体。由于自然语言在结构上存在依赖关系,且重要信息可能出现在句子的任何位置。RNN可能会忽略为了解决这些问题,我们提出了一种新的模型ABGC,将Attention机制加入到BiLSTM中,可以更好捕获句子中最重要的局部信息,同时融合添加GLU(非线性单元)的卷积神经网络(CNN),可以更好捕捉文本的全局信息,然后将两种模型提取到的特征融合,既有效避免了LSTM的梯度消失问题,又解决了CNN忽略上下文语义的问题。我们在两种数据集上进行对比实验,实验结果表明ABGC模型可以有效提高文本分类准确率,同时减少运行时间。     

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。