基于BERT和CNN的基因剪接位点识别

随着高通量测序技术的发展，海量的基因组序列数据为了解基因组的结构提供了数据基础。剪接位点识别是基因组学研究的重要环节，在基因发现和确定基因结构方面发挥着重要作用，且有利于理解基因性状的表达。针对现有模型对脱氧核糖核酸（DNA）序列高维特征提取能力不足的问题，构建了由BERT(Bidirectional Encoder Representations from Transformer)和平行的卷积神经网络（CNN）组合而成的剪接位点预测模型——BERT-splice。首先，采用BERT预训练方法训练DNA语言模型，从而提取DNA序列的上下文动态关联特征，并且使用高维矩阵映射DNA序列特征；其次，采用人类参考基因组序列hg19数据，使用DNA语言模型将该数据映射为高维矩阵后作为平行CNN分类器的输入进行再训练；最后，在上述基础上构建了剪接位点预测模型。实验结果表明，BERT-splice模型在DNA剪接位点供体集上的预测准确率为96.55%，在受体集上的准确率为95.80%，相较于BERT与循环卷积神经网络（RCNN）构建的预测模型BERT-RCNN分别提高了1.55%和1.72%；同时，...     

基于序列模式挖掘的基因剪接位点

剪接是基因表达过程中连接转录和翻译的中枢步骤,是一个高度调控的过程。剪接位点是基因剪接过程中的核心调控元件。本文通过挖掘剪接位点序列中蕴含的序列特征,提出了一个基于序列模式挖掘的基因剪接位点序列打分模型。通过该模型,实现对剪接位点序列信号强度的定量度量。实验结果表明,该模型可有效分类真假剪接位点序列,分类效果优于最大信息熵模型,模型具有良好的鲁棒性,并且可有效识别致病剪接位 点序列突变。     

基于CNN＿BiLSTM的长短期电力负荷预测方法

当前电力系统负荷预测中负荷数据受到多种因素影响且多步长预测时精度不高,因此电力负荷预测呈现出非线性、多因素、非平稳态等问题。提出一种基于CNN＿BiLSTM混合深度学习网络的长短期电力负荷在线预测方法。首先根据卷积神经网络和双向长短期记忆网络的特点,建立了CNN＿BiLSTM负荷预测模型,并将历史负荷与影响因素耦合形成一个新的时间序列作为网络输入;其次,由于机器学习模型依赖于样本的完备性,影响因素的存在会使原有模型与现有数据失配,建立了在线模型;最后,在实际电力负荷预测中,单步长预测并不能满足工业现场的需要,建立了在线多步长预测模型。通过算例分析,并与SVR等方法进行对比,实验结果表明,所提方法能有效地应用于实际的电力系统负荷预测。     

基于DCGRU-RF模型的路网短时交通流预测

随着城市化进程的加快,我国城市机动车数量快速增加,使得现有路网容量难以满足交通运输需求,交通拥堵、环境污染、交通事故等问题与日俱增。准确高效的交通流预测作为智能交通系统的核心,能够有效解决交通出行和管理方面的问题。现有的短时交通流预测研究往往基于浅层的模型方法,不能充分反映交通流特性。文中针对复杂的交通网络结构,提出了一种基于DCGRU-RF(Diffusion Convolutional Gated Recurrent Unit-Random Forest)模型的短时交通流预测方法。首先,使用DCGRU(Diffusion Convolutional Gated Recurrent Unit)网络刻画交通流时间序列数据中的时空相关性特征;在获取数据中的依赖关系和潜在特征后,选择RF(Random Forest)模型作为预测器,以抽取的特征为基础构建非线性预测模型,得出最终的预测结果。实验以两条城市道路中的38个检测器为实验对象,选取了5周工作日的交通流数据,并将所提方法与其他常见交通流量预测模型进行比较。结果表明,DCGRU-RF模型能够进一步提高预测精度,准确度可达95%。     

基于深度学习的PD致病基因活性预测

帕金森病PD(Parkinson’s disease)是一种神经性系统疾病,多发于中老年人。目前,该病情的病因和发病机制尚不明确,但根据多国临床试验数据统计与分析,PINKs基因是影响整个PD发病的重要原因之一。针对该基因的活性结构数据进行研究,提出基于深度学习的深度信念网络(DBN)与稀疏自编码(SAE)预测方法。该算法能通过深层网络特征单元自动学习到适合分类器分类的高层非线性组合特征,并将这些高层次特征输入到分类器中进行数据分析。实验结果表明,DBN算法的平均预测精度较SVM与ANN分别提高了28.04%、18.84%;SAE算法的平均预测精度较SVM与ANN分别提高了23.51%、14.31%。所以,提出的基于深度学习的PINKs活性预测方法具有较高的预测精度和稳定性,与理论分布也较为相吻合,适用于该基因活性的研究与探讨。     

基于神经网络预测的SNP信息的剪接点识别算法研究

随着基因组计划的完成,人们需要尽快从这些海量数据中了解基因组的结构,揭示生命的奥秘,剪接位点识别是其中的一个重要环节,然而到目前为止该问题仍未能得到很好的解决。在分析此问题时引入了第三代遗传标记单核苷酸多态性(SNP),以期探索变异对剪接机制的影响;其次,对DNA序列的数字化进行了探讨。通过实验表明,单核苷酸多态性的引入对于剪接位点识别算法的性能有着一定的影响,此外文中提出的编码方法对预测精度的提升亦有正面作用,整体效果比目前常用方法有了大幅提升。     

基于DeepFM和XGBoost融合模型的静脉血栓预测

外周穿刺置入中心静脉导管(PICC)技术被广泛运用于中长期静脉治疗.在PICC置管时会导致各种并发症和不良反应,如PICC相关性血栓.随着机器学习和深度神经网络的不断发展与完善,为PICC相关性血栓的辅助诊断提供了基于临床医学数据的解决方法.本文构建了基于DeepFM和XGBoost的融合模型,针对稀疏数据进行特征融合并能降低过拟合的情况,能够对PICC相关性血栓提供风险预测.实验结果表明,融合模型能够有效地对PICC相关性血栓进行特征重要性提取并预测患病概率,辅助临床在外周穿刺置过程中识别血栓高危风险因素,及时进行干预从而预防血栓的发生.     

基于CNN的恶意软件分类方法

传统的基于机器学习的恶意软件分类方法需要从恶意软件文件中提取许多特征,这给分类带来了很高的复杂性.针对这一问题,提出了一种基于卷积神经网络(CNN)的恶意软件分类方法.现有的恶意软件样本由大量字节组成,该方法首先计算恶意样本大小并对样本中字节数进行统计.然后将恶意样本大小特征和字节统计特征融合并归一化.最后对基于CNN构建的模型训练并对测试样本进行分类.实验结果表明,对比基线实验中最优的XGBoost算法,该方法不仅训练耗时短而且准确率更高.     

基于BERT和路径对比学习的归纳关系预测

在以往的知识图谱关系预测任务中,主要方法仅限于直推式推理,它们在新出现实体和关系情况下不能利用先验知识去处理归纳学习的问题。提出了基于BERT与路径对比学习的关系预测方法（BERT-based and path comparison learning,BPCL）。首先,利用卷积神经网络捕获子图目标三元组的上下文邻域信息,并将子图线性化为关系路径,利用BERT初始化边特征;其次,引入正、负关系路径;最后,联合对比学习和自监督学习训练对新出现实体之间的关系预测。在适用于归纳推理方法的常用基准数据集上,验证了该模型的预测精度有所提高。     

基于LSTM的机场跑道视程预测

跑道视程反映了飞行员的视程大小,是保障飞机起飞和着陆飞行安全的重要气象要素之一,提升跑道视程的预测准确率将有效提升飞机在低能见度和复杂天气条件下的起降能力和航空管制能力.跑道视程除了受自身观测仪器不足限制,雾、烟、沙尘、强降水等其他天气对其影响也十分显著.本文利用2012–2018年咸阳机场民航自动气象观测系统观测的风...     

基于服务负载的时序QoS预测

网络技术的发展和多接入边缘计算的兴起使得计算和网络资源的部署逐渐靠近终端.随着服务数量的增多,为了向用户更好地推荐服务,如何在复杂、动态的边缘计算环境中实时、准确地预测服务质量(quality of service,QoS)成为一项挑战.本文提出一种基于服务负载实时预测QoS的深度神经模型(QPSL),它可以为边缘计算中的QoS预测提供缺少的负载状况感知和周期感知.首先,对服务的负载状况进行特征表示,并通过时序分解模块获取时序特征.其次,将CNN和BiLSTM结合,学习潜在的时序关系,生成不同时刻的状态向量.然后,基于Attention机制为历史时刻的状态向量分配权重,从而构造未来时刻的状态向量.最后,将上下文嵌入向量与状态向量送入感知层完成实时QoS预测.基于真实的融合数据集进行了大量的实验,结果表明QPSL在响应时间和吞吐量任务上的MAE分别平均提升了10.28%和10.87%,优于现有的时间感知QoS预测方法.     

基于CNN的区域风功率预测方法

针对目前国内外风功率预测精度普遍不高,预测效果难以为电力系统调度提供可靠保障的现象,提出了一种基于CNN的区域风功率预测方法.采用k阶最小二乘法曲线拟合和BN归一化对历史数据进行预处理,将总数据集划分为训练集、验证集和测试集,数据矩阵化作为网络的输入,训练结束后保存最优模型,通过滚动预测的方法得出最终预测结果.算例结果表明,上述方法适合对未来超短期风功率曲线进行准确预测,预测精度较传统方法和现有水平均有不同程度的提高.     

基于CNN的智慧农场图像分类方法

为解决新疆兵团农业现代化建设中有感知无决策的问题，提出一种基于注意力机制模块（SENet）与卷积神经网络混合模型迁移学习的图像分类方法（TL-DA-SE-CNN）。该方法选择4种不同的CNN模型进行权重采集，包括VGGNet、ResNet、InceptionNet和MobileNet。模型使用SENet分类器代替卷积神经网络的全连接层，提取图像的结构性高阶统计特征进行主题分类，并使用BP算法进行参数调整，分类准确度达98.20%。实验结果表明，将CNN与迁移学习、数据增强和SENet相结合的技术提高了牲畜图像分类的性能，是卷积神经网络在农场自动化分群中的有效应用。     

基于GRU神经网络的有毒气体扩散预测方法

有毒气体的扩散预测在应急响应中起着重要作用.现有的计算流体力学(CFD)方法存在计算耗时长等问题,无法快速进行毒害气体扩散预测.提出了一种利用深度学习技术进行有毒气体扩散预测的方法.根据有毒气体扩散原理,设计基于GRU的神经网络模型,实现快速、有效的气体扩散浓度的预测.将本文的方法在经典的公开数据集草原牧场数据集上进行...     

基于栈式自编码网络的风机叶片结冰预测

针对风电机组叶片结冰严重影响风机发电效率和安全性、经济性的问题，提出一种基于SCADA数据的栈式自编码（SAE）网络叶片结冰早期预测模型。该模型采用编码-解码的非监督方法对无标签的数据集预训练，再利用反向传播算法对有标签的数据集进行训练微调，实现了故障特征的自适应提取和状态分类，有效降低了传统预测模型的复杂度，同时避免了人为特征提取对模型效果的影响。利用SCADA系统采集的某15号风机的历史数据进行训练和测试，该模型测试结果准确率为97.28%。与支持向量机（SVM）和主成分分析-支持向量机（PCA-SVM）方法得到的建模分别为91%和93%的准确率进行对比分析，实验结果表明，基于栈式自编码网络的风机叶片结冰预测模型精确度更高。     

基于CNN和SVM的报文入侵检测方法

为了进一步提高网络异常检测的准确率,本文在对现有入侵检测模型分析的基础上,提出了一种基于卷积神经网络和支持向量机的网络报文入侵检测方法.该方法首先将数据预处理成二维矩阵,为了防止算法模型过拟合,利用permutation函数将数据随机打乱,然后利用卷积神经网络CNN从预处理后的数据中学习有效特征,最后通过支持向量机SVM分类器将得到的向量进行分类处理.在数据集选择上,采用网络入侵检测常用的权威数据集—京都大学蜜罐系统数据集,通过与GRU-Softmax、GRU-SVM等现有检测率较高的模型进行实验对比,该模型在准确率上最高分别提高了19.39%和12.83%,进一步提升了网络异常检测的准确度.同时,本研究所提出方法在训练速度和测试速度上有较大提高.     

一种基于时空Transformer的交通事故预测方法

为实现实时道路交通事故的精准预测,提出了基于时空Transformer的高速交通事故预测方法.在该方法中,首先对传统高速交通固定站点数据进行预处理,获得交通特征参数作为算法输入.然后将交通流的时空特征结合时空Transformer捕获交通流静态和动态的时空依赖性,并通过多次提取时交通流空依赖性结合卷积神经网络得到事故发...     

基于过程监督的序列多任务法律判决预测方法

法律判决预测是人工智能技术在法律领域的应用,因此对法律判决预测方法的研究对于实现智慧司法具有重要的理论价值和实际意义.传统的法律判决预测方法大都是只进行单一任务的预测或仅基于参数共享的多任务预测,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升.文中提出了一个端到端的基于过程监督的序列多任务法律判决...     

基于BERT和GCN的引文推荐模型

采用一个组织良好的数据集和基于深度学习的模型,实现根据上下文获得论文的引文推荐.模型包括一个文档编码器和一个上下文编码器,使用图卷积网络层(GCN)和预训练模型BERT[1]的双向编码器表示.通过修改相关的PeerRead数据集,建立一个PeerReadPlus新数据集,它包含引用文献的上下文语句和论文元数据.结果表明...