基于改进CNN-BiGRU-att模型的文本分类研究

为解决单一的卷积神经网络(CNN)缺乏利用上下文本信息与单一循环神经网络(RNN)对局部信息把握不全面问题,提出一种基于注意力机制的多通道TextCNN-BiGRU分类模型.首先,通过word2vec对初始文本向量化,经实验选取窗口值组成三通道.然后利用CNN的强学习能力提取局部特征,利用双向门控循环单元(BiGRU)提取上下文全局信息,运用注意力层与池化层获取并优化重要的特征.最后采用softmax函数使误差loss极小化.仿真实验结果表明,提出的模型分类性能,准确度达94%,损失函数值稳定在0.22%左右,具有良好的泛化能力,能够有效解决单一模型挖掘信息不全问题,有效提高分类效果.     

基于对抗迁移学习模型的环境类虚假投诉检测

为实现环境类虚假投诉举报检测, 提出一种基于对抗迁移学习方法的虚假投诉举报检测模型。首先, 以长短期记忆(long-short term memory, LSTM)网络为特征抽取器抽取微博谣言(源域)和投诉举报文本(目标域)的共享特征; 然后, 使用对抗学习方法进行领域适配, 将源域特征和目标域特征进行特征对齐; 最后, 由分类器输出分类结果, 并由分类损失和领域适配损失共同更新网络参数。通过模型对比实验和消融实验可知, 模型的F₁达到了79.61%。结果表明, 对抗迁移学习模型具有较好的性能, 适合应用在环境类虚假投诉举报检测任务中。

     

基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

基于多变量LSTM神经网络的澳大利亚大火预测研究

长短周期记忆神经网络(LSTM)受益于能够捕获长期依赖关系的特点,在许多实际应用中展现了优异的性能.该文构建了LSTM多变量数据驱动的预测模型,通过多变量输入的方式预测澳大利亚森林大火.首先使用多变量LSTM预测模型对日最高温度进行预测,并与反向传播(BP)神经网络以及ARIMA预测模型的结果进行对比.研究表明:以相关...     

基于互信息变量选择与LSTM的电站锅炉NOx排放动态预测

电站锅炉NO_x排放是大气污染物的重要来源,建立有效的预测模型是降低NO_x排放的基础。NO_x的排放特性受多个热工变量的影响,针对变量间的相关性和强耦合性,提出一种基于互信息变量选择和长短期记忆神经网络的预测模型,实现对NO_x排放的动态预测。以互信息"最小冗余最大相关"为准则对特征变量进行重要性排序和变量选择。在变量筛选过程中采用序列前向选择方法,以模型预测精度为目标确定最优输入特征集和最佳模型参数。将筛选出来的特征变量集作为LSTM预测模型的输入,并采用多层网格搜索算法优化网络超参数,建立了NO_x排放动态预测模型。基于某660 MW超超临界燃煤机组的运行数据对模型进行验证,实验结果表明该方法能够有效地减少模型输入变量的数目,降低变量间的信息冗余,同时提高了预测模型的精度和鲁棒性。     

基于图像描述的文本信息隐藏

针对文本信息隐藏嵌入容量低和语义连贯性差的问题,提出了一种基于神经网络图像描述的文本信息隐藏模型.将卷积神经网络与长短期记忆网络相结合,把图像特征和生成语句进行关联.从收发双方能否共享图像及模型参数的不同应用前提出发,设计了多种概率采样方式,从而生成载密的图像描述文本.实验结果表明,该算法具有较高的隐藏容量,载密描述句能较好地表达图像内容.该模型归属于"无载体"自然语言生成式信息隐藏,具有较好的隐蔽性和安全性.     

基于多代表点的文本分类研究

文本自动分类是一种有效的组织信息和管理信息的工具,传统分类方法一般在分类效果和运行效率上两者不可兼得,通过综合Rocchio和KNN2种分类方法的优点,设计出一种基于多代表点的文本分类方法,该方法通过对各类挖掘出多个有效的代表点(真实或虚拟的),再使用基于这些代表点的Rocchio和KNN方法进行分类.实验表明,该方法以较少的训练时间达到令人满意的分类效果,并且能很好地解决不平衡类问题,实验结果显示,该方法能达到与SVM相当的分类效果.     

基于MMoE-BiLSTM的非侵入式用电设备检测方法研究

非侵入式用电设备检测能够以低成本的方式获取详细的用户用电数据,有助于提高居民用户用电意识,减少居民用电浪费现象,以达到节能减排的目的。针对现有的基于低频数据的单任务非侵入式用电设备检测方法存在的精度低和特征淹没等问题,提出了一种基于多门控混合专家网络（multi-gate mixture-of-experts network,MMoE）和双向长短期记忆网络（bidirectional long short-term memory network,BiLSTM）相结合的多任务非侵入式用电设备检测模型。首先,利用MMoE实现底层参数的软共享,学习不同电器之间的耦合特征,充分挖掘用电设备负荷特征;然后,利用BiLSTM网络作为子任务层,在一个模型中同时输出各电器的功率序列。在UK-DALE(UK recording domestic appliance-level electricity)公开数据集上的实验结果表明,该方法在各电器的检测指标上均优于现有的几种单任务方法,验证了该方法具有良好的用电设备检测性能。     

基于多特征的中文文本蕴含识别

提出了一种基于多特征的中文文本蕴含识别方法,首先对文本进行预处理、中文分词、词性标注、命名实体识别、依存分析等处理;然后提取字符串特征、句法特征、语义特征等,使用贝叶斯逻辑回归模型进行预测;最后再使用规则进行修正,得到最终的识别结果.该方法在2014年RITE-VAL 评测任务的CS 数据上的MacroF1为0.625,超过目前最好的研究现状(MacroF1：0.615, BUPTTeam-CS-SVBC-05).     

语义分析及向量化大数据跨站脚本攻击智检

基于语义情景分析及向量化对访问流量语料库大数据进行词向量化处理,实现面向大数据跨站脚本攻击智能检测。利用自然语言处理方法进行数据获取、数据清洗、数据抽样、特征提取等数据预处理。设计基于神经网络的词向量化算法,实现词向量化得到词向量大数据;通过理论分析和推导,实现多种不同深度的长短时记忆网络智能检测算法。设计不同的超参数并进行反复试验,分别得到最大识别率为0.999 5、最低识别率为0.264 3、识别率均值为99.88%、方差为0、标准差为0.000 4的识别率变化过程曲线图、损失误差变化过程曲线图、词向量样本余弦距离变化曲线图和平均绝对误差变化过程曲线图等。研究结果表明该算法有高识别率、稳定性强、总体性能优良等优点。     

基于Bert 融合词汇的中文命名实体识别

命名实体识别是自然语言处理中一项非常重要的任务, 一句话中可以正确理解其中的实体, 对于是否能正确理解这句话至关重要, 而中文的命名实体识别相比英文更有难度, 原因在于中文没有英文中类似空格的边界标示词, 且存在复杂的嵌套现象。针对现有的中文命名实体识别方法中大多只利用单一层次的特征这一问题, 利用Bert中文预训练集和额外的词汇数据集的融合模型增强词意和中文上下文联系, 采用BiGRU 网络获取序列特征矩阵,通过条件随机场模型生成全局最优序列, 从而提升实体识别准确率。实验结果表明该方法在公开数据集上的效果优于现有模型。     

基于复合编码特征LSTM的基因甲基化位点预测方法

DNA-N6甲基腺嘌呤(6-m A)甲基化修饰是重要的表观遗传修饰标记之一。异常的6-m A位点会影响基因表达,进而引发多种重大疾病,因此预测6-m A位点对理解治病机理和治疗疾病具有重要意义。提出一种基于K-mer方法和One-hot方法复合特征编码的长短期记忆(Long Short-Term Memory,LSTM)神经网络用于基因甲基化位点预测,通过K-mer编码方法增加基因序列字符信息量,再使用One-hot编码方法对编码后的字符序列进行扩展,形成复合编码矩阵。改进后的序列编码矩阵可增加LSTM模型从基因序列数据中可提取的特征维度和种类,以提高LSTM模型对基因序列的处理性能。通过交叉验证实验表明本方法在公共数据集上的准确率可达93.7%,敏感度、特异性和马氏相关系数分别为93.0%、94.5%、0.875,均优于现有方法。进一步,在其他6个不同物种的基因数据集上,受试者工作特征曲线线下面积(Area Under the Curve,AUC)值介于0.905 5～0.926 2,表明本方法可适用于动物、植物和微生物的甲基化位点预测。本方法对水稻NC＿029258.1基因序列进行...     

基于深度学习的LSTM光伏预测

随着对能源利用效率要求的提高及日益激增的光伏数据,传统的光伏预测方法已逐渐丧失优势。为了更加准确地进行光伏预测,采用深度学习的框架,并利用循环神经网络(RNN)中最重要的一个结构——长短时记忆网络(LSTM)对时间序列的强大处理能力进行了智能算法建模。由于LSTM具有"遗忘"与"更新"功能,很好地解决了长序依赖问题,从而使光伏预测在精度上有了质的变化,预测速度也得到显著提升。     

结合改进残差网络和Bi-LSTM的短期电力负荷预测

为充分挖掘电力负荷历史数据的潜在特征,提高短期负荷预测模型的预测精度,提出了一种由改进残差网络（ResNetPlus）、注意力机制（Attention mechanism,AM）和双向长短期记忆网络（Bi-directional long short-term memory,Bi-LSTM）结合而成的残差AM-Bi-LSTM预测模型。该模型将历史负荷、温度和所预测日期的特征作为输入,在Bi-LSTM模型基础上,引入多层改进残差网络提取输入数据的隐藏特征,有效克服了网络隐藏层数加深导致的网络退化问题,使模型的反向传播能力大幅提升;加入注意力机制,分析网络中输入信息与当前负荷的相关性并突出重要信息的影响,从而提高模型的速度与准确率;使用Snapshot策略集成收敛于不同局部极小值的多个模型,以提升模型的准确率和鲁棒性。最后,使用美国ISO-NE数据集进行模拟预测,测试结果表明:所提模型的平均预测精度达到98.27%;在连续的12个月中采用该模型的平均预测精度相比于LSTM模型提高了2.87%;在不同季节下采用该模型的平均预测精度相比于AM-Bi-LSTM和ResNetPlus模型分别提高了1.05%和1.16%。说明所提模型相较于对比模型具有较高的准确率、鲁棒性以及泛化能力。     

地球流体动力学模型恢复的长短期记忆网络渐进优化方法

地球物理流体动力学的计算模型在数据同化和不确定性量化等任务中的计算代价非常大。有人提出了相应的替代模型以寻求减轻计算负担。研究人员已经开始应用人工智能和机器学习算法, 特别是人工神经网络, 针对地球物理流体建立数据驱动的替代模型。神经网络的性能在很大程度上取决于其网络结构设计和超参数的选择(调参)。一般情况下, 这些神经网络通过手动调参, 反复试错, 从而最大限度地提高其计算性能。这通常要求对底层神经网络结构以及特定领域问题有专业知识积累和认知。这一局限性可以通过使用进化算法, 自动设计和选择神经网络的最优超参数来解决。本文应用遗传算法进行了有效的长短期记忆(Long Short-Term Memory, LSTM)神经网络设计, 建立了NOAA海表温度数据集的温度预测模型。     

心理词汇研究对英语词汇教学的启示

心理词汇研究是心理语言学和二语词汇习得领域的研究热点之一。文章从心理语言学的有关认知理论的角度介绍了词汇记忆的整个心理过程,并根据这些理论提出了几点在词汇教学中帮助学习者建立和扩展心理词汇网络的建议。     

基于全信息自然语言理解的语音识别后文本处理

将全信息(自然语言的语法、语义和语用信息)自然语言理解应用到可靠语音功能的研究中，提出在语音识别之后增加一个全信息自然语言理解的文本后处理功能，通过深入分析词语的语法信息（位置、识别稳定度）、语义信息（语句目标含义）和语用信息（语境和谐度）对语音识别结果语句进行评估、检错和纠错，最终输出优化语句。实验结果表明，增加全信息自然语言理解后处理可使识别正确率获得较好改善。     

基于全信息自然语言理解的语音识别后文本处理

将全信息(自然语言的语法、语义和语用信息)自然语言理解应用到可靠语音功能的研究中，提出在语音识别之后增加一个全信息自然语言理解的文本后处理功能，通过深入分析词语的语法信息（位置、识别稳定度）、语义信息（语句目标含义）和语用信息（语境和谐度）对语音识别结果语句进行评估、检错和纠错，最终输出优化语句。实验结果表明，增加全信息自然语言理解后处理可使识别正确率获得较好改善。