基于知识嵌入式预训练语言模型的文本分类方法研究

为解决一般预训练语言表示模型在语义理解和推理过程中存在不足的问题,提出了一种知识嵌入式预训练语言模型,使用知识嵌入和预训练语言表示的统一模型将事实知识集成到增强的语言表示模型中,充分利用知识图谱中包含的丰富的结构化知识事实来增强文本表示,从而提高预训练模型的效果。该模型利用大规模文本语料库和知识图谱进行训练优化,在THUCNews数据集上的文本分类的准确率和召回率分别达到了96.51%和90.36%,优于文本循环神经网络、基于变换器的双向编码器表征、增强语言表示模型的实验结果,验证了经知识图谱优化后的预训练语言模型在文本分类任务上的优越性。     

基于ERC Roberta的提示学习实现对话情感识别

使用Transformer架构的预训练模型进行对话情感识别时，用传统的微调分类方法难以充分考虑对话文本的语序和结构特征。而且情感对话分类任务与预训练任务不匹配。而使用提示学习方法可通过重建下游任务缩小情感对话分类任务与预训练任务之间的差距。因此，提出一种将提示学习与Roberta模型相融合的对话情感识别(PERC Roberta)模型。利用该模型通过文本掩码预测任务学习对话的语序和结构特征；然后通过提示学习重建下游任务，进一步激发学习到的丰富对话知识。将该模型在2个对话情感识别公共数据集上进行了实验，实验结果表明，PERC Roberta模型比其他模型具有更好的分类效果。此外，消融实验的对比结果也证明了所提模型的有效性。     

基于BERT语义分析和CNN的短文本分类研究

针对短文本数据量较小情况下CNN模型无法获得较好文本分类特征造成文本分类精度不高的问题,提出一种结合BERT语义分析和CNN的短文本分类模型,通过对BERT预训练模型进行微调获得文本向量表示,文本向量能够体现文本特征的全局语义关系,并将文本向量表示数据输入CNN模型进行分类模型训练,获得最终的文本分类特征实现分类。此方法能够实现短文本分类精度的有效提升。     

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(Bi GRU),将训练后的词向量作为Bi GRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94. 32%,召回率为94. 12%,F1值为0. 942 2,在中文文本分类任务中具有良好的性能。     

面向事件检测的预训练主动学习模型

深度学习在事件检测任务上取得了显著的成果,但模型严重依赖于大量的标注数据. 由于事件结构化的信息和丰富的标签表示,使得获取注释的成本很高,难以大量获得. 针对事件检测任务,为了提高语料标注效率,减少训练过程所需的标注样本数量,提出一种联合主动学习和预训练模型的事件检测模型. 针对主动学习模型存在的冷启动问题,设计了基于融合不确定性的特殊样本选择策略,估计样本在微调下游事件检测任务方面的潜在贡献. 一方面,结合预训练模型从原始任务中带来的丰富的语义信息,避免了重新设计网络结构或从零开始训练; 另一方面,利用主动学习选择信息丰富的样本能更好地微调预训练模型,减少数据标注成本. 在ACE 2005语料上进行数值实验验证,结果证明了所提出的EDPAL算法的有效性.     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

BOW-HOG特征图像分类

为了减少图像尺寸对提取特征的影响,同时移除特征向量中的冗余信息,将词汇袋模型(BOW)与梯度方向直方图(HOG)特征相结合,提出一种基于BOW-HOG的特征描述子用于图像分类.将图像划分为不同的子区域,对梯度幅值较大的子区域提取HOG特征.用BOW模型对子区域HOG特征编码,构建原始图像上维度一致的特征向量.将特征向量输入训练好的分类器,完成图像分类任务.将BOW-HOG特征描述子在不同的图像分类任务上进行试验,包括图像文本分类、图像场景分类.本实验的文本分类正确率为0.813,场景分类正确率为0.826,优于传统基于HOG特征的方法,表明了基于BOW-HOG特征图像分类方法的可行性、有效性.     

基于ALBERT的中文医疗病历命名实体识别

医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑. 提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型. 首先,采用人工标注方式扩展样本数据集,结合ALBERT模型对数据集进行微调; 其次,采用双向长短记忆网络(BiLSTM)提取文本的全局特征; 最后,基于条件随机场模型(CRF)命名实体的序列标记. 在标准数据集上的实验结果表明,该方法进一步提高了医疗文本命名识别精度,减少了时间开销.     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

N步长距离视觉语言模型的图像分类方法

传统的视觉语言模型（visual language model,VLM）只考虑了相邻视觉单词之间的空间位置关系,不考虑不相邻视觉单词之间的贡献.针对传统视觉语言模型的不足,提出了一种N步长距离视觉语言模型,并将其用于图像分类.该方法首先给出了相隔N个视觉单词的二元依赖关系,然后训练长距离视觉语言模型,最后通过不同的权重分配方式进行融合,得到3种不同的图像分类方法.实验比较了不同参数和分类方法对图像分类的影响,结果表明,文章方法能在一定程度上改善视觉语言模型对图像表达的准确度,进而提高图像分类的准确率.     

基于适应度的多机器人任务分配策略

为提高多机器人任务分配方法的通用性和实用性，提出了一种分布式多机器人协作任务分配策略.根据多机器人任务特点，提出了多机器人任务分配必须满足的4个基本目标，并由目标制定相应的4条任务选择策略.按形式化思想为子任务建立了一个通用模型，模型包含了与任务选择相关的子任务基本属性和运行状态.结合子任务模型和任务选择策略，建立了一个子任务适应度模型，包含静态适应度、进度适应度、资源适应度和外部适应度4个分量，机器人根据适应度大小来选择子任务.仿真实验表明，应用该任务分配策略的协作异构多机器人系统对一类搬运任务具有很好的通用性，当任务发生变化和机器人发生故障时，机器人能够正确、及时地调整子任务，系统具有很好的实时性、灵活性和鲁棒性.系统能够实现机器人到子任务的最优映射，与其他任务分配方法相比明显缩短了任务执行时间.     

基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

一种独立任务调度问题的相对量化模型

在分布式处理领域,独立任务调度问题是一个NP难题.现有各种调度模型普遍采用基于运行时间的任务量化方式,这使得异构系统调度问题较同构系统更为复杂,因为异构系统中同一任务在不同节点上的运行时间不等.该文提出了一种独立任务调度问题的相对量化模型,该模型采用一种相对量化方案来量化任务的载荷量和计算节点的负载能力及负载状况.基于该模型,可用LPT、AI之类的同构调度算法解决异构调度问题,从而使异构调度问题的复杂度降到与同构调度问题相当.理论分析与实验研究证明了新模型的有效性和良好的工程实用性.     

面向多核的时间帧加权公平调度算法

多核系统在移动终端、多媒体设备上的广泛应用对于多核系统的调度提出了新的要求,由于这些多核设备中大量的周期性与实时动态任务的执行,使得传统的Pfair和ERfair等经典算法产生了大量的任务迁移,同时对于动态任务调度并不能提供良好的支持。因此,在Pfair经典调度算法的基础上,结合EDF等局部调度算法,以时间帧的模式轮转多任务的周期执行,并采用处理器时间帧间的任务固定来降低任务的迁移率。仿真实验表明,在对任务调度公平性影响很小的情况下,大大降低了任务的迁移率并能更好的处理动态任务,具有更高的效率和更为广泛的使用范围。     

贝叶斯文本分类中特征词缺失的补偿策略

为了解决朴素贝叶斯分类器在处理文本分类任务时,往往存在的特征词缺失问题,即由于语料库中的词语出现分布情况遵循Zipf定律,仅依靠简单的增加训练语料方式难以解决这种因数据稀疏而引发的特征词缺失问题.引入统计语言模型中的数据平滑算法,通过从已出现词中"折扣"出一定的概率再分配到未出现词中去,来计算缺失特征词的补偿概率,以此克服数据稀疏问题带来的影响.评测数据在去掉停用词的分类过程开放测试中,引入Good-Turing算法的分类性能比Laplace原则提高了3.05%,比Lidstone方法提高1.00%.而在交叉熵选择特征词的算法中,增加Good-Turing的贝叶斯分类方法可比最大熵分类性能高1.95%.通过这种数据平滑的算法,有助于克服因数据稀疏而引发的特征词缺失问题.     

实时系统非周期任务的可预测调度研究

提出了一种实时系统任务模型 ,分析了该模型中周期和非周期任务可调度的条件 ,并给出了一种强实时非周期任务的可预测调度算法。该算法按照 RMS算法的原则统一调度系统任务 ,保证系统周期和非周期任务满足各自的时限约束 ,实现了强实时非周期任务的可预测调度     

基于预训练语言模型的中医症状标准化方法

为了解决中医症状描述词的异名同义、一对多的问题,提出了一种基于预训练语言模型的2阶段症状标准化框架：第1阶段,生成候选标准症状词,参考中医症状词的定义与分类,利用多标签分类思想对原始症状词进行语义划分,进而得到相应语义标签下的候选标准症状词;第2阶段,对候选标准症状词进行排序,使用匹配模型对第1阶段得到的候选标准症状词集进行评分与排序,同时用策略对结果进行二次召回以提高症状标准化框架的性能,由此得到最终的标准化结果。实验结果表明,提出的症状标准化方法与传统方法相比能够更有效地处理症状标准化的问题。通过对比分析不同预训练语言模型在症状标准化任务上的性能,进一步说明了所提框架和策略的有效性。     

基于BERT模型的安全生产事故多标签文本分类

结合安全生产事故案例文本特点,利用自然语言处理（NLP）技术对安全生产事故分类,基于转换器的双向编码表征（BERT）模型利用“抽取+生成”相结合的方式获得文本摘要,再通过迁移学习训练提升模型性能,并利用分组分类算法对文本的52个标签进行多标签分类,获得较好的分类效果,为安全生产监管、事故隐患的排查和分析奠定基础。     

面向可变架构云计算的任务映射方法

为基于主动认知重构计算的可变结构云计算,提供一个能平衡任务和资源均衡收益的任务映射算法,为主动重构提供一个重构评价依据。形式化描述了层次参数化任务流图和异构资源结构模型,在此基础之上提出了基于模糊化效用函数的二人非零和博弈的任务映射算法。实验表明,该方法针对具体应用、环境、运行状况等任务和系统资源参数,以Makespan、资源负载等为测试指标,取得了良好的测试结果,实现了应用和系统的均衡优化目标。