基于TextCNN模型的文本意图识别算法改进研究

文本分类算法常被用于自然语言处理领域,该算法可帮助系统理解用户输入的文本,准确判断用户的意图或需求,以便提供相应的回答或服务。作者在TextCNN文本分类模型的基础上融入情绪信息、词向量以及语句特征,提出一种新的意图识别模型emoBERT-TextCNN,该模型可增强意图分析与预测的准确性。以汽车行业和电子消费品两个独立数据集为例,将此模型与其他多种分类模型进行对比实验,实验结果表明文中所提出的分类模型,意图预测精确率均在80%以上,与不包含情绪信息的分类模型相比,其F1值分别提升了1.54%和1.03%,证明该模型能有效提高文本分类的准确性,且融入情绪信息能加强意图识别的强度。     

基于文本匹配的电商对话系统设计

文本匹配是自然语言处理中解决自动对话问题的关键技术,本文设计了基于表示的文本匹配模型(DSSM模型),将带有记忆功能的循环神经网络(LSTM)引入模型之中,使得模型具有更好的泛化性能。使用百度开源数据集训练出来的网络,文本匹配程度达到76.6%。将训练好的网络应用到电商对话系统中性能表现良好,具有一定的鲁棒性能和实际意义。     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

人工智能文本生成的进展与挑战（英文）

文本生成是人工智能和自然语言处理的重要研究领域,为人工智能生成内容的快速发展提供了关键技术支撑。该任务基于自然语言处理、机器学习和深度学习等技术,通过训练模型学习语言规则,自动生成符合语法和语义要求的文本。本文对文本生成的主要研究进展进行梳理和系统性总结,对近几年文本生成相关文献进行综合调研,并详细介绍相关技术模型。此外,针对典型文本生成应用系统进行介绍。最后,对人工智能文本生成的挑战和未来研究方向进行分析和展望。得出以下结论,提高生成文本的质量、数量、交互性和适应性有助于从根本上推动人工智能文本生成的发展。     

基于双手键盘的虚拟现实文本输入

文字输入是虚拟现实(VR)环境中最常见的交互行为,目前主流的文字输入是通过激光瞄准的方式实现的,然而,现有方法存在诸多弊端,例如效率低、抖动大、扣动扳机容易误触发等,并不能满足VR环境下频繁输入词语的需求。因此,本文提出一种VR环境新型文字输入方式。首先,对键盘进行分区,使用手柄选择字符所在区域,辅以单词消歧算法,实现以单词为单位进行文本输入;其次,对使用者的点击坐标进行聚类分析,做一键多词处理;最后,设计出3种符合用户习惯的键盘布局,并确定出最优的布局。实验结果表明:利用该文本输入方式的最优布局速度高达13.44 WPM(Words per minute),准确率高达92.26%,相比于其他输入方式有较大提高。     

人工智能的发展及应用

为了更好地了解人工智能最新发展状况,从多个方面对人工智能进行分析和介绍.首先,简要介绍人工智能的发展历程,梳理人工智能发展历程中的重要事件;其次,概括人工智能的知识体系,介绍当下人工智能的热门技术领域,如计算机视觉、自然语言处理等;然后,分析人工智能在工业、医疗、金融、安防等领域的应用现状;最后,结合近几年我国人工智能发展现状,介绍我国人工智能的发展趋势,并进一步说明发展人工智能对我国科技发展的远大意义.     

基于关键实体和文本摘要多特征融合的话题匹配算法

随着网络的快速普及,互联网新闻的数量剧增,在这种情况下,如何有效地找到更加符合特定主题的相关报道成为一个迫切需要解决的问题。针对这一问题,提出了基于关键实体和文本摘要多特征融合的话题匹配算法。首先,使用W²NER模型进行命名实体识别,通过词频、TF-IDF、词的合群性、词词相似度和词句相似度特征,提取关键的实体。其次,使用Pegasus模型进行文本摘要,通过BiLSTM融合关键实体特征与文本摘要特征,得到新闻文本的深层次语义特征。再次,使用交叉注意力机制对待匹配新闻进行特征交互,增进彼此的联系。最后,融合新闻文本的深层次语义特征和文本交互特征,共同参与文本话题匹配的判断。在来自于搜狐的真实数据上进行了不同算法的对比实验,结果表明：所提算法准确率和精确率均与其他算法效果相近,召回率和F1值均有所提升。     

基于深度学习的法院信息文本分类

为解决在法院数据信息化过程中,海量的法院文书存在缺乏自动管理分类的问题,提出一种基于字符级卷积神经网络的文本分类模型。模型通过卷积神经网络进行特征提取,能够精确有效地解决文本分类问题。实验结果证明,该模型可以实现在测试集上准确率99.67%的分类,且训练用时只有常用循环神经网络算法的50%。     

基于LSTM的中文文本多分类应用研究

随着互联网的发展,网上购物成为主流消费方式,随之产生了大量的商品文本数据,需要对商品进行准确而高效的分类。利用机器学习进行文本分类需要进行复杂的人工设计特征和提取特征过程。随着深度学习领域的发展,基于深度学习的文本分类技术效果显著。设计了一个基于长短期记忆网络（LSTM）的中文文本多分类器。首先对数据进行预处理,利用Tokenizer分词技术将文本处理为计算机可理解的词向量传入LSTM网络,并加入Dropout算法以防止过拟合得出最终的分类模型。将该模型与逻辑回归、多项式朴素贝叶斯、线性支持向量机、随机森林模型进行对比发现,基于LSTM的中文文本多分类方法具有较好的效果。     

基于多特征的中文文本蕴含识别

提出了一种基于多特征的中文文本蕴含识别方法,首先对文本进行预处理、中文分词、词性标注、命名实体识别、依存分析等处理;然后提取字符串特征、句法特征、语义特征等,使用贝叶斯逻辑回归模型进行预测;最后再使用规则进行修正,得到最终的识别结果.该方法在2014年RITE-VAL 评测任务的CS 数据上的MacroF1为0.625,超过目前最好的研究现状(MacroF1：0.615, BUPTTeam-CS-SVBC-05).     

基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

基于半CRF模型的百科全书文本段落划分

介绍了基于半条件随机域(semi-Markov conditional random fields,简称semi-CRFs)模型的百科全书文本段落划分方法.为了克服单纯的HMM模型和CRF模型的段落类型重复问题,以经过整理的HMM模型状态的后验分布为基本依据,使用了基于词汇语义本体知识库的段落开始特征以及针对特定段落类型的提示性特征来进一步适应目标文本的特点.实验结果表明,该划分方法可以综合利用各种不同类型的信息,比较适合百科全书文本的段落结构,可以取得比单纯的HMM模型和CRF模型更好的性能.     

基于深度神经网络的蛋白质相互作用预测框架

为解决实验方法中结果存在较高假阳性率和假阴性率的问题,整合蛋白质特征数据,提出一种基于深度神经网络的蛋白质相互作用预测框架。提取蛋白质的GO语义相似性、序列相似性、蛋白质重要性以及亚细胞定位信息,得到低维度的输入数据。然后建立深度神经网络,进行预测。通过使用弃权技术,减少网络中复杂的互适应神经元,总体性能得到提高。预测框架在酿酒酵母蛋白质数据集上的准确率达到95.67%,精确度达到96.38%。实验结果表明:提取的特征数据较适合用于蛋白质互作的预测研究,且构建的基于深度神经网络的蛋白质相互作用预测框架具有出色的泛化性能,在多种数据上都能取得较好效果。     

基于语义分析的不良倾向文本的识别算法研究

分析了目前常用的不良倾向文本识别方法存在的困难和不足,设计了一种基于语义分析的不良倾向文本识别算法。该算法以语句为基本处理单元,采用依存句法获得句子的语义结构,结合How Net词汇褒贬倾向性判别,识别不良信息。实验结果表明,此算法能够较好地提高不良文本识别效率和准确率。     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

基于深度学习的中文标准文献语言模型

为解决中文标准文献的自然语言处理问题,对Hierarchical Log-Bilinear英文统计语言模型算法进行了改进,构建了适用于中文语言的模型。采用深度神经网络技术,将无监督学习与有监督学习相结合,利用多层受限玻尔兹曼机训练文本词向量,并将训练好的词向量输入到前馈神经网络进行有监督训练,完成对中文标准文献内容的机器学习。对100多万条标准题录数据进行训练的实验结果表明,该方法能有效提高语言模型的学习能力。     

一种基于进化BP神经网络的文本分类算法

提出并实现了一种结合BP神经网络和遗传算法的文本分类算法,根据遗传算法能够快速优化网络权重以及摆脱BP算法局部极点困扰的能力,提出一种改进的遗传算法确定网络拓扑结构和训练网络的方法．最后对设计的分类器进行了开放性测试,实验结果表明该分类器显著地提高了文本分类的查全率和查准率．     

基于文本挖掘技术的教育类文献主题识别方法研究

针对传统文本统计学抽样风险问题,采用文本挖掘技术提取相关文献中具有分析价值的信息,引入自然语言处理技术对文献信息进行主题词抽取和清洗,利用文本聚类结合知识图谱和数据可视化,为分析相关文献研究方向的现状、热点和发展趋势等提供依据。以教育类文献为例,通过研究表明,自然语言处理技术与聚类方法结合数据可视化可以为分析当前教育领域的研究热点和发展趋势提供有力的数据支撑。     

基于Web技术的航天文本分类系统研究与应用

海南发射场的海量文档缺乏有效的组织和管理,急需开发一种快速、有效的方法以实现文档的自动整理、归类。针对这一实际需求,基于Web技术和文本分类技术,通过Web服务器构建、训练文本数据收集、文本预处理、文本特征表示和分类模型训练,研发了一套服务器—客户端模式的航天文本分类系统。经测试,该分类系统在测试数据集上的准确率和召回率均达到90%以上,具有良好的分类性能。     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.