深度学习算法在问句意图分类中的应用研究

在聊天机器人多轮对话中如何根据上下文理解用户的意图是多轮交互中的一个重点问题，也是一个难点问题。现有的问句理解方法大多是针对单句的，且侧重于某种句式结构的理解。如何根据上下文语境对当前用户的意图进行识别，而不仅仅是针对单轮进行一个个分析，使得对话在一个连续的语境下具备细粒度的理解能力，是一个亟待解决的问题。针对以上问题，提出了一种基于深度学习的自然语言问句多意图分类方法，其中涉及到的用户意图包含闲聊类、音乐类、新闻类、算术类、餐饮类、订票类、天气类、服务类等13类。首先使用自然语言处理的相关技术对多轮对话进行处理分析，识别出其中的关键词，然后使用深度学习方法和分层分类技术构建了二分类和多分类深度学习模型，学习上下文语境和语义关系，共同对用户意图进行识别。通过实验证明了构建的深度学习模型对用户意图识别的准确率分别为94.81%、93.49%。因此，所提方法基本能够解决自然语言问句意图识别的问题。     

聊天机器人中用户就医意图识别方法

传统的聊天机器人中用户意图识别一般采用基于模板匹配或人工特征集合等方法,针对其费时费力而且扩展性不强的问题,并结合医疗领域聊天文本的特点,提出了基于短文本主题模型（BTM）和双向门控循环单元（BiGRU）的意图识别模型。该混合模型将用户就医意图识别看作分类问题,使用主题特征,首先通过BTM对用户聊天文本逐句进行主题挖掘并量化,然后送入BiGRU进行完整上下文学习得到连续语句最终表示,最后通过分类完成用户就医意图识别。对爬取的语料进行实验,BTM-BiGRU方法明显优于传统的支持向量机（SVM）等方法,其F值更是高出目前较好的卷积长短期记忆组合神经网络（CNN-LSTM）近1.5个百分点。实验结果表明,在本任务上该混合模型重点考虑研究对象的特点,能有效提高意图识别的准确率。     

基于小生境遗传算法的分类优化方法

对于多分类问题,大多是经二分类器组合进行训练的,在分类类别多、特征维数高时,存在识别准确率不高和训练速度较慢的问题。将超球支持向量机应用到多类问题,为每个类建立一个超球体模型,通过多个超球体划分样本空间。采用改进的基于排挤的小生境遗传算法(improved crowding niche genetic algorithm,ICNGA)进行特征选择,为不同的目标类别寻找最优的特征子集,优化超球支持向量机的输入。利用UCI标准数据集的数值实验表明,在分类数据类别较多、特征维数较高时,经过ICNGA特征选择之后的多超球支持向量机的识别准确度更好,非常适合解决类别数多、特征维数高的分类问题。     

基于层叠CRFs模型的句子褒贬度分析研究

本文研究句子的褒贬度分析问题。针对传统的基于分类的句子褒贬度分析方法不能考虑上下文信息的问题,以及基于单层模型的句子褒贬度分类方法中的由于标记冗余引起的分类精度不高问题,本文提出了基于层叠式CRFs模型的句子褒贬度分析方法。该方法利用多个CRFs模型从粗到细分步地判断句子的褒贬类别及其褒贬强度,其中层叠式框架可以考虑句子褒贬类别与褒贬强度类别之间的层级冗余关系,而CRFs模型可以利用上下文信息对于句子褒贬类别和强度的影响。该方法在有效识别句子褒贬度的同时,提高了句子褒贬强度判别的准确度。实验证明相对于传统分类方法和单层CRFs模型,本文的方法取得了良好的效果。     

基于多分类和ResNet的不良图片识别框架

针对实际应用中色情图片的复杂多样性问题,提出一种基于多分类和深度残差网络（ResNet）的不良图片识别框架.不同于已有的方法将色情图片识别作为二分类问题,该方法基于多样性特征将色情图片分为7个更细粒度的类别,并将正常图片分为是否包含人物2个类别,通过50层ResNet模型进行分类,再按照阈值计算是否属于不良图片.为了减少训练时间和挖掘优质特征,采用一种反馈修正的训练策略.提出一种单边滑动窗口的预处理方法以解决图片不同尺度的影响问题.测试结果表明,该方法在时间效率和识别准确率上效果良好.     

基于多分类LSTM的浏览器指纹识别方法

现有基于机器学习的方法将浏览器指纹的用户识别处理成二分类问题,但该处理方式信息损失较多且识别效率低下。为解决上述问题,提出基于多分类长短期记忆网络(Long Short-Term Memory, LSTM)的浏览器指纹识别方法。其基本思路是将同一用户的浏览器指纹数据处理成时间序列,利用多分类LSTM模型对其进行分类,从而实现用户识别。实验结果表明,该方法比基于二分类的指纹识别方法有更高的准确率和更快的识别速度。     

基于多特征和深度神经网络的维吾尔文情感分类

针对传统机器学习的情感分类方法存在长距离依赖问题、深度学习存在忽略情感词库的弊端,提出了一种基于注意力机制与双向长短记忆网络和卷积神经网络模型相结合的维吾尔文情感分类方法。将多特征拼接向量作为双向长短记忆网络的输入捕获文本上下文信息,使用注意力机制和卷积网络获取文本隐藏情感特征信息,有效增强了对文本情感语义的捕获能力。实验结果表明,该方法在二分类和五分类情感数据集上的◢F◣▼1▽值相比于机器学习方法分别提高了5.59%和7.73%。     

融合多类特征的Web查询意图识别

识别搜索引擎用户的查询意图在信息检索领域是备受关注的研究内容。文中提出一种融合多类特征识别Web查询意图的方法。将Web查询意图识别作为一个分类问题,并从不同类型的资源包括查询文本、搜索引擎返回内容及Web查询日志中抽取出有效的分类特征。在人工标注的真实Web查询语料上采用文中方法进行查询意图识别实验,实验结果显示文中采用的各类特征对于提高查询意图识别的效果皆有一定帮助,综合使用这些特征进行查询意图识别,88。5%的测试查询获得准确的意图识别结果。     

基于网格LSTM混合算法的地质领域用户意图识别

针对传统基于模板匹配、关键词共现、人工特征集合等方法的问答机器人存在用户意图识别耗时、费力且扩展性不强的问题,本文结合地质领域文献中结构化知识问答的复杂特点,使用了基于网格记忆网络(LSTM+CRF+Lattice)与基于卷积神经网络(CNN)融合的优化模型.该模型将用户询问意图识别看作分类问题,首先使用网格记忆网络进行文本信息的命名实体识别及关系抽取,然后使用卷积神经网络将用户输入的其他文本信息进行属性分类,接着将分类结果转化为满足知识图谱查询的结构化方式,最终实现地质知识属性映射的用户询问意图识别.实验证明,在考虑地质知识特征的处理中,对于准确率的提升起到了极大帮助.     

一种子空间聚类算法在多标签文本分类中应用

随着社交网络的兴起,文本数据不断增加,这使得自动化文本分类技术成为研究的热点。单个文本可能同时带有多个类别标签,该特点直接导致传统的二分类或多类别分类技术在多标签文本数据上性能不佳。针对这一不足,提出一种基于半监督杂质的子空间聚类分析算法SCA(subspace clustering analysis),该算法分析在多标签环境下每一对分类和标签之间存在的潜在相关性。并设计一种对分类文本数据更有效的多标签分类器。最后,实验对两个多标签文本集进行分析,结果表明该算法优于当前采用的其他文本分类方法。     

基于上下文信息的口语意图检测方法

近年来,随着人工智能的发展与智能设备的普及,人机智能对话技术得到了广泛的关注。口语语义理解是口语对话系统中的一项重要任务,而口语意图检测是口语语义理解中的关键环节。由于多轮对话中存在语义缺失、框架表示以及意图转换等复杂的语言现象,因此面向多轮对话的意图检测任务十分具有挑战性。为了解决上述难题,文中提出了基于门控机制的信息共享网络,充分利用了多轮对话中的上下文信息来提升检测性能。具体而言,首先结合字音特征构建当前轮文本和上下文文本的初始表示,以减小语音识别错误对语义表示的影响;其次,使用基于层级化注意力机制的语义编码器得到当前轮和上下文文本的深层语义表示,包含由字到句再到多轮文本的多级语义信息;最后,通过在多任务学习框架中引入门控机制来构建基于门控机制的信息共享网络,使用上下文语义信息辅助当前轮文本的意图检测。实验结果表明,所提方法能够高效地利用上下文信息来提升口语意图检测效果,在全国知识图谱与语义计算大会(CCKS2018)技术评测任务2的数据集上达到了88.1%的准确率(Acc值)和88.0%的综合正确率(F1值),相比于已有的方法显著提升了性能。     

融合敏感词规则和字符级RCNN模型的用户意图识别

用户意图识别是基于用户对话用语识别用户的真实对话意图,是人机对话研究中的一项关键任务。针对现有用户意图识别方法的不足,提出融合敏感词规则和字符级RCNN模型的用户意图识别方法。构建敏感句子与敏感词词典,并通过规则及相似度匹配策略对特征明显的对话进行意图识别。针对类别特征不明显的对话提出深层语义分类模型,该模型以单字符串作为输入序列,利用RCNN模型构建意图分类框架,既可以避免分词结果不准确带来的错误传导问题,同时利用字符的分布向量表示方法还可以获取句子的深层语义信息。实验结果表明,该方法在两个数据集上都取得了较好的结果,明显优于传统的意图识别方法。     

中文文本的关键词自动抽取和模糊分类

本文提出了中文文本分类的两种模糊方法,一种基于模糊集间的语义距离,一种基于本文中提出的‘模糊分类网络’。两者都必须首先从文本中抽取关键词集合,本文给出了一种主要采用统计方法结合受限自然语言理解技术的模糊关键词集合提取方法,它与模糊分类方法结合,可望达到文本信息的自动分类。所提出的方法同样适合于模式识别之类问题的解决。     

基于大数据和深度学习的语音识别研究

近年来,现代信息技术进入高速发展的阶段,新的研究成果出现的同时也带来了新的难题和挑战,其中,对人工智能的研究应用到了人们生活和生产的各个方面,给社会生活带来了巨大的改变。在人工智能识别中的语音识别研究一直是重点研究项目,虽然基于人工神经网络引入声学理论的研究,让语音识别智能化的效率和准确率大大提高,但是随着对语音识别需求的增多,仍然出现了一些不足。因此需要基于大数据和深度学习,对语音识别进行改善和深入研究,本文通过探讨语言智能识别的现状,用基于大数据和深度学习的方法,改善语音识别中的语音提取,声音模拟和识别判断等,有效提高语音识别技术的发展。     

深度多模态融合服装风格检索

目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet（residual network）进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM（long short-term memory）设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。     

融合RoBERTa和特征提取的政务热线工单分类

政务热线承接了海量市民诉求,人工对工单分类耗时费力。现有工单分类方法大多基于机器学习或单一神经网络模型,难以有效理解上下文语义信息,且文本特征提取不全面。针对这一问题,本文提出一种融合RoBERTa和特征提取的政务热线工单分类方法。该方法首先通过基于RoBERTa预训练语言模型的语义编码层获取政务热线工单文本中的语义表征向量,然后通过由CNN-BiGRU-Self-Attention定义的特征提取层获取工单文本的局部特征和全局特征,并对全局特征进行处理以凸显重要性高的语义特征,最后将融合后的特征向量输入分类器来完成工单分类。实验结果表明,相较于其他基线分类方法,本文提出的方法能够取得更好的工单分类效果。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题:模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了 一种基于多通道特征和自注意力的双向LSTM情感分类方法(MFSA-BiLSTM),该模型对情感分析任务中现有的语言知识和情感资源进行...     

多特征文本蕴涵识别研究

文本蕴涵识别是解决自然语言中存在的同义异形问题的有效途径。虽然国内外学者已经提出了很多文本蕴涵识别模型,但影响文本蕴涵识别的因素错综复杂,识别准确率普遍不高。该文把文本蕴涵识别看作二元分类问题,抽取词汇特征、句法依存关系特征及FrameNet语义知识库特征的多种特征构造特征矩阵,训练SVM分类器,实现文本蕴涵识别。该方法在国际文本蕴涵识别技术评测RTE3的测试集上进行测试,蕴涵正例识别准确率达到了78.1%,高于RTE3评测2-ways的最高结果。     

一种基于聚类与分类结合的汉语隐喻短语识别方法

隐喻识别是自然语言处理的一个重要研究分支。目前人们越来越清楚地认识到隐喻在思维及语言中所处的重要地位。本研究在前人工作的实验和考察基础上,发现基于分类器来识别隐喻的方法存在数据稀疏的问题,即当训练语料中缺少需要识别的源域词数据时,分类的结果将不会太好。应对数据稀疏问题,该文提出了一种基于聚类与分类结合的隐喻短语获取方法。该方法将包含源域词S的短语进行聚类。将聚类的结果作为分类的一类特征。实验表明,使用聚类产生的特征训练出来的分类器,不仅能很好地识别训练语料中存在源域词数据的情况,也能很好地识别训练语料中缺少源域词数据的情况,具有很高的召回率。