基于概率推理的入侵意图识别研究

攻击者的入侵行为背后往往蕴含着攻击者的目标和意图,据此提出了入侵意图识别的层次化模型。为了处理网络环境中的不确定性信息,提出了基于概率推理的入侵意图识别算法,并在此基础上预测攻击者的后续攻击规划和目标,从而起到提前预警的作用。根据网络安全事件、目标和意图之间的因果关系建立的贝叶斯网络能够描述和处理并发意图识别问题。试验证明了该方法的可行性和有效性。     

人机对话系统中意图识别方法综述

口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统的机器学习方法无法理解用户话语的深层语义信息,主要对近些年应用在意图识别研究方面的深度学习方法进行分析、比较和总结,进一步思考如何将深度学习模型应用到多意图识别任务中,从而推动基于深度神经网络的多意图识别方法的研究。     

基于胶囊网络的对抗判别域适应算法

关于域适应算法的研究显示了对抗性学习填补源域和目标域间差异的有效性,但仍存在其局限性,即仅从2个域抽取的样本不足以保证大部分潜在空间的域不变性.注意到胶囊网络(capsule network, CapsNet)在捕获样本的表征不变性上具有较强的能力,通过结合二者得到了一种新的域适应学习算法.首先,提出了胶囊层卷积算法,并结合残差结构,使得训练更深的胶囊网络成为可能.实验表明,这种新的胶囊网络架构能够在捕获浅层特征时取得更佳的效果.其次,传统的对抗判别域适应算法使用的卷积基容易不加分辨地模糊源域与目标域的界限,进而造成判别效果的下降.因此,在VAE-GAN(variational auto-encoder, generative adversarial networks)的启发下,通过引入重建网络作为强约束,巧妙地利用了胶囊网络可调整为自编码器的特性,使得对抗判别域适应网络能够在卷积基进行迁移时,克服传统对抗判别域适应算法易发生模式崩塌的固有缺陷,保证判别器对源域与目标域内样本共性表征的敏感度.实验表明,该方法可以在不同复杂程度的域适应任务中取得较好的性能,并在关键标准数据集上取得了最先进的成果.     

基于双通道注意力网络的脑电图意图识别

为了正确地解释大脑活动并对脑电图信号数据进行有效识别,提出一种双通道注意力机制模型,对原始的脑电图信号数据进行分类,从而识别用户的意图.对于公共数据集Eegmmidb,模型在5项识别任务上的平均识别率为99.34％.实验结果表明:所提模型优于现有方法.     

融合意图信息的小样本多意图识别

为解决匮乏资源下多意图识别语义、语境信息易受到不相关意图信息干扰的问题,该文提出一种基于原型网络在语义上嵌入意图信息的多意图识别方法。首先设计意图融合特征提取机制,通过结合话语和意图信息构建具有区分度的支持集、查询句和意图集表征,缓解短话语往往遭遇意图相关信息的语义混淆的问题;其次设计原型意图分离机制,计算所属意图话语对该意图原型的权重信息,联合意图权重得到分离式意图原型表征,降低支持集和查询句中不相关意图带来的噪声。实现了在低资源多意图场景下捕获高质量的原型表征。实验结果表明,该方法可有效提高小样本多意图识别的效果。     

基于网格LSTM混合算法的地质领域用户意图识别

针对传统基于模板匹配、关键词共现、人工特征集合等方法的问答机器人存在用户意图识别耗时、费力且扩展性不强的问题,本文结合地质领域文献中结构化知识问答的复杂特点,使用了基于网格记忆网络(LSTM+CRF+Lattice)与基于卷积神经网络(CNN)融合的优化模型.该模型将用户询问意图识别看作分类问题,首先使用网格记忆网络进行文本信息的命名实体识别及关系抽取,然后使用卷积神经网络将用户输入的其他文本信息进行属性分类,接着将分类结果转化为满足知识图谱查询的结构化方式,最终实现地质知识属性映射的用户询问意图识别.实验证明,在考虑地质知识特征的处理中,对于准确率的提升起到了极大帮助.     

基于双分支特征提取和自适应胶囊网络的DGA域名检测方法

面向域名生成算法(DGA,domain generation algorithm)的域名检测方法普遍具有特征提取能力弱、特征信息压缩比高等特点,这导致特征信息丢失、特征结构破坏以及域名检测效果较差等诸多不足.针对上述问题,提出一种基于双分支特征提取和自适应胶囊网络的DGA域名检测方法.首先,通过样本清洗和字典构建重构原始样本并生成重构样本集.其次,通过双分支特征提取网络处理重构样本,在其中利用切片金字塔网络提取域名局部特征,利用Transformer提取域名全局特征,并利用轻量级注意力融合不同层次的域名特征.然后,利用自适应胶囊网络计算域名特征图的重要度系数,将域名文本特征转换为向量域名特征,并通过特征转移计算基于文本特征的域名分类概率,同时利用多层感知机处理域名统计特征,以此计算基于统计特征的域名分类概率.最后,通过合并得到的两种不同视角的域名分类概率进行域名检测.大量的实验表明,本文所提方法在DGA域名检测以及DGA域名家族检测分类方面均取得了当前领先的检测效果,其中,在DGA域名检测中F1分数提升了0.76%~5.57%,在DGA域名家族检测分类中F1分数(宏平均)提升了1.79%~3.68%.     

基于神经网络纠正器的领域分词方法

提出了一种基于神经网络的中文分词方法,以提高分词系统向新领域迁移的适应性和灵活性。该文方法采用了对现有分词器分词结果进行纠正的思路。这种基于纠正的两阶段方法与分词模型解耦,避免了对源领域语料和分词器构建方式的依赖。然而现有的基于纠正的方法依赖于特征工程,无法自动适应不同领域。该文利用神经网络对纠正器进行建模,在无需手工设计特征的情况下即可实现领域适应。实验表明,与当前方法相比,该文方法在领域文本上具有更好的分词性能和鲁棒性,尤其在未登录词召回率方面提升显著。     

基于深度学习的域适应方法综述

域适应主要应对跨不同数据分布的相似任务决策问题。作为机器学习领域的一个新兴分支,域适应受到了众多的研究和关注。随着近年深度学习的兴起,深度学习和域适应相结合的深度域适应研究得到了更多的关注。尽管已有各种深度域适应方法被提出,却鲜有系统的综述工作发表。为此,本文重点对现有的深度域适应方法进行全面回顾、分析和总结,为相关研究人员提供借鉴和参考。本文主要贡献包括以下方面：首先,对域适应的背景、概念和应用领域进行概括总结。其次,根据模型是否涉及对抗训练机制,将现有深度域适应划分为深度对抗域适应和深度非对抗域适应两大类方法,并逐类回顾和分析。然后,对常用的实验基准数据集进行归类和总结。最后,对现有深度域适应工作存在的问题和不足进行了归纳分析,并讨论了将来的可行研究方向。     

部分域适应研究综述

域适应通过将源域知识迁移到任务相似的目标域,旨在辅助后者更好地学习.当目标域的数据标签集为源域标签的子集时,该类场景的域适应称为部分或偏域适应(partial domain adaption, PDA).相比一般的域适应,尽管PDA更具普遍性,但也更具挑战性,相关研究较少,尤其缺少系统的综述.为此,旨在弥补这一欠缺,对现有PDA方法进行全面回顾、分析和总结,为相关社区提供主题研究概貌和参考.首先针对PDA背景、概念和应用领域进行概况总结.其次,根据方法的建模特点, PDA被划分为促进正迁移和抑制负迁移两大类,进而分别作出回顾和分析.然后,对常用的实验基准数据集进行归类和总结.最后,对现有PDA工作存在的问题进行了分析,并提出了其未来可能的发展方向.     

Source-Free Unsupervised Domain Adaptation with Sample Transport Learning

Unsupervised domain adaptation (UDA) has achieved great success in handling cross-domain machine learning applications.It typically benefits the model training of unlabeled target domain by leveraging knowledge from labeled source domain.For this purpose,the minimization of the marginal distribution divergence and conditional distribution divergence between the source and the target domain is widely adopted in existing work.Nevertheless,for the sake of privacy preservation,the source domain is usually not provided with training data but trained predictor (e.g.,classifier).This incurs the above studies infeasible because the marginal and conditional distributions of the source domain are incalculable.To this end,this article proposes a source-free UDA which jointly models domain adaptation and sample transport learning,namely Sample Transport Domain Adaptation (STDA).Specifically,STDA constructs the pseudo source domain according to the aggregated decision boundaries of multiple source classifiers made on the target domain.Then,it refines the pseudo source domain by augmenting it through transporting those target samples with high confidence,and consequently generates labels for the target domain.We train the STDA model by performing domain adaptation with sample transport between the above steps in alternating manner,and eventually achieve knowledge adaptation to the target domain and attain confident labels for it.Finally,evaluation results have validated effectiveness and superiority of the proposed method.     

基于BLSTM-CNN-CRF模型的槽填充与意图识别

口语语言理解（SLU）中的槽填充和意图识别任务通常是分别进行建模，忽略了任务之间的关联性。基于深度学习优势提出一种BLSTM-CNN-CRF学习框架，为槽填充和意图识别任务构建联合模型。双向长短期记忆网络（BLSTM）对全句的单词标签进行标注，卷积神经网络（CNN）用以提取全句的语义特征，条件随机场（CRF）通过解码单词标签与语义特征，获得全句的最佳序列标签。在航空旅行信息系统（ATIS）数据集上的实验表明，联合模型在不依赖于任何人工特征的情况下获得较高性能。     

领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效.领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明...     

基于模糊规则学习的无监督异构领域自适应

异构领域自适应是一种借助源域知识为语义相关但特征空间不同的目标域建模的技术.现有的异构领域自适应方法大多属于半监督方法,这些方法要求目标域中存在一部分已标记样本,然而这种数据集在很多异构领域自适应任务中是稀缺的.为了解决上述问题,提出了一种新的基于模糊规则学习的无监督异构领域自适应算法.一方面,该方法基于TSK模糊系统...