基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

任务型对话机器人的设计及其应用

基于Agent代理技术的对话机器人技术已经广泛地应用于电子商务、在线教育和医疗服务等领域.不同领域对话机器人的功能既具有相似性,又具有差异性.本文首先介绍了对话机器人和机器人的区别与联系,重点分析了功能性任务型对话机器人的发展、应用和实现方式,探讨了对话机器人功能实现的理论基础和关键技术.在此基础上系统地探讨了教育领域...     

基于人机协同的潜在意图检测模型

潜在意图检测旨在通过意图主体行为推理意图主体的隐式意图,从而在更高的层面理解意图主体潜在的真实意图.提出了一种多领域数据环境下人机协同的潜在意图检测模型和技术框架.该意图检测模型扩展了动态意图表示形式DIS,能够适应多领域数据和交互式推理的意图表示需要.通过定义交互原语,确定了人机协同交互的语言规范.通过功能框架的设计,提供了潜在意图检测的技术实现途径.     

基于对话约束的回复生成研究

现有的对话系统中存在着生成“好的”“我不知道”等无意义的安全回复问题。日常对话中,对话者通常围绕特定的主题进行讨论且每句话都有明显的情感和意图。因此该文提出了基于对话约束的回复生成模型,即在Seq2Seq模型的基础上,结合对对话的主题、情感、意图的识别。该方法对生成回复的主题、情感和意图进行约束,从而生成具有合理的情感和意图且与对话主题相关的回复。实验证明,该文提出的方法能有效提高生成回复的质量。     

Q2SM: 基于BERT的多领域任务型对话系统状态跟踪算法

基于管道的方法是目前任务型对话系统的主要构建方式,在工业界具有广泛应用,而对话状态跟踪(dialogue state tracking,DST)是任务型对话系统中的核心任务。面对传统的方法在多领域场景下表现较差的问题,该文结合语言模型预训练的最新研究成果,该文提出了一种基于BERT的对话状态跟踪算法Q2SM(query to state model)。该模型的上游使用了基于BERT的句子表征与相似度交互的槽判定模块,下游使用了一种面向对话状态跟踪任务的自定义RNN: DST-RNN。在WOZ 2.0和MultiWOZ 2.0两个数据集上的实验表明,Q2SM相比于之前的最好模型,分别在联合准确率和状态F₁值两个评价指标上提升了1.09%和2.38%。此外,模型消融实验验证了,DST-RNN相比于传统的RNN或LSTM,不仅可以提升评价指标值,还可以加快模型的收敛速度。     

多轮任务型对话系统研究进展

对话系统旨在实现机器与人类进行信息交流并向其提供个性化服务,具有一定的研究价值。为了及时跟进相关领域的研究,对其目前研究进展进行综述。首先针对对话系统的发展和分类情况进行介绍;其次综述了任务型对话系统的架构,重点梳理基于模块和基于端到端两种框架,并进一步总结归纳所使用模型的优缺点;接下来介绍任务型对话系统的评估方法以及应用领域,包括电商领域、教育领域和医学领域等方面;最后对多轮任务型对话系统面临的问题与挑战进行分析并作出总结。     

面向任务型的对话系统研究进展

基于人工智能技术的人机对话系统在人机交互、智能助手、智能客服、问答咨询等多个领域应用日益广泛,这极大地促进了自然语言理解及生成、对话状态追踪和端到端的深度学习模型构建等相关理论与技术的发展,并成为目前工业界与学术界共同关注的研究热点之一。该文聚焦特定场景下的任务型对话系统,在对其基本概念进行形式化定义的基础上,围绕着以最少的对话轮次来获得最佳用户需求相匹配的对话内容为目标,针对目前存在的复杂业务场景下基于自然语言的用户意图的准确理解和识别、针对训练数据的标注依赖及模型结果的可解释性不足,以及多模态条件下对话内容的个性化生成这三个重大的技术问题和挑战,对当前的技术与研究进展进行系统地对比分析和综述,为进一步的研究工作奠定基础。同时,对新一代的面向任务型的人机对话系统未来的关键研究方向与任务进行总结。     

任务型对话系统中的自然语言生成研究进展综述

任务型对话系统中的自然语言生成模块(ToDNLG)旨在将系统的对话动作转换为 自然语言回复,其受到研究者的广泛关注.随着深度神经网络的发展和预训练语言模型的爆发,ToDNLG的研究已经获得了重大突破.然而,目前仍然缺乏对现有方法和最新趋势的全面调研.为了填补这个空白,该文全面调研了 ToDNLG的最新进展和前沿领域,包...     

基于深度学习的任务型对话系统在国防军事领域的应用

近年来,随着人工智能的出现,基于任务型的对话系统一直是学者研究的一个领域.期望机器和人们想法是一样的,人们和机器在对话,人们执行任务时帮助人类完成任务.这是未来的应用服务的着手点,特别是移动应用程序应用软件和可穿戴设备运用场景里.基于任务型的封闭域名系统适用于用户的明确目标、订票、餐馆、电影、音乐或寻找特定产品等.用户...     

基于未知输入观测器的非线性广义系统执行器故障检测和重构

针对一类含有未知扰动广义非线性系统的执行器故障,本文提出一种重构算法。首先设计未知输入观测器对干扰鲁棒,作为故障检测观测器。检测到发生故障后,通过提出含有误差比例项和积分项的故障估计算法,形成自适应观测器,实现准确快速地估计故障,同时估计状态变量。根据李雅普诺夫稳定理论给出估计误差一致最终有界的充分条件。最后仿真验证该类观测器和重构算法的有效性。     

Self-Supervised Task Augmentation for Few-Shot Intent Detection

Few-shot intent detection is a practical challenge task, because new intents are frequently emerging and collecting large-scale data for them could be costly. Meta-learning, a promising technique for leveraging data from previous tasks to enable efficient learning of new tasks, has been a popular way to tackle this problem. However, the existing meta-learning models have been evidenced to be overfitting when the meta-training tasks are insufficient. To overcome this challenge, we present a novel self-supervised task augmentation with meta-learning framework, namely STAM. Firstly, we introduce the task augmentation, which explores two different strategies and combines them to extend meta-training tasks. Secondly, we devise two auxiliary losses for integrating self-supervised learning into meta-learning to learn more generalizable and transferable features. Experimental results show that STAM can achieve consistent and considerable performance improvement to existing state-of-the-art methods on four datasets.     

面向小样本意图识别的分步式阶段性数据增强

文本意图识别任务中常面临训练数据不足的问题,且由于文本数据离散性导致在标签不变的条件下进行数据增强并提高原模型性能具有一定困难,为解决小样本意图识别任务中的上述问题,提出一种分步式数据增强与阶段性训练策略相结合的方法.该方法从全局和局部两个角度将原始数据在全体语句和同类别中的样本对上进行递进式增强,并在模型训练期间根据递进层次的不同划分阶段进行学习,最后在多个意图识别数据集上进行实验以评估其有效性.实验结果表明,该方法可以有效提高小样本环境中意图识别模型的准确率,同时模型的稳定性也得到了提升.     

未知蠕虫自动检测技术研究

现有蠕虫检测系统的误报率较高。为此,提出未知蠕虫自动检测技术。利用多维蠕虫异常检测方法发现未知蠕虫,使用跳跃式多特征串提取方法得到未知蠕虫的特征串集合,并生成相应的特征检测规则,实现未知蠕虫的自动检测。实验结果证明,该技术能够成功发现新型蠕虫,具有较高的蠕虫检测率和较低的误报率。     

基于信号重构的并行ADC定时误差校准

多通道时间交叠式AD会引入定时误差,而这种定时误差会导致镜频杂散。本文基于非均匀采样信号的重构理论,提出了一种利用内插滤波器组对定时误差进行消除的方法。其设计思想是将时间交叠式AD问题转化为周期性重复的非均匀采样,并结合两通道并行ADC,给出了详细的内插滤波器设计方法。仿真实验结果表明,本文提出的算法对校准定时误差非常有效,并行AD输出的镜频信号得到很好的抑制。     

基于全局行为特征的未知恶意文档检测

相比于基于宏的恶意办公文档,基于漏洞利用的恶意办公文档在攻击过程中往往不需要目标交互,能在目标无感的情况下完成攻击,已经成为APT攻击的重要手段,因此检测基于漏洞利用特别是未知漏洞利用的恶意文档对于发现APT攻击具有重要作用。当前的恶意文档检测方法主要围绕PDF文档展开,分为静态检测和动态检测两类,静态检测方法容易被攻击者规避,且无法发现基于远程载荷触发的漏洞利用,动态检测方法仅考虑PDF中JavaScript脚本或文档阅读器进程的行为特征,忽视了针对系统其他进程程序的间接攻击,存在检测盲区。针对上述问题,本文分析了恶意办公文档的攻击面,提出恶意文档威胁模型,并进一步实现一种基于全局行为特征的未知恶意文档检测方法,在文档处理过程中提取全系统行为特征,仅训练良性文档样本形成行为特征库用于恶意文档检测,并引入敏感行为特征用于降低检测误报率。本文在包含DOCX、RTF、DOC三种类型共计522个良性文档上进行训练获取行为特征库,然后在2088个良性文档样本和211个恶意文档样本上进行了测试,其中10个恶意样本为手动构造用于模拟几种典型的攻击场景。实验结果表明该方法在极低误报率(0.14%)的情况下能够检测出所有的恶意样本,具备检测利用未知漏洞的恶意文档的能力,进一步实验表明该方法也能够用于检测针对WPS Office软件进行漏洞利用的恶意文档。     

Unknown Malicious Document Detection Based on Global Behavior FeatureCSCD

Compared with malicious office documents based on macros, malicious office documents based on vulnerability exploitation often do not need target interaction in the attack process, and can complete the attack without target perception. It has become an important means of Advanced Persistent Threat (APT) attack. Therefore, detecting malicious documents based on vulnerability exploitation, especially unknown vulnerability exploitation, plays an important role in discovering APT attacks. The current malicious document detection methods mainly focus on PDF documents. It is mainly divided into two categories: static analysis and dynamic analysis. Static analysis is easy to be evaded by hackers, and can not discovery exploits triggered by remote payload. Dynamic analysis only considers the behaviors of the JavaScript in PDF or document reader’s process, ignoring the indirect attacks against other processes of the system, leads to a detection blind spot. To solve the above problems, we analyze the attack surface of malicious Office documents, come up with a threat model and implement an unknown malicious document detection method based on global behavior feature. In the process of document processing, the whole system behavior features are extracted, and only benign document samples are trained to form a behavior feature database for malicious document detection. In order to reduce false alarm rate, we introduce sensitive behavioral feature in detection. In this paper, 522 benign documents including DOCX, RTF and DOC are trained to obtain the behavior feature database, and then 2088 benign document samples and 211 malicious document samples are tested. Of these, 10 malicious samples are manually crafted to simulate several typical attack scenarios. The experimental results show that this method can detect all malicious samples with a very low false positive rate (0.14%) and is able to detect malicious documents that exploit unknown vulnerabilities. Further experiments show that this method can also be used to detect malicious documents exploiting WPS office software. © 2023 Chinese Academy of Sciences. All rights reserved.     

针对未知稀疏信号的压缩自相关检测算法

针对未知的宽频带稀疏信号检测问题,提出了一种直接基于非重构采样值 的压缩自相关检测算法。首先利用压缩感知技术以远低于奈奎斯特采样速率获取信号,在自 相关矩阵检测信号理论的基础上,利用压缩感知中传感矩阵的严格等距特性,推导出基于统 计分布的信号稀疏系数自相关检测算法,从理论上给出了判决门限的选取和虚警概率之间的 关系,并进行了算法复杂度分析。由于无需重构原始信号,该算法直接利用少量的压缩测量 值进行检测,可以有效地提高检测过程的时效性。仿真表明在较低的信噪比时,该算法对未 知信号仍有良好的检测性能。     

Fault Detection for Nonlinear Systems with Unknown Input

This paper extends the problem of fault detection for linear discrete‐time systems with unknown input to the nonlinear system. A nonlinear recursive filter is developed where the estimation of the state and the input are interconnected. Unknown input which can be any type of signal was obtained by least‐squares unbiased estimation and the state estimation problem is transformed into a standard unscented Kalman filter (UKF) problem. By testing the mean of the innovation process, a real‐time fault detection approach is proposed. Simulations are provided to demonstrate the effectiveness of the theoretical results.     

基于分类的未知病毒检测方法研究

文章提出了一种以PE文件静态信息作为特征,通过分类来对未知病毒进行检测的方法。采用初始聚类中心优化的K—means聚类算法实现对病毒文件的相似度检测,无需运行PE文件即可判定是否为病毒。该方法可以克服病毒特征码扫描技术无法识别未知病毒的缺点,且相对于API序列检测方法免去了对文件进行脱壳等复杂操作,明显提高了检测速度。实验结果表明分类检测方法具有较好的准确性,有一定的应用价值。