面向自然交互的多通道人机对话系统

人们在对话过程中,除了使用口语交互外,还会很自然地利用表情、姿态等多模态信息辅助交流。重点分析并阐述了如何将这些多模态交互方式有效地融合到人机对话模型中,并实现一个面向自然交互的多模态人机对话系统。首先根据不同通道(如情感、头姿)对语音交互的影响,将它们主要分为信息互补、信息融合和信息独立3种模式,并针对3种模式分别采用不同的方式实现输入信息的多模态融合。信息融合后的对话管理,采用有限自动机、填槽法和混合主导方式的对话管理策略。针对对话中的情感处理,提出一种情感状态预测网络来记录用户的情感变化,并根据话语的轮转的不同对话上下文对用户情绪变化进行及时反馈,该对话模型能比较灵活地处理用户在对话过程中呈现的多模态信息。信息输出方面,针对人机对话中较为常用的数字虚拟人的行为控制,提出了一种简化的多模态协同置标语言,实现了虚拟人的包括情感、姿态与语音的同步表达,提高了虚拟人的表现力。最后基于以上关键技术,实现了一个面向城市路况信息查询的多模态自然人机对话系统。多个用户的体验表明,相对于传统的语音人机对话模型,多通道自然人机对话系统能有效提高用户交互的自然度。     

特定人主题受限连续汉语人机对话系统的研究

本文描述了一个以火车售票和信息查询事项为对话主题的专人使用的连续汉语人机对话系统原型, 着重讨论语言理解和应答文生成, 这部分是连接语音识别和语音合成的纽带, 起着承上启下的作用。语言理解和应答文生成采用上下文无关文法(CFG), 结合黑板以及局部上下文相关(CSG), 对连续汉语语音识别输出的结果进行理解, 生成人机对话系统中的应答文, 作为语音合成的输入。利用堆栈技术处理不完全信息和信息证实, 使得该系统具有自动提问获取知识的能力和对关健信息进行确认的能力, 从而使人机对话能连续进行。语义处理提取动词等关键信息, 使该系统具有容错性。我们对时间的描述采用模糊数学方法处理, 以适应现实对话中不精确的时间表示。     

文法推断研究的历史和现状

文法推断属于形式语言的归纳学习问题,它研究如何从语言的有限信息出发,通过归纳推断得到语言的语法定义.文章综述文法推断研究的历史和现状.首先阐述文法推断的理论模型,接着罗列上下文无关文法类及其非平凡子类、隐马尔可夫模型以及随机上下文无关文法的推断方法,最后简介文法推断的应用,并展望其发展趋势.     

一种特殊的上下文无关文法及其语法分析

SAQ系统是一个进行软件规约获取、检验和复用的实验系统，其中以上下文无关文法表示的概念是规约的一部分.SAQ要求将概念的词法和句法定义结合在一个上下文无关文法中.如果用常规的上下文无关文法描述诸如程序设计语言和自然语言等一些复杂概念的语法，则需要把诸如空格和回车等没有实质意义的分隔符包含到语法中去(这种描述方法称为朴素表示法),使得语法描述很累赘.为此，作者设计了一种特殊的上下文无关文法,它把通常上下文无关文法定义中的非终极符集合和终极符集合进行细化.用这种文法可以相对简洁地描述程序语言和自然语言等复杂概     

基于双层解码的多轮情感对话生成模型

情感对话系统的成功取决于语言理解、情感感知和表达能力,同时面部表情和个性等也能提供帮助。然而,尽管这些信息对于多轮情感对话至关重要,但是现有系统既未能够充分利用多模态信息的优势,又忽略了上下文相关性的重要性。为了解决这个问题,提出了一种基于双层解码的多轮情感对话生成模型（MEDG-DD）。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合,以获得更加全面的对话上下文。然后,使用基于注意力机制的双层解码器,以生成与对话上下文相关的富含情感的言辞。实验结果表明,该模型能够有效地整合多模态信息,实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比,该模型在各项评估指标上均有显著的提升。     

基于听说知识融合网络的多模态对话情绪识别

多模态对话情绪识别旨在根据多模态对话语境判别出目标话语所表达的情绪类别,是构建共情对话系统的基础任务.现有工作中大多数方法仅考虑多模态对话本身信息,忽略了对话中与倾听者和说话者相关的知识信息,从而限制了目标话语情绪特征的捕捉.为解决该问题,提出一种基于听说知识融合网络的多模态对话情绪识别模型(LSKFN),引入与倾听者和说话者相关的外部常识知识,实现多模态上下文信息和知识信息的有机融合.LSKFN包含多模态上下文感知、听说知识融合、情绪信息汇总和情绪决策4个阶段,分别用于提取多模态上下文特征、融入听说知识特征、消除冗余特征和预测情绪分布.在两个公开数据集上的实验结果表明,与其他基准模型相比,LSKFN能够为目标话语提取到更加丰富的情绪特征,并且获得较好的对话情绪识别效果.     

基于时序感知DAG的多模态对话情绪识别模型

针对现有对话情绪识别方法中对时序信息、话语者信息、多模态信息利用不充分的问题,提出了一个时序信息感知的多模态有向无环图模型（MTDAG）。其中所设计的时序感知单元能按照时间顺序优化话语权重设置,并收集历史情绪线索,实现基于近因效应下对时序信息和历史信息更有效的利用;设计的上下文和话语者信息融合模块,通过提取上下文语境和话语者自语境的深度联合信息实现对话语者信息的充分利用;通过设置DAG（directed acyclic graph）子图捕获多模态信息并约束交互方向的方式,在减少噪声引入的基础上充分利用多模态信息。在两个基准数据集IEMOCAP和MELD的大量实验表明该模型具有较好的情绪识别效果。     

口语对话系统中的语句主题提取

语句的主题提取是口语对话系统中话语分析部分的工作。目前的口语对话系统大多将自然语言处理的重点放在语法和语义平面,而忽视了对上下文语境的分析,该文提出一种基于规则的语句主题提取方法,通过自底向上与自顶向下两种分析器完成主题与用户意图的提取,为系统的自然语言生成提供更准确的领域知识,从而大大提高了系统的整体性能。     

面向中文短信的信息抽取方法

在手机3D动画自动生成系统中,研究面向中文短信的信息抽取方法.设计一种基于上下文无关文法的模板定义方式,以及对应的模板知识库与模板解析器.在模板解析器处理数据的过程中,通过最左规约算法保证中文短信的信息抽取效率.实验结果表明,该方法在扩展抽取内容范围的同时,能提高信息抽取的准确性.     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

Parallel natural language processing on a semantic network array processor

This paper presents a parallel natural language processing system implemented on a marker-passing parallel AI computer, the Semantic Network Array Processor (SNAP). Our system uses a memory-based parsing approach in which parsing is viewed as a memory search process. Linguistic information is stored as phrasal patterns in a semantic network knowledge base distributed over the memory of the parallel computer. Parsing is performed by recognizing and linking phrasal patterns that reflect a sentence interpretation. This is achieved by propagating markers over the distributed network. We have developed a system capable of processing newswire articles from a particular domain. The paper presents the structure of the system, the memory-based parsing method used, and the performance results obtained.<>     

User-Tailored Planning of Mixed Initiative Information-Seeking Dialogues

Intelligent dialogue systems usually concentrate on user support at the level of the domain of discourse, following a plan-based approach. Whereas this is appropriate for collaborative planning tasks, the situation in interactive information retrieval systems is quite different: there is no inherent plan-goal hierarchy, and users are known to often opportunistically change their goals and strategies during and through interaction. We need to allow for mixed-initiative retrieval dialogues, where the system evaluates the user's individual dialogue behavior and performs situation-dependent interpretation of user goals, to determine when to take the initiative and to change the control of the dialogue, e.g., to propose (new) problem-solving strategies to the user. In this article, we present the dialogue planning component of a concept- oriented, logic-based retrieval system (MIRACLE). Users are guided through the global stages of the retrieval interaction but may depart, at any time, from this guidance and change the direction of the dialogue. When users submit ambiguous queries or enter unexpected dialogue control acts, abductive reasoning is used to generate interpretations of these user inputs in light of the dialogue history and other internal knowledge sources. Based on these interpretations, the system initiates a short dialogue offering the user suitable options and strategies for proceeding with the retrieval dialogue. Depending on the user's choice and constraints resulting from the history, the system adapts its strategy accordingly.     

Strategies for Expressing Concise, Helpful Answers

An intelligent help system needs to take into account the user's knowledgewhen formulating answers. This allows the system to provide more conciseanswers, because it can avoid telling users things that they already know.Since these concise answers concentrate exclusively on pertinent newinformation, they are also easier to understand. Information about theuser's knowledge also allows the system to take advantage of the user'sprior knowledge in formulating explanations. The system can provide betteranswers by referring to the user's prior knowledge in the explanation(e.g., through use of similes). This process of refining answers is calledanswer expression.The process of answer expression has been implemented in the UCExpresscomponent of UC (UNIX Consultant), a natural language system that helps theuser solve problems in using the UNIX operating system. UCExpress separatesanswer expression into two phases: pruning and formatting.In the pruning phase, subconcepts of the answer are pruned by being markedas already known by the user (and hence do not need to be generated), ormarked as candidates for generating anaphora or ellipsis (since they arepart of the conversational context). In the formatting phase, UCExpressuses information about the user's prior domain knowledge to select amongspecialized expository formats,such as similes and examples, for expressing information to the user. Theseformats allow UCExpress to present different types of information to theuser in a clear, concise manner. The result of UCExpress' answer expressionprocess is an internal form that a tactical level generator can easily useto produce good English.     

关于通用多通道整合模板的研究

针对多通道用户界面的核心问题——多通道整合,旨在对来自不同通道的信息进行合一化处理,最终向计算机正确传达用户意图。围绕多通道整合问题,通过分析多通道输入信息流的特点,提出了一个通用多通道整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究,面向开发人员提供可重用通用多通道整合模板的支持。并给出了一个具体的实现方法。     

面向数据分析的中文问句句法研究

本文以面向数据分析为基本思想,同时结合相似度概率评估技术,实现中文问句句法分析。对于输入问句,首先需要经过词汇层与词性层以及句型和疑问词初选得到片段;然后,基于已构建的数据库,对词汇词性序列的子序列搜索片段,进行片段组合;最后,对输入语句与初选结果进行相似性评估,完成输入语句的组合分析过程。为论证方法有效性,基于200句山西旅游问句做实验。实验结果表明,句法分析的准确率达到96%。     

一种人机互动的多策略机器翻译系统IHSMTS的设计与实现原理

现有单一策略的机器翻译系统很难有效地解决机器翻译所面临的所有问题。本文,提出一种基于人机交互互动的多策略机器翻译系统设计方法,该方法把基于多知识一体化描述的规则推理、基于经验记忆的类比启发式搜索推理和基于统计知识的概率方法及适当程度的人机交互有机地结合起来,利用现有基于规则的智能机器翻译系统自动产生具有各种特征知识的特征事例模式库,从而既可以通过与以往翻译实例的类比启发式搜索有效地利用以往系统成功的句子分析经验解决相似句子的分析,同时对特征事例模式库中没有相似实例的句子,又可以利用原有基于规则的方法和统计概率方法进行翻译转换处理,并在系统本身的知识不足以解决所遇到的多义区分问题时适时由人介入,从而可以大提高系统的翻译速度和翻译准确率,增强系统的实用性。     

从用户需求语句建立问题可拓模型的研究

准确地建立待解决问题的可拓模型是可拓策略生成的关键步骤。目前的可拓策略生成系统在建立可拓模型时因自然语言理解的困难,未能充分理解用户需求,所以较难自动建立问题的可拓模型。提出了解析用户自然语言需求语句、并自动建立可拓模型的方法。该方法的核心包括4步:1)对用户需求语句进行组块分析得到短语序列;2)对短语序列进行分类;3)使用匹配规则抽取分类后的短语,得到便于计算机处理的需求信息;4)结合数据库技术进行可拓模型的建立。以租房问题为案例,实现了该方法。实验结果表明,该方法能较好地理解用户需求信息并成功建立租房问题可拓模型。     

基于问句语料库的受限领域自动应答系统

自动应答系统中对用户所提问句的理解是系统实现的关键,同样也是一个难点,通过在受限领域内建立问句语料库来协助理解用户问句是一种非常有效的实现方法。文章分析了建行领域业务咨询系统的问句收集、分词和词性标注、语义标注、问句语料统计等问句语料库的建设过程,并详细介绍了采用词向量空间法和语义向量空间法从问句语料库中寻找和目标问句相似问句的计算方法及提取答案的实现过程。     

主动联想型对话机器人的设计与实现

人机对话系统通常仅是用户命令的执行者,很少能主动发起对话,或依据对话以外的内容展开个性化的人机交互.本文提出了联想型对话机器人的概念和对应设计方案,即通过融合用户提问和用户个人特征的方式产生对话内容,这样的对话系统不仅可以主动发出对话邀请,也可以个性化地回答用户问题,提升人机对话的满意度.文章首先介绍了联想型对话机器人...     

陪护机器人口语对话系统设计与实现

针对陪护机器人口语对话系统的难点给出了相应的解决方案：以话题为单位的聊天机器人知识库构建规则、简单有效的句子相似度计算方法、准确高效的答案检索模块。通过对78个回合的实际聊天结果的统计分析,验证了解决方案的有效性;同时分析了方案的局限性。