自然语言时间信息的模拟与计算

从自然语言语义处理研究角度出发构建了一种比较完全的时间语义表达模型,在此模型之上,研究了现代汉语时间表达的特征,对句子时体关系分别进行研究并提出了一种时间语义信息自动提取的方法,对典型汉语句子的时间信息进行挖掘以及抽取,取得了良好的效果。这为自然语言语义层次上的信息提取和处理提供了一种方法借鉴。     

基于本体视图特征项抽取方法研究*

为提供比单纯词汇信息更高效的概念特征信息和深层语义信息,并满足面向同一文本的多检索需求,在半自动化智能检索框架中引入本体视图,提出一种基于本体视图的特征项抽取方法。此方法首先针对文本特征建立本体视图;然后结合文本信息进行特征项抽取和类型映射,得到特征项集;最后基于特征项集完成检索过程。检索结果显示,基于本体视图特征项抽取方法能改善检索系统的性能,提高检索的准确率和效率。     

基于词汇语义模式的金融事件信息抽取方法

信息抽取是自然语言处理工作中的重要任务之一。针对由于自然语言的多样性、歧义性和结构性而导致的信息抽取困难的问题,提出了一种面向金融事件信息抽取的层次化词汇-语义模式方法。首先,定义了一个金融事件表示模型;然后应用基于深度学习的词向量方法来实现自动生成同义概念词典;最后采用基于有限状态机驱动的层次化词汇-语义规则模式实现了对各类金融事件信息自动抽取的目标。实验结果表明,所提方法可以从金融新闻文本中准确地抽取出各类金融事件信息,并且对26类金融事件的微平均识别准确率达到93.9%,微平均召回率达到86.9%,微平均F1值达到90.3%。     

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

自然语言理解作为医疗对话中的关键组成部分,包含意图识别和槽位填充两个重要的子任务。为建立意图和槽位的相互促进关系,实现语义层次上的建模,提出了基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法。首先,收集医疗信息网站上用户的医疗健康提问文本,基于医学知识归纳总结了24类医疗意图和5种槽位,构建了中文医疗健康咨询数据集（CMISD-UQS）;然后,引入槽位选通机制来建模意图和槽位向量之间的显式关系,设计了意图—槽位注意机制层,构建了意图上下文信息以意图标签向量方式嵌入到槽位的方式。在公共数据集ATIS和SNIPS上与八种代表性算法的对比实验结果表明,所提算法优于所比较的八种算法;在CMISD-UQS数据集上的测试结果表明,所提算法的医疗意图识别准确率、语义槽填充F1值、句子级语义框架准确率分别为78.1%、94.9%和73.2%,均优于其他对比算法。     

基于条件随机域CRF模型的文本信息抽取

为了抽取文本中的信息,在分析对比了4种统计建模原型后,选用条件随机域CRF建立抽取模型,提出了一种文本信息抽取的方法.该方法对文本分析后加标注,确定文本特征集,采用有限内存拟牛顿迭代方法L-BFGS算法估计CRF模型参数,根据训练学习得出的模型,实现科研论文数据集头部文本信息的抽取.实验结果表明,使用CRF模型的抽取准确率达到90%以上,远远高于使用HMM模型的抽取准确率.     

基于ATT&CK的APT攻击语义规则构建

从自然语言描述文本中提取网络攻击知识存在语义鸿沟,导致TTPs威胁情报自动化利用低。为提高威胁情报自动分析效率,设计并实现了基于ATT&CK的APT攻击语义规则。首先,构建带标签的有向图语义规则模型,对自然语言文本描述的攻击技术进行知识化描述;其次,定义语义规则,阐释网络实体属性及其逻辑运算关系的形式化描述方法;最后,利用关键词组识别、知识抽取等自然语言处理技术,从攻击技术文本中抽取形成123个APT攻击语义规则,涵盖ATT&CK的115项技术和12种战术。利用模拟场景采集的APT攻击日志数据,对语义规则进行验证,实验结果表明,语义规则检出率达到93.1%,并具备一定的攻击上下文信息还原能力,可有效支撑威胁检测分析。     

基于依存句法和图注意力网络的句子匹配

句子匹配是自然语言处理的一项基本任务,可应用于自然语言推理、释义识别等多个场景。目前,主流的模型大多采用注意力机制来实现两个句子之间单词或短语的对齐。然而,这些模型通常忽略了句子的内在结构,没有考虑文本单元之间的依存关系。针对此问题,提出了一种基于依存句法和图注意力网络的匹配模型。设计两种建模方式将句子对建模为语义图。使用图注意力网络对构建的图进行编码以进行句子匹配。实验结果表明,提出的模型可以较好地学习图结构,在自然语言推理数据集SNLI和释义识别数据集Quora上分别达到了88.7%和88.9%的准确率。     

基于语义Web的受控自然语言系统推理模型

虽然相关研究组织提供了语义Web的一些简化工具,但是对不具备相关背景知识的领域专家来说,语义Web的可用性较低。提出了基于语义Web的受控自然语言系统推理模型,以解决这个问题。首先给出受控自然语言系统推理模型框架;然后分析受控自然语言的语言处理部分,提出基于WordNct的受控自然语言系统的本体词库模型和基于本体词库的受控自然语言解释器,把受控自然语言转换成中间表达语言篇章表述结构;最后通过推理部分把篇章表述结构转换成语义Web的本体和规则,通过模板工具映射成Jess的事实和规则,根据预定义的语义Web的公理和定理对受控自然语言进行推理。试验证明此模型大大提高了知识表示建模的效率,也基本满足简单推理任务,具有实用价值。     

基于通用知识图谱的个性化智能助手

针对现有个性化智能助手对预训练的语料数量和质量要求较高、无法根据用户的多变需求快速添加自然语言指令以触发智能助手的个性化场景等问题,提出一种基于通用知识图谱的个性化智能助手。首先,使用通用知识图谱的结构化的语义知识为用户的自然语言指令和应用场景进行语义标注并快速构建特征模型,弥合用户个性化的需求和对应场景的语义鸿沟;其次,使用余弦相似度计算用户指令与场景应用程序编程接口（API）的相似程度,进行API的匹配与推荐;最后,通过特征匹配对指令中API所需参数进行抽取并执行。实验结果表明,该方法指令匹配结果的宏F1值为84.72%,API参数抽取准确率达84.33%。     

融合高低层语义信息的自然语言句子匹配方法

针对目前自然语言句子匹配方法未能融合公共语义信息以及难以捕获深层次语义信息的问题,提出了一种融合高低层语义信息的自然语言句子匹配算法。该算法首先采用预训练词向量GloVe和字符级别的词向量获取句子P和句子Q的词嵌入表示;其次,使用双向LSTM(long-short term memory)对P和Q进行编码,再初步融合P和Q获取低层语义信息;然后,计算P与Q的双向注意力,拼接得到语义表征,再计算其自注意力获取高层语义信息;最后,采用启发式的融合函数将低层语义信息和高层语义信息进行融合,得到最终的语义表征,使用卷积神经网络预测得到答案。在文本蕴涵识别和释义识别两个任务上评估了该模型。在文本蕴涵识别任务SNLI数据集和释义识别任务Quora数据集上进行了实验,实验结果表明该算法在SNLI测试集上的准确率为87.1%,在Quora测试集上的准确率为86.8%,验证了算法在自然语言句子匹配任务上的有效性。     

一种面向服务的领域特征模型

针对面向服务的领域需求表达与规约化组织,提出一种扩展的服务特征概念与服务特征模型,以及基于OWL本体描述语言的服务特征本体元模型。扩展的服务特征概念可更为完整地表征面向服务领域的服务需求语义,而扩展的服务特征模型则为面向服务领域需求提供了一种易于扩展的规约化组织模型。模型通过特征关系映射,既克服了传统特征模型的特征组织形式的局限性,也丰富了服务特征间的语义关系,并可更好地支持基于特征的领域需求配置管理与定制。最后,通过给出的一个原型辅助建模工具实现,验证了模型的适用性。     

企业时态化建模中的元模型研究

为了支持企业历史信息等与时间特征相关的建模,提出了包括日历对象、时间属性域类型、时间戳等在内的基本元模型。利用这些基本元模型,建模者可以在现有企业模型的基础上实现基于时间特征的时态化扩展建模,从而提高企业模型及其应用系统的弹性。     

时态信息的语义抽取与排序方法研究及系统实现

针对通用搜索引擎缺乏对网页内容的时态表达式的准确抽取及语义查询支持,提出时态语义相关度算法（TSRR）。在通用搜索引擎基础上添加了时态信息抽取和时态信息排序功能,通过引入时态正则表达式规则,抽取查询关键词和网页文档中的时态点或时态区间等时态表达式,综合计算网页内容的文本相关度和时态语义相关度,从而得到网页的最终排序评分。实验表明,应用TSRR算法可以准确而有效地匹配与时态表达式相关的关键词查询。     

基于答案集的Web服务组合验证

语义Web服务组合的形式化描述和验证,是保证组合服务能正确运行的重要前提基拙。首先描述基于答案集编程(Answer Set Programming)的OWL-S建模方法,并分析基于答案集编程建模的优势。然后给出OWL-S流程模型中几种控制结构到中间模型Petri网的映射,并提出由Petri网生成答案集编程的算法。同时将时态约束引入到 组合服务验证中,利用时态约束表达待验证性质,将验证问题转换为求解逻辑程序的答案集。最后通过一个具体的实例说明该方法的有效性。     

时态工作流过程模型及其合理性验证

为了提高工作流产品对信息时效性的处理能力,通过将时间维引入工作流概念空间,对构成工作流的基本概念及概念间的关系进行了全面的时间属性扩展,提出了时态工作流的概念.在前期对时态信息表示及演算、时态工作流元模型研究的基础上,提出了一种能够综合描述过程、资源、案例、时间四维信息的时态工作流过程模型TPWF-net,并证明了TPWF-net与WF-net的结构等价性、自由选择同步TPWF-net和良构TPWF-net的合理性可以在多项式时间内判定等结论.在此理论的指导下,提出了结构化建模的思想,并阐述了基于结构化简的TPWF-net模型合理性验证的方法.时态工作流能够更加全面地描述和分析工作流领域的时间相关问题,开发的一个时态工作流引擎原型已在一些应用研究性项目中得到了验证.     

面向交通事故预测的时空多模态点过程

交通事故预测对于构建智慧城市具有重要意义。然而发生在连续时间域上的交通事故数据同时包含具有不同语义特征的时间、空间模态信息,且这两种模态的不确定性存在差异,因此传统的序列建模方式无法全面描述交通事故的时空相关性,很难实现准确的交通事故预测,对此提出了一种面向交通事故预测的时空多模态点过程模型MSTPP。该模型设计了一种具有双解码器的seq2seq框架。在编码器中提出了衰减感知长短期记忆网络DLSTM用于编码在连续时间域中的交通事故事件序列,有效地融合不同模态信息以及建模事件序列的异步性。在解码阶段,使用两个特殊设计的解码器去处理模态间差异性。在两个真实的交通事故数据集上的实验结果表明,MSTPP在预测下一个交通事故发生的时间和区域任务上相比于其他基准模型具有最优的预测能力。     

融合自适应图卷积与Transformer序列模型的中文手语翻译方法

针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN 与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外,在预处理部分,提出了一种移动窗口的关键帧提取算法,并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明,该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%,精度为97.87%,优于其他先进的手语翻译方法。     

汉语时间关系抽取与计算

时间关系普遍存在于时间和事件概念之间,为信息组织提供了一条天然的线索。该文在信息抽取和时间信息标注的基础上,研究汉语中时间与时间、事件与时间和事件与事件之间的时间关系。一方面考虑汉语文本的特点,充分抽取蕴含于语法语义层面中的时间关系;另一方面定义了与文本无关的规则,实现了不同来源信息之间的时间关系的计算。这为信息抽取结果的组织、积累和共享打下了基础,对于事件追踪、多文本摘要等方面的研究也有一定的借鉴意义。     

一种数字家庭环境下的本体服务映射模型

当前的数字家庭系统大多使用预定义的服务调用模式,无法从语义层面上理解服务的含义并会导致系统可伸缩性差等问题.为了解决这些问题并借鉴语义网的经验,提出一种数字家庭环境下的本体服务映射模型(OSMM).OSMM以家庭环境本体为基础,以Jess推理机为推理核心,使用决策语义输入,输出映射后的实际物理设备调用接口.在虚拟数字家庭仿真实验平台(VSM)中的仿真表明,OSMM能够很好地理解决策语义并输出合适的映射结果,并具有低延时的特点,能够满足一般数字家庭决策系统的需求.     

Natural language generation and deep learning for intelligent building codes

Many existing automated compliance checking (ACC) systems require the processes of extracting regulatory information from natural-language building-code requirements and transforming the extracted information into computer-processable semantic representations. These processes could, however, be jeopardized by the ambiguous nature of the natural language and the hierarchically complex structures of building-code requirements. To address this problem, this paper proposes the concept of intelligent building code for bypassing the error-prone information extraction and transformation processes. In the proposed intelligent code, the natural-language requirements in the code are connected with highly structured computer-understandable semantic information, which is represented in the form of semantic requirement hierarchies and can be readily used by computers for ACC. The paper also proposes a deep learning-based method to automatically generate such intelligent code. The method leverages the requirement hierarchy representation, a proposed deep learning unit-to-text model for generating requirement sentence segments, and a proposed semantic correspondence score for configuring the segments into requirement sentences. The method was implemented and tested on a dataset from multiple regulatory documents. The generated intelligent requirements were evaluated in terms of both natural-language requirement comprehensibility and correspondence between the natural language and the semantic representation, with the results indicating high performance for the proposed representation and method. The proposed intelligent code will help reduce ACC errors, improve requirement comprehensibility, and facilitate intelligent code analytics.