基于语义短语的空间金字塔词袋模型图像分类方法

针对空间金字塔词袋模型缺少对局部特征之间语义分布关系的表达,提出了一种基于语义短语的空间金字塔词袋模型图像表示方法.首先,将局部特征映射为具有一定语义信息的视觉单词,通过统计局部特征邻域范围内其他相关特征点的语义分布情况来构造语义短语.其次,将语义短语采用稀疏编码进行量化生成语义词典,图像则表示成基于语义词典的空间金字塔式稀疏统计直方图向量.最后,将图像表示向量代入分类器中进行训练和测试.实验结果表明,本文方法能够较大幅度地提高图像分类的准确率.     

基于认知语言学的自然语言语义表示方法

语义网对语义理解和常识推理是有效的,但粗粒度语义无法表示复杂的对象间的关系。认知语言学提供了表示复杂对象关系的方法,但由于其抽象性而难以应用于自然语言处理。文中提出一种基于认知语言学理论的自然语言语义表示方法。该方法使用意象图式表示语义网中对象节点间的关系,使用属性空间表示可以数值化的语义(如颜色)。在此基础上,将语义网和属性空间的构建和修改过程转化为语义操作序列,实现了句子语义的动态重构。相比于传统的基于语义网的语义表示方法,提出的方法能够表示动态关系,具有更强的推理能力。文中通过实例证明了这一方法的可行性。     

基于语义分类树的汉语口语理解方法

口语理解在口语自动翻译和人机对话系统中具有非常重要的作用。本文面向口语自动翻译提出了一种统计和规则相结合的汉语口语理解方法,该方法利用统计方法从训练语料中自动获取语义规则,生成语义分类树,然后利用语义分类树对待解析的汉语句子中与句子浅层语义密切相关的词语进行解析,最后再利用统计理解模型对各个词语的解析结果进行组合,从而获得整个句子的浅层语义领域行为。实验结果表明,该方法具有较高的准确率和鲁棒性,适合应用在限定领域的汉语口语浅层语义理解。     

面向智能服务系统的时间语义理解

针对智能服务制定与提供过程中时间语义处理难的问题,提出一种面向智能服务系统的时间语义信息理解模型。在自然语言描述的服务消息文本上,实现对时间信息的抽取、映射和语义建模,从而为一般的智能服务系统提供通用的时间语义表达模式。首先,模型采用启发式策略自动抽取时间短语并构建时间信息知识库,无需人工干预;然后,提出一种基于时间基元的时间信息映射方法,实现了绝对时间的量化表达以及相对时间的逻辑推理;最后,综合利用时间信息与上下文信息构建时间语义模型。实验结果表明,该模型在服务自然语言文本测试集上,时间信息抽取准确率高达97.58%,时间信息映射准确率高于85%,语义建模效果良好。     

基于多维情感语义空间的色彩表征方法

针对色彩与情感映射模型复杂且难以实现的问题。提出一种利用多维语义空间表征色彩的方法．首先从信息论角度出发，依据Lebesgue测度原理阐明了色彩情感语义信息的度量特征；然后利用语义分析法建立了表征RGB色彩的多维语义空间，结合Euclid空间探讨了RGB色彩与多维语义空间映射特点，并提出消除由语义维度和粒度冲突而引起的语义空洞的算法；最后以一个色彩设计系统对其进行应用验证．实验结果表明，该算法能够在不同维度与粒度层上实现色彩空间与情感语义空间的复杂映射．     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

图像信息对句子语义理解与表示的有效性验证与分析

近年来,图像文本建模研究已经成为自然语言处理领域一个重要的研究方向.图像常被用于增强句子的语义理解与表示.然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑,原因是文本本身就能够提供强有力的先验知识,帮助模型取得非常好的效果;甚至在不使用图像的条件下就能得出正确的答案.因此研究图像文本建模需要首先回答一个问题:图像是否有助于句子语义的理解与表示?为此,本文选择一个典型的不包含图像的自然语言语义理解任务:自然语言推理,并将图像信息引入到该任务中用于验证图像信息的有效性.由于自然语言推理任务是一个单一的自然语言任务,在数据标注过程中没有考虑图像信息,因此选择该任务能够更客观地分析出图像信息对句子语义理解与表示的影响.具体而言,本文提出一种通用的即插即用框架(general plug and play framework)用于图像信息的整合.基于该框架,本文选择目前最先进的五个自然语言推理模型,对比分析这些模型在使用图像信息前后的表现,以及使用不同图像处理模型与不同图像设置时的表现.最后,本文在一个大规模公开数据集上进行了大量实验,实验结果证实图像作为额外知识,确实有助于句子语义的理解与表示.此外,还证实了不同的图像处理模型和使用方法对整个模型的表现也会造成不同的影响.     

基于语义特征空间上下文的短文本表示学习

文本表示是自然语言处理中的基础任务,针对传统短文本表示高维稀疏问题,提出1种基于语义特征空间上下文的短文本表示学习方法。考虑到初始特征空间维度过高,通过计算词项间互信息与共现关系,得到初始相似度并对词项进行聚类,利用聚类中心表示降维后的语义特征空间。然后,在聚类后形成的簇上结合词项的上下文信息,设计3种相似度计算方法分别计算待表示文本中词项与特征空间中特征词的相似度,以形成文本映射矩阵对短文本进行表示学习。实验结果表明,所提出的方法能很好地反映短文本的语义信息,能对短文本进行合理而有效的表示学习。     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

中国古代小说图像的语义获取方法

针对中国古代小说图像的特性,提出了一种利用人工神经网络获取图像语义的方法。利用人工神经网络在图像的纹理、形状等低层视觉特征和高层语义特征间建立映射关系,利用改进的遗传算法确定人工神经网络的参数和权值,利用训练后的人工神经网络获取图像的语义。实验结果表明,所提出的方法具有理想的图像语义获取效果,能充分反映人对图像内容的理解,具有很好的应用价值。     

Automatic text summarization using latent semantic analysis

In the paper, the most state-of-the-art methods of automatic text summarization, which build summaries in the form of generic extracts, are considered. The original text is represented in the form of a numerical matrix. Matrix columns correspond to text sentences, and each sentence is represented in the form of a vector in the term space. Further, latent semantic analysis is applied to the matrix obtained to construct sentences representation in the topic space. The dimensionality of the topic space is much less than the dimensionality of the initial term space. The choice of the most important sentences is carried out on the basis of sentences representation in the topic space. The number of important sentences is defined by the length of the demanded summary. This paper also presents a new generic text summarization method that uses nonnegative matrix factorization to estimate sentence relevance. Proposed sentence relevance estimation is based on normalization of topic space and further weighting of each topic using sentences representation in topic space. The proposed method shows better summarization quality and performance than state-of-the-art methods on the DUC 2001 and DUC 2002 standard data sets.     

A semi supervised learning model for mapping sentences to logical forms with ambiguous supervision

Semantic parsing is the task of mapping a sentence in natural language to a meaning representation. The limitation of previous work on supervised semantic parsing is that it is very difficult to obtain annotated training data in which a sentence is paired with a semantic representation. To deal with this problem, we introduce a semi supervised learning model for semantic parsing with ambiguous supervision. The main idea of our method is to utilize a large amount of data, to enrich feature space with the maximum entropy model using our semantic learner. We evaluate the proposed models on standard corpora to demonstrate that our methods are suitable for semantic parsing. Experimental results show that the proposed methods work efficiently and well on ambiguous data and it is comparable to the state of the art methods.     

基于案件要素指导及深度聚类的新闻与案件相关性分析

新闻与案件相关性分析是案件领域新闻舆情分析的基础,其可以转化为文本聚类问题。由于缺乏有效的监督信息,传统聚类方法易导致聚类发散,降低结果的准确性。针对案件和新闻文本的特点,该文提出了基于案件要素指导及深度聚类的新闻与案件相关性分析方法。该方法首先抽取出重要的句子表征文本;然后利用案件要素对案件进行表征,用于初始化聚类中心,指导聚类的搜索过程;最后选用卷积自编码器获得文本表征,利用重构损失和聚类损失联合训练网络,使文本的表征更接近于案件,并将文本表征和聚类过程统一到同一框架中,交替更新自编码器参数及聚类模型参数,实现文本聚类。实验表明,该文的方法较基线方法在准确率上提高了4.61%。     

融合句子结构特征的汉老双语句子相似度计算方法

在低资源神经机器翻译中,双语平行句对是重要的数据资源,融合语言结构特点能够较好地解决双语句子由于语言差异性导致的句子相似度计算不准确问题.该文提出一种融合句子结构特征的汉老双语句子相似度计算方法.首先,通过该文提出的特征模板获取汉语和老挝语对应的句子结构特征,预训练含有句子结构特征的汉老双语词向量分布式表示,并使用双语...     

A New Method for Sentiment Analysis Using Contextual Auto-Encoders

Sentiment analysis, a hot research topic, presents new challenges for understanding users’ opinions and judgments expressed online. They aim to classify the subjective texts by assigning them a polarity label. In this paper, we introduce a novel machine learning framework using auto-encoders network to predict the sentiment polarity label at the word level and the sentence level. Inspired by the dimensionality reduction and the feature extraction capabilities of the auto-encoders, we propose a new model for distributed word vector representation “PMI-SA” using as input pointwise-mutual-information “PMI” word vectors. The resulted continuous word vectors are combined to represent a sentence. An unsupervised sentence embedding method, called Contextual Recursive Auto-Encoders “CoRAE”, is also developed for learning sentence representation. Indeed, CoRAE follows the basic idea of the recursive auto-encoders to deeply compose the vectors of words constituting the sentence, but without relying on any syntactic parse tree. The CoRAE model consists in combining recursively each word with its context words (neighbors’ words: previous and next) by considering the word order. A support vector machine classifier with fine-tuning technique is also used to show that our deep compositional representation model CoRAE improves significantly the accuracy of sentiment analysis task. Experimental results demonstrate that CoRAE remarkably outperforms several competitive baseline methods on two databases, namely, Sanders twitter corpus and Facebook comments corpus. The CoRAE model achieves an efficiency of 83.28% with the Facebook dataset and 97.57% with the Sanders dataset.     

基于语义自适应编码的汉-越伪平行句对抽取方法

伪平行句对抽取是缓解汉-越低资源机器翻译中数据稀缺问题的关键任务,同时也是提升机器翻译性能的重要手段。传统的伪平行句对抽取方法都是基于语义相似性度量,但是传统基于深度学习框架的语义表征方法没有考虑不同词语语义表征的难易程度,因此导致句子语义信息不充分,提取到的句子质量不高,噪声比较大。针对此问题,该文提出了一个双向长短期记忆网络加语义自适应编码的语义表征网络框架,根据句子中单词表征难易的不确定性,引导模型使用更深层次的计算。具体思路为: 首先,对汉语和越南语句子进行编码,基于句子中单词语义表征的难易程度,自适应地进行表征,深度挖掘句子中不同单词的语义信息,实现对汉语和越南语句子的深度表征;然后,在解码端将深度表征的向量映射到统一的公共语义空间中,最大化表示句子之间的语义相似度,从而提取更高质量的汉-越伪平行句子。实验结果表明,相比于基线模型,该文提出的方法在F₁得分上提升5.09%,同时将提取到的句子对用于训练机器翻译模型,实验结果表明翻译性能的显著提升。     

基于LDA耦合空间模型的作文跑题检测方法研究

传统的跑题检测方法大部分是通过将文本转换为向量空间的向量表示,再计算与正确文章之间的相似度来得到是否跑题的结果,然而这种方法仅针对于文章语句结构上的表示,而忽略了文章语义上的关联,并且对于题目发散度较高的作文跑题检测效果较低。针对以上的问题,利用题目与正文主题词在耦合空间计算其相关度,再通过聚类的方法实现无监督的作文跑题检测。实验结果表明,基于耦合空间模型的作文跑题检测方法不论对于题目发散度较低的作文还是较高的作文的检测准确度都有一定程度的提高,其中对于题目发散度较高的作文更为明显。     

基于语句结构信息的方面级情感分类

方面级情感分析是情感分析任务中更细粒度的子任务, 目的是预测给定方面的情感倾向. 目前方面级情感分析任务大多采用一定的神经网络提取句子的语义信息, 之后进行情感极性预测. 本文在此基础上, 提出了基于语句结构信息的语义表示方法, 即融合语句词性序列中的句型结构信息. 本文分别使用两个Bi-LSTM进行语义特征和语句结构特征的提取, 构建成基于句型结构的语义表示. 然后将给定的方面级向量化, 嵌入到基于语句结构的语义表示中, 再经过Softmax层进行情感极性分类. 实验证明, 采用基于语句结构信息的语义表示方法进行方面级情感分析的效果更佳.     

基于句式结构的汉语图解析句法设计

梳理了汉语语法学界对“句式”这一术语的认识分歧;从中文信息处理角度分析了当前本领域句法分析和树库构建缺乏句式结构的现状;对黎氏语法形式化研究作了一个最新的综述,指出其在句式结构方面的优势和仍存在的不足;以黎氏语法图解法为原型改造设计出一种新型的汉语图解析句法,具体包括图形化的句法结构表示和结构化的XML存储格式。