开放领域知识图谱问答研究综述

知识图谱问答是通过处理用户提出的自然语言问题,基于知识图谱的某种形式,从中获取相关答案的过程.由于知识规模、计算能力及自然语言处理能力的制约,早期知识库问答系统被应用于限定领域.近年来,随着知识图谱的发展,以及开放领域问答数据集的陆续提出,知识图谱已用于开放领域问答研究与实践.以技术发展为主线,对开放领域知识图谱问答进行综述.首先,介绍五种基于规则模板的开放领域知识图谱问答方法:传统语义解析、传统信息检索、三元组匹配、话语模板和查询模板,这类方法主要依赖人工定义的规则模板完成问答工作.其次,描述五种基于深度学习的方法,这类方法采用神经网络模型完成问答过程的各类子任务,包括知识图谱嵌入、记忆网络、基于神经网络的语义解析、基于神经网络的查询图、基于神经网络的信息检索.接着,介绍开放领域知识图谱问答常用的4个通用领域知识图谱和11个开放领域问答数据集.随后,按照问题的难易程度选择3个经典问答数据集比较各问答系统的性能指标,对比不同方法间的性能差异并进行分析.最后,展望开放领域知识图谱问答的未来研究方向.     

CS-Softmax:一种基于余弦相似性的Softmax损失函数

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出 了一种基于余弦相似性的...     

桥梁检测领域知识图谱构建与知识问答方法

针对桥梁检测报告中数据抽取融合不充分以及管养决策过程中知识问答服务不足的问题,提出一种桥梁检测领域知识图谱构建与知识问答方法。首先,采用Web本体语言（OWL）对桥梁检测领域知识进行形式化语义建模,定义了该领域的概念、属性及公理约束;然后,采用基于Transformer编码器、双向长短时记忆（BiLSTM）网络和条件随机场（CRF）的联合模型以及网格化长短时记忆（Lattice-LSTM）网络对细粒度息进行抽取,并将融合后的实例数据存储在Neo4j图数据库中,实现知识图谱化表示;最后,采用朴素贝叶斯分类算法进行问题模板匹配,根据匹配结果生成结构化查询,并以自然语言形式返回问题答案,实现细粒度领域信息的交互式问答。在与卷积神经网络（CNN）、BiLSTM的对比实验中,该方法在命名实体识别、关系抽取任务中的F1值分别为93.28%、74.00%,优于上述神经网络模型。实验结果表明,所提方法能较好地适应桥梁检测领域交互式问答实际需求。     

基于正负样本和Bi-LSTM的文本相似度匹配模型

相似度匹配是自然语言处理领域一个重要分支,也是问答系统抽取答案的重要途径之一.本文提出了一种基于正负样本和Bi-LSTM的文本相似度匹配模型,该模型首先为了提升问题和正确答案之间的相似度,构建正负样本问答对用于模型训练;其次为了解决分词错误引起的实验误差,采用双层嵌入词向量方法进行预训练;再次为了解决注意力机制导致的特征向量向后偏移的问题,在特征提取之前,采取内部注意力机制方法;然后为了保留重要的时序特性,采用Bi-LSTM神经网络进行数据训练;最后为了能在语义层次上计算相似度,提出一种包含语义信息的相似度计算函数.将本文提出的文本相似度匹配模型在公共数据集DuReader上进行了仿真实验,并和其他模型进行对比分析,实验结果表明,提出的模型不仅准确率高且鲁棒性好,top-1准确率达到78.34%.     

基于注意力和字嵌入的中文医疗问答匹配方法

针对当前的分词工具在中文医疗领域无法有效切分出所有医学术语,且特征工程需消耗大量人力成本的问题,提出了一种基于注意力机制和字嵌入的多尺度卷积神经网络建模方法。该方法使用字嵌入结合多尺度卷积神经网络用以提取问题句子和答案句子不同尺度的上下文信息,并引入注意力机制来强调问题和答案句子之间的相互影响,该方法能有效学习问题句子和正确答案句子之间的语义关系。由于中文医疗领域问答匹配任务没有标准的评测数据集,因此使用公开可用的中文医疗问答数据集（cMedQA）进行评测,实验结果表明该方法优于词匹配、字匹配和双向长短时记忆神经网络（BiLSTM）建模方法,并且Top-1准确率为65.43%。     

基于注意力混合模型的中文医疗问答匹配

将深度学习应用于医疗问答是目前最热门的话题之一,一般使用单一神经网络(CNN或RNN)获取句子间语义信息来提高匹配精度.但是该方法只能获取句子中一部分或单侧的信息,忽略了其他丰富而复杂的语义关系,从而导致匹配结果不够理想.针对此问题提出一种将CNN网络和BiGRU网络相结合并引入注意力机制的混合模型—ABiGRU-CNN,该模型能够有效地提取问答对中复杂语义信息.在cMedQA数据集上的实验表明,所提出的混合模型比现有方法具有更高的匹配精度.     

具有个人信息的对话生成模型研究

赋予聊天机器人个人信息对于提供自然的对话至关重要,对此提出具有个人信息的对话模型,包括问题分类、个人信息回复和开放域对话三个模块.在问题分类模块中,分析测试不同分类方法的效果;个人信息回复模块利用BiLSTM进行语义信息编码,训练采用对比损失函数,同时实验对比多种匹配模型;开放域对话模型以最大互信息为目标函数,减少无意...     

基于深度学习的问答匹配方法

面向中文问答匹配任务,提出基于深度学习的问答匹配方法,以解决机器学习模型因人工构造特征而导致的特征不足和准确率偏低的问题。在该方法中,主要有三种不同的模型。首先应用组合式的循环神经网络（RNN）与卷积神经网络（CNN）模型去学习句子中的深层语义特征,并计算特征向量的相似度距离。在此模型的基础上,加入两种不同的注意力机制,根据问题构造答案的特征表示去学习问答对中细致的语义匹配关系。实验结果表明,基于组合式的深度神经网络模型的实验效果要明显优于基于特征构造的机器学习方法,而基于注意力机制的混合模型可以进一步提高匹配准确率,其结果最高在平均倒数排序（MRR）和Top-1 accuray评测指标上分别可以达到80.05%和68.73%。     

融合量子干涉信息的双重特征文本表示模型

在信息检索领域,量子干涉理论已应用于文档相关性、次序效应等核心问题的研究中,旨在建模用户认知引起的类量子干涉现象.文中从语言理解的需求出发,利用量子理论的数学工具分析语义组合过程中存在的语义演化现象,提出融合量子干涉信息的双重特征文本表示模型(Quantum Interference Based Duet-Feature Text Representation Model, QDTM).模型以约化密度矩阵为语言表示的核心组件,有效建模维度级别的语义干涉信息.在此基础上,构建捕获全局特征信息与局部特征信息的模型结构,满足语言理解过程中不同粒度的语义特征需求.在文本分类数据集和问答数据集上的实验表明,QDTM的性能优于量子启发的语言模型和神经网络文本匹配模型.     

基于表示学习的知识库问答研究进展与展望

面向知识库的问答(Question answering over knowledge base, KBQA)是问答系统的重要组成. 近些年, 随着以深度学习为代表的表示学习技术在多个领域的成功应用, 许多研究者开始着手研究基于表示学习的知识库问答技术. 其基本假设是把知识库问答看做是一个语义匹配的过程. 通过表示学习知识库以及用户问题的语义表示, 将知识库中的实体、关系以及问句文本转换为一个低维语义空间中的数值向量, 在此基础上, 利用数值计算, 直接匹配与用户问句语义最相似的答案. 从目前的结果看, 基于表示学习的知识库问答系统在性能上已经超过传统知识库问答方法. 本文将对现有基于表示学习的知识库问答的研究进展进行综述, 包括知识库表示学习和问句(文本)表示学习的代表性工作, 同时对于其中存在难点以及仍存在的研究问题进行分析和讨论.     

不平衡训练数据下的基于生成对抗网络的轴承故障诊断

近年来,随着深度学习模型及其衍生模型在故障诊断领域中的成功应用,基于深度学习的故障诊断方法开始成为研究主流.但是当训练数据不均衡时,通过深度学习从不平衡的数据中提取的故障特征是不准确的,训练得到的神经网络模型的分类结果往往倾向多数类,极大影响了分类效果.针对这种情况,本文结合卷积神经网络设计了一种新的生成对抗网络模型(Convolutional Wasserstein Generative Adversarial Network,CWGAN).首先卷积神经网络从故障样本中提取故障特征,并将其作为对抗网络的输入,然后由解码器网络解码来自生成器的故障特征向量来生成故障样本,同时将提取的故障特征和训练过程中的故障诊断误差添加至生成器训练的损失函数中.实验表明本文提出的方法相比于基线模型(GAN-CNN)的平均F1值提高4%,较好地解决数据不平衡的分类问题.     

CNN-XGBoost混合模型在音频场景分类中的应用

在拥有海量数据和强大计算能力的人工智能时代,音频场景分类成为了场景理解的重要研究内容之一.针对音频场景分类建模困难和精确率不高的问题,本文提出一种基于卷积神经网络和极端梯度提升算法相结合的系统模型.首先,将预处理后的音频信号转换成梅尔声谱图,然后输入到卷积神经网络中完成抽象特征提取,最后利用极端梯度提升算法进行分类.为了评估模型的有效性,在城市音频场景UrbanSound8K数据集上进行分类性能测试,结果表明,该混合算法模型对音频场景的分类精确率可以达到89%,优于传统的神经网络算法模型,说明该混合模型对音频场景分类问题的有效性.     

用于非精确图匹配的改进注意图卷积网络

将传统图卷积网络模型应用于非精确图匹配时,在卷积步骤早期易存在节点特性以及节点之间拓扑特征的损失,从而影响导致匹配性能.针对这一问题,提出了改进注意图卷积网络模型.使用相对较少的参数以端到端的方式学习分层表示,利用自注意机制来区分应该丢弃或保留的节点.首先利用注意图卷积网络来自动学习不同跳上邻域的重要程度;其次,加入自注意池化层,从矩阵图嵌入的各个方面概括图表示;最后,在多个标准图数据集中进行训练和测试.实验结果表明,相较于目前最先进的图核和其他深度学习算法,该方法在标准图数据集上实现了更优的图分类性能.     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

Multi-label convolutional neural network based pedestrian attribute classification

Recently, pedestrian attributes like gender, age, clothing etc., have been used as soft biometric traits for recognizing people. Unlike existing methods that assume the independence of attributes during their prediction, we propose a multi-label convolutional neural network (MLCNN) to predict multiple attributes together in a unified framework. Firstly, a pedestrian image is roughly divided into multiple overlapping body parts, which are simultaneously integrated in the multi-label convolutional neural network. Secondly, these parts are filtered independently and aggregated in the cost layer. The cost function is a combination of multiple binary attribute classification cost functions. Experiments show that the proposed method significantly outperforms the SVM based method on the PETA database.     

多光谱遥感数据直接分类变化检测的神经网络方法研究

变化检测是近年发展起来的一种遥感时序数据处理方法,用于识别遥感数据在不同时间所记录的地表变化信息。采用传统的基于统计学的分类算法检测两个时期多波段遥感数据变化信息时,如果采取直接分类变化检测的方法会出现统计数据结构的奇异性问题,表现在同一位置上出现不同的光谱特征值。因此,该文提出和实验了使用基于样本和数据权重的自组织特征映射神经网络(SOFM)直接分类检测变化信息的方法。结果表明,SOFM直接分类变化检测法与两个时期最大似然方法分类后相减的结果相比,检测精度有显著提高。     

模糊神经网络及其在时间序列分析中的应用

给出了一种新型的模糊神经网络模型.该模型不需要领域专家的知识进行指导,而是通过对样本竞争分类产生模糊规则.每类样本对应于一条模糊规则,每条模糊规则的后件部分为一个对本类样本进行过学习训练的神经网络.文章以模糊神经网络在时间序列分析中的应用为例,通过与传统的时间序列分析方法以及前向神经网络方法的对比,说明了新型模糊神经网络的有效性.     

基于相空间重构的汇率预测研究

汇率在宏观经济政策、商业经营和个人决策制定上的作用越来越重要,使其成为了研究的热点。根据混沌动力系统的相空间延迟坐标重构理论,基于支持向量机的强大的非线性映射能力,提出了一种基于支持向量机回归的超短期汇率预测方法,并建立了模型,对美元港币的即时汇率进行了实证计算,且与BP神经网络模型进行了比较。结果表明,所建立的模型能很好地跟踪即时汇率的变化趋势,预测精度比较高且算法运行速度比BP神经网络模型快得多。     

一种基于联合深度神经网络的食品安全信息情感分类模型

针对因中文食品安全文本特征表达困难,而造成语义信息缺失进而导致分类器准确率低下的问题,提出一种基于深度神经网络的跨文本粒度情感分类模型。以食品安全新闻报道为目标语料,采用无监督的浅层神经网络初始化文本的词语级词向量。引入递归神经网络,将预训练好的词向量作为下层递归神经网络(Recursive Neural Network)的输入层,计算得到具备词语间语义关联性的句子特征向量及句子级的情感倾向输出,同时动态反馈调节词向量特征,使其更加接近食品安全特定领域内真实的语义表达。然后,将递归神经网络输出的句子向量以时序逻辑作为上层循环神经网络(Recurrent Neural Network)的输入,进一步捕获句子结构的上下文语义关联信息,实现篇章级的情感倾向性分析任务。实验结果表明,联合深度模型在食品安全新闻报道的情感分类任务中具有良好的效果,其分类准确率和F1值分别达到了86.7%和85.9%,较基于词袋思想的SVM模型有显著的提升。     

Integrated feature architecture selection

In this paper, we present an integrated approach to feature and architecture selection for single hidden layer-feedforward neural networks trained via backpropagation. In our approach, we adopt a statistical model building perspective in which we analyze neural networks within a nonlinear regression framework. The algorithm presented in this paper employs a likelihood-ratio test statistic as a model selection criterion. This criterion is used in a sequential procedure aimed at selecting the best neural network given an initial architecture as determined by heuristic rules. Application results for an object recognition problem demonstrate the selection algorithm's effectiveness in identifying reduced neural networks with equivalent prediction accuracy.