从预测模型中提取规则

知识挖掘（ＫＤＤ）应该不仅能够提供较精确的预测结果,而且提取的规则也应该是可以解释的。讨论了从预测模型中进行规则抽取的一般技术,并介绍了作者用神经网络方法抽取规则的算法。     

神经网络规则抽取

神经网络是一种黑箱模型，其学习到的知识蕴涵在大量连接权中，不仅影响了用户对利用神经计算技术构建智能系统的信心，还阻碍了神经网络技术在数据挖掘领域的应用，由于对神经网络规则抽取进行研究有助于解决上述问题，因此该领域已成为机器学习和神经计算界的研究热点，介绍了神经网络规则抽取研究的历史，综述了国际研究现状，对关于这方面研究的不同看法进行了讨论，并指出该领域中一些值得进一步研究的内容。     

知识管理系统的神经网络规则抽取算法研究

神经网络与知识管理系统的结合,通过神经网络规则抽取算法来解决专业领域的实际问题,实现了人工智能领域网络机制与符号机制的结合,保证了知识获取的时效性和质量性。     

基于文档结构与深度学习的金融公告信息抽取

针对金融类公告中的结构化数据难以被高效快速提取的问题,提出一种基于文档结构与Bi-LSTM-CRF网络模型的信息抽取方法。自定义一种文档结构树生成算法,利用规则从文档结构树中抽取所需节点信息;构建基于信息句触发词的局部句子规则,抽取包含结构化字段信息的信息句;将字段的结构化信息抽取看作序列标注问题,分词时加入领域知识词典,构建基于Bi-LSTM-CRF的神经网络模型进行字段信息识别。实验结果表明,该信息抽取方法可以满足多类型公告的结构化信息提取,最终的信息句与字段信息抽取的平均F1值均可达到91%以上,验证了该方法在产品业务中的可行性和实用性。     

基于最大熵的越南语新闻事件元素抽取方法

越南与中国一水相依,是重要的政治、军事和经济合作邻国,然而针对越南语新闻事件元素的提取研究非常匮乏。本文针对越南语特点,提出一种基于最大熵模型的越南语新闻事件元素抽取方法。该方法针对越语句子结构和词汇语义的特点,采用最大熵算法,选取上下文、邻近触发词以及邻近实体作为特征,定义特征模版,训练获得越南语新闻事件模型,实现新闻事件元素抽取。抽取实验结果表明本文提出的方法抽取新闻事件元素的准确率达到80%以上。     

神经网络规则抽取研究

尽管神经网络已经在很广泛的领域得到应用,但由于训练好的神经网络中的知识不易于理解,神经网络被视为一个典型的“黑箱”结构。从神经网络中抽取规则来表示其中隐含的知识是解决个问题的一个有效的手段,将对一些具有代表性的神经网络规则抽取算法进行综述分析,并提出一些未来的研究重点。     

基于BP神经网络的小麦病害诊断知识获取

为了从神经网络中获取易于理解的知识,以小麦病害诊断为例,研究了BP神经网络的规则抽取,提出一种基于结构分析的BP神经网络规则抽取方法.采用带惩罚项的交错熵误差函数作为误差函数,通过对训练好的神经网络进行剪枝、权重分析并设定阈值,从BP神经网络中抽取产生式规则.     

规则抽取：是用神经网络还是为神经网络？

传统的神经网络是一种黑箱模型，其学习到的知识蕴涵在大量连接权中，这严重阻碍了神经网络技术在对可理解性要求较强的领域的应用。由于从神经网络中抽取出易于理解的符号规则有助于解决该问题，因此，神经网络规则抽取在上世纪90年代成为神经计算界的一个研究热点。     

基于堆叠降噪自编码器的神经–符号模型及在晶圆表面缺陷识别

深度神经网络是具有复杂结构和多个非线性处理单元的模型, 通过模块化的方式分层从数据提取代表性特征, 已经在晶圆缺陷识别领域得到了较为广泛的应用. 但是, 深度神经网络在应用过程中本身存在“黑箱”和过度依赖数据的问题, 显著地影响深度神经网络在晶圆缺陷识别的工业可应用性. 提出一种基于堆叠降噪自编码器的神经–符号模型. 首先, 根据堆叠降噪自编码器的网络特点采用了一套符号规则系统, 规则形式和组成结构使其可与深度神经网络有效融合. 其次, 根据 网络和符号规则之间的关联性提出完整的知识抽取与插入算法, 实现了深度网络和规则之间的知识转换. 在实际工业晶圆表面图像数据集WM-811K上的试验结果表明, 基于堆叠降噪自编码器的神经–符号模型不仅取得了较好的缺陷探测与识别性能, 而且可有效提取规则并通过规则有效描述深度神经网络内部计算逻辑, 综合性能优于目前经典的深度神经网络.     

基于BP网络的心电波形分析识别

讨论了采用BP(Back—Propagation)网络来识别给定的心电图的有关技术。这一课题涉及多个知识领域,神经计算、模式识别、数值计算及心电图学等。构成系统的主要思想是:将给定的心电采样数据经过K—L展开后,提取出有关给定数据的特征向量,并将此特征向量作为神经网络的输入,神经网络经过一系列的学习,将这些特征信息转换成相应的知识规则,存放在由网络形成的知识库中。在识别给定信号时,首先也是进行给定数据特征抽取,然后将所得的特征向量输入神经网络,神经网络运用知识库中存放的规则来识别给出的数据,并输出相关的信息。     

Integrated approach of cognitive maps and neural networks using qualitative information on the World Wide Web: the KBNMiner

Abstract: In this paper, we propose a method for integrating cognitive maps and neural networks to gain competitive advantage using qualitative information acquired from news information on the World Wide Web. We have developed the KBNMiner, which is designed to represent the knowledge of domain experts with cognitive maps, to search and retrieve news information on the Internet according to the knowledge and to apply the information to a neural network model. In addition, we investigate ways to train neural networks more effectively by separating the learning data into two groups on the basis of event information acquired from news information. To validate our proposed method, we applied 180,000 news articles to the KBNMiner. The experimental results are found to support our proposed method through tenfold cross‐validation.     

基于卷积神经网络与篇章结构的足球新闻自动生成方法

当前的足球比赛新闻通常是由专家或记者手工撰写的,足球比赛新闻的手工写作既费时又低效。随着在线直播平台与社交媒体的流行,体育网络直播脚本大幅增加,但网络直播脚本通常只记载一场比赛的流水,具有冗长且重点模糊的特性,不适宜于赛后直接阅读。为了解决以上问题,在比赛之后,可以基于直播脚本撰写和发布足球比赛新闻。因此,该文提出一种从网络直播脚本直接生成足球比赛新闻的方法。该方法基于卷积神经网络和足球新闻篇章结构,从足球比赛过程中的多个时间段提取出已发生的重要事件,进而抽取相关句子来生成足球新闻,同时,该方法还会针对比赛评价生成一个简短总结。实验结果表明,使用该方法从网络直播脚本生成足球新闻是可行的。     

基于CNN-BLSTM-CRF模型的生物医学命名实体识别

命名实体识别是自然语言处理任务的重要步骤。近年来,不依赖人工特征的神经网络在新闻等通用领域命名实体识别方面表现出了很好的性能。然而在生物医学领域,许多实验表明基于领域知识的人工特征对于神经网络模型的结果影响很大。因此,如何在不依赖人工特征的情况下获得较好的生物医学命名实体识别性能是有待解决的问题。该文提出一种基于CNN-BLSTM-CRF的神经网络模型。首先利用卷积神经网络(CNN)训练出单词的具有形态特征的字符级向量,并从大规模背景语料训练中得到具有语义特征信息的词向量,然后将二者进行组合作为输入,再构建适合生物医学命名实体识别的BLSTM-CRF深层神经网络模型。实验结果表明,不依赖任何人工特征,该文方法在Biocreative Ⅱ GM和JNLPBA2004生物医学语料上都达到了目前最好的结果,F-值分别为89.09%和74.40%。     

基于神经自回归分布估计的涉案新闻主题模型构建方法

神经主题模型能有效获取文本的深层语义特征,但现有的神经主题模型忽略了外部知识对获取主题分布的帮助。因此,针对涉案主题分析任务,该文提出了一种基于神经自回归分布估计的涉案新闻主题模型构建方法。以案件要素作为外部知识对iDocNADEe模型进行了扩展,通过计算案件要素与主题词的相关度来构建注意力机制对iDocNADEe模型双向编码的隐状态进行加权,利用神经自回归算法计算加权后的主题词双向隐状态的自回归条件概率实现涉案新闻文本主题模型构建。实验结果表明,该文提出方法较基线模型困惑度降低了0.66%、主题连贯性提高了6.26%,并且在文档检索精确率方面也明显高于基线模型。     

基于自动弱标注数据的跨领域命名实体识别

近年来,在大规模标注语料上训练的神经网络模型大大提升了命名实体识别任务的性能.但是,新领域人工标注数据获取代价高昂,如何快速、低成本地进行领域迁移就显得非常重要.在目标领域仅给定无标注数据的情况下,该文尝试自动构建目标领域的弱标注语料并对其建模.首先,采用两种不同的方法对无标注数据进行自动标注;然后,采用留"同"去"异...     

Cross-modality based celebrity face naming for news image collections

For automatically mining the underlying relationships between different famous persons in daily news, for example, building a news person based network with the faces as icons to facilitate face-based person finding, we need a tool to automatically label faces in new images with their real names. This paper studies the problem of linking names with faces from large-scale news images with captions. In our previous work, we proposed a method called Person-based Subset Clustering which is mainly based on face clustering for all face images derived from the same name. The location where a name appears in a caption, as well as the visual structural information within a news image provided informative cues such as who are really in the associated image. By combining the domain knowledge from the captions and the corresponding image we propose a novel cross-modality approach to further improve the performance of linking names with faces. The experiments are performed on the data sets including approximately half a million news images from Yahoo! news, and the results show that the proposed method achieves significant improvement over the clustering-only methods.     

基于产业互联网络节点创新要素的链路预测方法

产业互联网络是一种为“智造”赋能的异质跨界合作网络,会促进创新要素在节点间流通,而节点创新要素又会影响合作链路预测结果。针对这一问题,提出一种基于节点创新要素的链路预测方法。首先阐述产业互联网络的概念和特性,分析网络中创新要素的流通方式;然后分别从两个维度测算网络节点的创新要素量;最后综合利用节点局部信息和节点创新要素信息计算节点相似性。在四个产业互联网络数据集的实验结果表明,所提方法与其他方法相比具有更好的预测性能。     

加权模糊推理网络及在管道损伤诊断中的应用*

针对油气管道运营维护中的管道腐蚀损伤检测问题,提出了一种加权模糊推理网络的诊断模型。模型将神经网络与模糊逻辑进行融合,可以实现部分证据的自下而上处理和自上而下处理的结合,融合了模糊逻辑能够较完整地表达领域规则和先验知识以及神经网络自适应环境的优点。具体给出了加权模糊推理网络的结构模型和学习算法,依据模糊推理规则的量化表示形式和微分方程数值解的动力学思想能较好地避免网络学习陷入局部极值点。该算法具有较好的稳定性和有效性。实际资料处理结果表明,该模型对解决管道腐蚀损伤诊断问题具有良好的适应性和实用性。     

基于dropout正则化的半监督域自适应方法

针对机器学习中训练样本和测试样本概率分布不一致的问题,提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发,在源域数据中添加少量带标签的目标域数据,使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导,即使没有丰富的标签信息,神经网络依然可以很好地拟合目标域数据。实验结果表明,此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法,并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。