神经网络规则抽取研究

尽管神经网络已经在很广泛的领域得到应用,但由于训练好的神经网络中的知识不易于理解,神经网络被视为一个典型的“黑箱”结构。从神经网络中抽取规则来表示其中隐含的知识是解决个问题的一个有效的手段,将对一些具有代表性的神经网络规则抽取算法进行综述分析,并提出一些未来的研究重点。     

神经网络规则抽取

神经网络是一种黑箱模型，其学习到的知识蕴涵在大量连接权中，不仅影响了用户对利用神经计算技术构建智能系统的信心，还阻碍了神经网络技术在数据挖掘领域的应用，由于对神经网络规则抽取进行研究有助于解决上述问题，因此该领域已成为机器学习和神经计算界的研究热点，介绍了神经网络规则抽取研究的历史，综述了国际研究现状，对关于这方面研究的不同看法进行了讨论，并指出该领域中一些值得进一步研究的内容。     

基于免疫克隆选择算法的神经网络规则抽取

神经网络的不可解释性一直是限制其发展的固有缺陷,该文从神经网络的功能性观点出发,提出基于免疫克隆选择算法的神经网络规则抽取方法。将免疫克隆策略用于神经网络的规则抽取中,对已经训练好的神经网络隐层神经元输出值进行聚类,缩小搜索空间,抽取出理解性好、简洁的符号规则。该方法不依赖于具体的网络结构和训练算法,可以方便地应用于各种分类器型神经网络。实验结果表明该方法的实用性和可行性。     

FTART2神经网络及其规则抽取研究

本文提出了一种基于域理论的自适应谐振神经网络算法ＦＴＡＲＴ２,算法将自适应谐振理论和域理论的优点有要结合,不需人为设置隐层神经元,学习速度快,精度高。此外,本文不提出了一种从ＦＴＡＲＴ２网络中抽取符号规则的方法。实验结果表明,使用该方法抽取出的符号规则可理解性好,预测精度高,可以很好地描述了ＦＴＡＲＴ２网络的性能。     

一种基于神经网络的规则获取方法

分类问题是数据挖掘中的一个重要问题，分类目的就是寻找规则，具体来说，就是从给定的数据集合中找出能把数据集划分成不相交的若干个组的规则，目前已有的在大型数据库中挖掘分类规则的数据挖掘方法，主要还是基于符号学习机制的决策树方法．本文研究了一种新型的规则抽取算法，能够从神经网络中抽取出较好的规则．     

一种新的基于结构的神经网络规则抽取方法

针对已有规则抽取方法的不足,提出一种新的基于结构的神经网络规则抽取方法(SRE).SRE在保证网络精度的情况下,自动确定最优的剪枝参数,而且抽取出的规则更为简练.最后以银行贷款风险预警为例,分别采用SRE和RX两种方法进行规则抽取,并对结果进行比较分析,结果表明,SRE抽取出的规则不仅简单,而且效果更好.     

神经网络规则抽取评估方法

神经网络规则抽取是神经网络领域的一个重要方向,但是对抽取的规则评估算法却很少.针对这一问题,提出了神经网络抽取规则评估方法.首先证明所有的规则形式都可以统一为区间的形式,然后在区间算法的基础上提出规则评估方法.评估的标准有四个:覆盖性、准确性、矛盾性,以及冗余性.由于规则的矛盾性和冗余性是规则之间的问题,所以该文仅仅研究规则的覆盖性和准确性,提出了覆盖性判断定理,并提出了覆盖性、准确性判断算法.实例证实了该算法的有效性.     

基于免疫规划的神经网络规则抽取算法

建立图像视觉特征和情感语义的映射关系是人工智能方向的研究热点。从神经网络的功能性观点出发,提出了一种基于免疫规划的图像情感的规则抽取算法。在对已标注情感的中国情绪图片库(CAPS)中图像颜色特征进行量化的基础上,算法将训练好的神经网络的隐层神经元输出值进行聚类,缩小搜索空间,抽取出精度高,可理解性好的符号规则,完成了图像低阶特征到高阶情感的映射。实验结果表明该方法的实用性和可行性。     

基于聚类遗传算法的神经网络规则抽取及应用

提出了一种基于Gabor滤波器和神经网络规则抽取的烘焙面包品质分类方法。滤波器对烘焙面包切片区域灰度图像直接进行小波变换,用能量均值"和均方差!来表示灰度图像的纹理特征,并基于对隐层神经元输出值聚类的遗传算法实现了对面包品质分类的规则抽取。实验结果表明了该方法的实用性和可行性。     

基于神经网络规则抽取的个人信用评估模型研究

摘要：本文针对传统个人信用评估体系中的不足,提出了一种基于神经网络规则抽取的个人信用评估模型。通过对已经训练好的人工神经网络隐层激活值进行聚类分析,减少搜索空间,进而抽取出理解性好、简洁的符号规则。从而产生一组可理解的描述,这组描述能最大限度的模拟已经训练好的原神经网络的推理预测行为。使得评价中的人为因素得到弱化,克服了神经网络在个人信用评估中的“黑箱”性缺陷,增强了模型的稳健性：和可理解性。     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

基于深度神经网络的关系抽取方法研究

关系抽取作为提取信息的有效技术之一,一直是机器学习中的一个重要任务。已有方法主要依赖大量的人工制作特征,近年来,随着深度神经网络的广泛应用,为关系抽取提供了一种新视角。围绕关系抽取任务,本文展开基于卷积神经网络(CNN)的关系抽取研究,在一个公开数据集上进行了系列CNN的实验对比,发现CR-CNN模型的性能最好,取得了84.1%的F1值。     

神经网络规则提取及其在特征带识别中的应用

基于神经网络的规则提取通常只是针对某些特定的数据集，缺乏领域专家的鉴别，实际应用效果难以判定。本文针对分子标记特征带识别这一实际问题，在准确率损失尽量小的情况下剪枝训练好的神经网络，利用同符号规则提取算法（SSRE）抽取规则，避免了繁琐的规则抽取过程。实验表明此方法的效果良好，结果得到生物专家的认可。     

Knowledge Extraction from Transducer Neural Networks

Previously neural networks have shown interesting performance results for tasks such as classification, but they still suffer from an insufficient focus on the structure of the knowledge represented therein. In this paper, we analyze various knowledge extraction techniques in detail and we develop new transducer extraction techniques for the interpretation of recurrent neural network learning. First, we provide an overview of different possibilities to express structured knowledge using neural networks. Then, we analyze a type of recurrent network rigorously, applying a broad range of different techniques. We argue that analysis techniques, such as weight analysis using Hinton diagrams, hierarchical cluster analysis, and principal component analysis may be useful for providing certain views on the underlying knowledge. However, we demonstrate that these techniques are too static and too low-level for interpreting recurrent network classifications. The contribution of this paper is a particularly broad analysis of knowledge extraction techniques. Furthermore, we propose dynamic learning analysis and transducer extraction as two new dynamic interpretation techniques. Dynamic learning analysis provides a better understanding of how the network learns, while transducer extraction provides a better understanding of what the network represents.     

基于模糊加权神经网络的模糊规则自动获取

如何实现模糊规则的自动获取一直是模糊系统中的一个难题，文中在充分研究了模糊加权神经网络和遗传算法的基础上，给出了一种能够自动获取模糊规则的剪枝算法，并以此建立了新的网络模型。模拟结果验证了该模型的有效性。     

Neural Networks and Structured Knowledge: Rule Extraction and Applications

As the second part of a special issue on Neural Networks and Structured Knowledge, the contributions collected here concentrate on the extraction of knowledge, particularly in the form of rules, from neural networks, and on applications relying on the representation and processing of structured knowledge by neural networks. The transformation of the low-level internal representation in a neural network into higher-level knowledge or information that can be interpreted more easily by humans and integrated with symbol-oriented mechanisms is the subject of the first group of papers. The second group of papers uses specific applications as starting point, and describes approaches based on neural networks for the knowledge representation required to solve crucial tasks in the respective application.The companion first part of the special issue [1] contains papers dealing with representation and reasoning issues on the basis of neural networks.     

人工神经网络的符号解释

提出了人工神经网络符号解释的基本过程，并详细阐述了该过程中的三个重要步骤：网络的构建、规则的提取以及规则的评估。