由神经网络提取规则的一种方法及其应用

提出一种由预处理和规则提取两阶段组成的方法从神经网络中提取规则，预处理阶段包含有动态修正、聚类和删枝３部分。动态修正是自动生成或由初始规则集构造出全联接或非全联接网络初步拓扑结构；聚类和删枝分别删截掉不重要或多余的隐含节点和联接，从而可以得到最简洁和规模小的拓扑结构，成为提取规则的基础，提出了规则提取算法并用于已删截好的网络提取规则。该方法应用于美国ＡＤ报告中气象云图的数据，提取出规则集，经过测试     

神经网络的模糊规则提取

神经网络的“黑箱问题”为该技术的广泛应用带来了一定限制,由于神经网络在一定条件下可与模糊系统相互转换,从神经网络中提取模糊规则为“黑箱问题”的解决提供了有效手段。本文在阐述基本概念的同时,分析了把连续值网络转化为二值网络和从神经网络到模糊系统的转换进行模糊规则提取的两类方法,通过解决Iris问题的实验结果比较了两类方法的性能。     

基于规则提取的粗-模糊神经网络及其应用

本文基于粗集理论中模糊类对给定范畴的隶属度,给出了一种利用决策表进行规则提取的新方法LBR(Learning By Rough sets),并在此基础上提出了一种新的粗-模糊神经网络(RFNN)模型,以降水量预测为例,得到了很好的拟合效果,从而具有广泛的应用前景.     

卷积神经网络在复杂核素识别中的应用

针对传统核素识别方法对高本底、低探测率的复杂伽马能谱存在特征提取困难、建模复杂以及识别率低等问题,提出了一种使用卷积神经网络(CNN)进行核素识别的方法。利用CNN可自适应、隐式地提取图像特征并进行分类学习的特点,搭建多层卷积神经网络的核素识别模型,通过网络模型特征提取层和分类器的训练,获取深层次的核素特征描述,实现多核素识别。基于蒙特卡洛分析软件Geant4仿真数据进行了对比分析实验,结果表明:本文提出的方法其时间复杂度为O(n~2),所提方法避免了复杂的显式特征提取过程,能够对IAEA规定的部分常见单一及混合核素实时地多核素识别。     

神经网络的规则提取研究

文中论述了作为解决神经网络“黑箱问题”有效手段的规则提取方法,分析了基于结构分解和输入输出映射的神经网络规则提取的各种算法,概括了它们的基本思想并分析了它们的优劣,在相似权值法的基础上提出ＣＳＷ算法,有效解决了连续值输入网络的规则提取问题,将ＣＳＷ算法应用于ＩＲＩＳ分类问题提取了良好的效果。     

带混合属性的神经网络规则提取方法

人工神经网络应用中最大的弊端是缺乏可理解性,而对结果的解释是任何一个完善的智能系统必备的基本特征.从神经网络中提取规则被公认为是解决该问题最有效的手段之一.因此,所提取规则的可理解程度成为衡量规则提取算法质量的重要指标.目前该领域的研究主要集中在分类规则的提取上.对于分类问题,待测模式的属性的取值可能是离散的,也可能是连续的.现有的算法针对全连续或者全离散的问题已取得较好的效果.但对既包含连续属性也包含离散属性的问题,已有算法未取得理想的结果.本文针对带混合属性的分类问题,提出了一种规则提取算法,在提取规则的可理解性上同时照顾了连续属性和离散属性.     

一种基于神经网络规则提取的新方法

提出了一种基于神经网络对信息系统进行规则提取的新方法。首先用粗糙集对信息系统进行属性约简,然后把条件属性作为输入,决策属性作为最后输出对多层神经网络进行训练。由相关定理对神经网络的运行结果做了理论分析,并以分析结果作为规则提取的重要依据。实验结果验证了新算法的有效性。新算法与几种传统算法相比规则提取的准确率有很大的提高。     

模糊神经网络在商业规则数据挖掘中的应用*

利用模糊系统对规则提取的优势弥补了神经网络可解释性差的缺点,并使用模糊神经网络来进行商业规则数据挖掘。通过建立模糊神经网络对训练好的网络进行剪裁,最后提取模糊商业规则,说明了商业规则数据挖掘的全过程,并对其中重点算法进行了描述和改进。给出的实例证明了该方法的有效性。     

形态、颜色特征及神经网络在肺癌细胞识别中的应用研究

通过形态、颜色的分析,对细胞图像进行形态特征和颜色特征的提取,在此基础上,用神经网络对细胞图像进行识别分类,实验结果表明,文中提出的方法可以取得很好的效果。     

一种基于信息熵的神经网络规则提取方法

从训练后的神经网络中提取规则已成为当前研究热点.已有的网络规则提取方法常需网络修剪和再训练过程,因而计算成本较高.本文提出一种基于信息熵的神经网络规则提取方法,它在网络无需重复训练的情况下能够从训练过的神经网络中快速提取规则.其算法主要有四个过程组成:网络训练、决策树构建和相关隐单元识别、相关输入连接的识别及规则产生.文章以异或问题和棉花病害诊断规则提取为例进行实验,结果表明,基于信息熵的神经网络规则提取方法是有效可行的.     

基于聚类遗传算法的神经网络规则抽取及应用

提出了一种基于Gabor滤波器和神经网络规则抽取的烘焙面包品质分类方法。滤波器对烘焙面包切片区域灰度图像直接进行小波变换,用能量均值"和均方差!来表示灰度图像的纹理特征,并基于对隐层神经元输出值聚类的遗传算法实现了对面包品质分类的规则抽取。实验结果表明了该方法的实用性和可行性。     

Neural Networks and Structured Knowledge: Rule Extraction and Applications

As the second part of a special issue on Neural Networks and Structured Knowledge, the contributions collected here concentrate on the extraction of knowledge, particularly in the form of rules, from neural networks, and on applications relying on the representation and processing of structured knowledge by neural networks. The transformation of the low-level internal representation in a neural network into higher-level knowledge or information that can be interpreted more easily by humans and integrated with symbol-oriented mechanisms is the subject of the first group of papers. The second group of papers uses specific applications as starting point, and describes approaches based on neural networks for the knowledge representation required to solve crucial tasks in the respective application.The companion first part of the special issue [1] contains papers dealing with representation and reasoning issues on the basis of neural networks.     

一种基于统计的神经网络规则抽取方法

从功能性观点出发,提出了一种基于统计的神经网络规则抽取方法.该方法利用统计技术对抽取出的规则进行评价,使其可以较好地覆盖示例空间.采用独特的连续属性处理方式,降低了离散化处理的主观性和复杂度.采用优先级规则形式,不仅使得规则表示简洁、紧凑,而且还免除了规则应用时所需要的一致性处理.该方法不依赖于具体的网络结构和训练算法,可以方便地应用于各种分类器型神经网络.实验表明,利用该方法可以抽取出可理解性好,简洁、紧凑,保真度高的符号规则.     

基于小波网络和多模块网络的数字识别

本文研究一种新的数字识别方法,这种方法用小波神经网络抽取特征、用多模块结构神经网络作模式分类器。小波分解的函数近似能力和人工神经网络的学习能力结合起来形成的小波神经网络,有着良好的特征描述性能,可用作特征抽取工具。多模块结构的神经网络将一个k类的模式分类问题转换为k个互相独立的2类分类问题。这种结构将一个复杂的分类问题化解为多个简单的分类问题,各个模块互相并联,各自负责一种模式的识别。用这种修改过的多模块结构网络的BP训练方法,可加速训练和提高训练精度,并且各模块可互相独立地进行训练。用美国NIST数字样本进行训练及测试,结果良好。这种方法可用于更广泛的平面图形识别。     

Extraction of Logical Rules from Neural Networks

Three neural-based methods for extraction of logical rules from data are presented. These methods facilitate conversion of graded response neural networks into networks performing logical functions. MLP2LN method tries to convert a standard MLP into a network performing logical operations (LN). C-MLP2LN is a constructive algorithm creating such MLP networks. Logical interpretation is assured by adding constraints to the cost function, forcing the weights to ±1 or 0. Skeletal networks emerge ensuring that a minimal number of logical rules are found. In both methods rules covering many training examples are generated before more specific rules covering exceptions. The third method, FSM2LN, is based on the probability density estimation. Several examples of performance of these methods are presented.     

Knowledge Extraction from Transducer Neural Networks

Previously neural networks have shown interesting performance results for tasks such as classification, but they still suffer from an insufficient focus on the structure of the knowledge represented therein. In this paper, we analyze various knowledge extraction techniques in detail and we develop new transducer extraction techniques for the interpretation of recurrent neural network learning. First, we provide an overview of different possibilities to express structured knowledge using neural networks. Then, we analyze a type of recurrent network rigorously, applying a broad range of different techniques. We argue that analysis techniques, such as weight analysis using Hinton diagrams, hierarchical cluster analysis, and principal component analysis may be useful for providing certain views on the underlying knowledge. However, we demonstrate that these techniques are too static and too low-level for interpreting recurrent network classifications. The contribution of this paper is a particularly broad analysis of knowledge extraction techniques. Furthermore, we propose dynamic learning analysis and transducer extraction as two new dynamic interpretation techniques. Dynamic learning analysis provides a better understanding of how the network learns, while transducer extraction provides a better understanding of what the network represents.     

基于神经网络及多层次信息融合的手写体数字识别

以信息融合技术为基础，提出了一种新的基于神经网络及多层次信息融合的手写体数字识别方法。该方法通过提取字符图像不同机制的4个互补特征，组合形成6个融合特征，利用优化的BP神经网络算法，对多融合特征进行识别分类，然后用神经网络对6个识别结果进行融合决策．实验结果表明，新的融合识别方法能有效提高识别率，并具有较高的系统可靠性。     

基于神经网络的在线调制自动识别

对未知的无线电信号的调制类型进行在线自动识别在军事对抗和频谱监控中有着非常重要的意义。提出了一种在线进行调制识别的系统模型,并给出一种基于神经网络的快速收敛分类器算法。仿真结果证实了该种方法的有效性。     

时空域深度卷积神经网络及其在行为识别上的应用

近年来深度卷积神经网络在静态图像识别上取得了较大进展,但在行为视频上建模运动信息的能力较弱。但是,运动信息是行为识别区别于静态图像识别的关键。基于滤波器响应积提出了时空域深度卷积神经网络。该网络先将相邻帧对应的卷积核分为两组,近似地形成傅里叶基函数对,后续的乘法层将不同帧产生的响应两两相乘后再输入加法层求和,从而将相邻帧映射到变换矩阵的特征值对应的不变子空间上,依靠相邻帧在不变子空间上的旋转角度检测它们之间的运动特征。理论分析证明,网络既对运动敏感,又对内容敏感。实验表明,该网络能对行为视频做出更准确的分类,并与近年出现的其他6种算法进行比较,结果体现了本算法的优越性。     

基于模糊神经网络的人脸识别方法研究

人脸识别是模式识别研究领域的重要课题,具有广阔的应用前景。本文提出了基于模糊神经网络的人脸识别方法。首先用最优鉴别分析方法提取人脸的最优鉴别矢量集,构成特征空间,然后在特征空间中设计模糊神经网络分类器。在ORL人脸图象库上的实验结果表明了该方法的有效性。