一个机器学习新算法——HP算法的实现及研究

在示例学习这一机器学习的分支领域中有两类非常重要的算法,其中一个以ID3为代表算法,其知识表示是决策树.另一类是AQ算法,其知识表示是产生式规则.ID3的优点是匹配速度快,但其规则数目太多.AQ虽然能生成数目相对ID3不十分多的产生式规则,但其匹配速度与ID3比较却慢的多.因此就示例学习这一领域提出了一个新算法--HP,这个算法是基于n维欧几里德空间中的超平面提出的,对一个正例集和一个反例集,这一算法的规则只有一个,其匹配速度比AQ要快得多.     

归纳学习算法CAP2的研究与应用

本文提出以实例空间中状态划分概率的大小作为启发式信息，以提供的正反实例集为依据，基于二叉树分类方法的示例式归纳学习算法ＣＡＰ２．它输出的分类规则是谓词演算表达式．该算法可根据用户对精度的要求控制分类深度，得到不同精度的规则，并能处理连续数据、噪音数据和利用用户提供的背景知识，既适用于同时给定概念的正、反例集的情况，也适用于只给正例集的情况．本文还介绍了ＣＡＰ２算法的应用情况，并和著名的ＩＤ３算法进行了比较．ＣＡＰ２已嵌入到一个自动知识获取系统．     

基于信息熵的扩张矩阵的启发式算法

示例学习中传统的扩张矩阵理论和启发式算法是建立在正反例子集一致、没有噪音的基础上的。然而实际应用领域中的噪音数据，导致许多归纳能力很差的规则产生。本文提出从统计学的角度，对扩张矩阵理论的定义加以扩充，利用信息熵和拉普拉斯错误估计函数构造了扩张矩阵启发式算法ＥＣＡ。将该算法应用于几个实际领域的学习问题并与示例学习系统ＡＥ５及ＡＱ１５等进行了比较。实际结果表明，ＥＣＡ生成的规则简单，归纳能力强，较为有     

多因素问题的启发式搜索算法MFRA

本文新定义了一类多因素启妇式搜索问题，提出了适于此类问题求解的启发式搜索算法ＭＦＲＡ。文中研究了算法ＭＦＲＡ的可采纳性质，单调限制性质和比较性质等。基于算法ＩＤＡ的思想，提出了ＭＦＲＡ的改进算法ＭＦＲＡ－ＩＤＡ，这一算法具有线性存储空间这一重要特性。     

通过评估示例中概念的重要性来解决多示例学习问题

在多示例学习问题中,训练数据集里面的每一个带标记的样本都是由多个示例组成的包,其最终目的是利用这一数据集去训练一个分类器,使得可以利用该分类器去预测还没有被标记的包。在以往的关于多示例学习问题的研究中,有的是通过修改现有的单示例学习算法来迎合多示例的需要,有的则是通过提出新的方法来挖掘示例与包之间的关系并利用挖掘的结果来解决问题。以改变包的表现形式为出发点,提出了一个解决多示例学习问题的算法——概念评估算法。该算法首先利用聚类算法将所有示例聚成d簇,每一个簇可以看作是包含在示例中的概念;然后利用原本用于文本检索的TF-IDF(Term Frequency-Inverse Document Frequency)算法来评估出每一个概念在每个包中的重要性;最后将包表示成一个d维向量——概念评估向量,其第i个位置表示第i个簇所代表的概念在某个包中的重要程度。经重新表示后,原有的多示例数据集已不再是"多示例",以至于一些现有的单示例学习算法能够用来高效地解决多示例学习问题。     

一种基于无或言规则集的改进的关联规则挖掘算法

提出了一个基于无或言规则集的改进的关联规则算法——IHPD,无或言规则集（disjunction-frce sets)是一种精简集表示。这一算法总结了HLinEx,IHP和DHP算法的优点,极大地改善了算法性能,并且使算法的使用不仅仅局限于长类型的频繁项目集挖掘,实验结果表明IHPD算法在性能上比HLinEx更高效。     

一种新的决策树归纳学习算法

本文不示例学习的重要分枝－－决策树归纳学习进行了分析探讨，从示例学习最优化的角度分析了决策树归纳学习的优化原则，指出了以往的以ＩＤ３为代表的归纳学习算法所固有的缺陷，并提出了一种新的基于概率的决策树归纳学习算法ＰＩＤ，ＰＩＤ在扩展属性的选择上仍采用基于信息增益率的方法，但在树上的扩展过程中，采用属性聚类的方法进行树的支合并。ＰＩＤ得到的决策树在树的规模和分类精度上都优于ＩＤ３。     

一种基于多精度模糊划分提取模式识别规则的方法

对于具有多模糊特征变量的分类问题，提出一种自动提取适当的模糊模式识别规则集的方法．首先通过多精度划分模糊空间产生多个模糊规则表，然后采用人工免疫原理的克隆选择算法，得出一个优化的模糊分类规则集用于模式识别．实验表明该方法所提取的规则集规则数目少、分类正确率较高．     

一种不确定性条件下的自主式知识学习模型

在没有领域先验知识条件下的不确定知识主动式学习是机器学习领域中的一个难题.通过研究决策表和决策规则的不确定性,建立基于粗集表示、度量和处理不确定性信息和知识的理论,并且结合Skowron的缺省规则获取算法,提出一种不确定性条件下的数据自主式学习模型和方法,以解决这一问题.通过仿真实验,验证了该自主式学习方法的有效性.     

求柱与梁网极小框的优化算法

本文介绍了柱与梁网的定义，物理表示和求其极小框的优化算法及分析，给出了实施这一算法的ＰＡＳＣＡＬ语言程序及运行实例。     

域规则表示和主线推理法

传统的产生式知识表示，在规则式中没能体现出前提对结论的影响程度和结论间的相互关系，而这在许多领域中是存在的。基于产生式表示的专家系统，其推进算法是顺序的，而且在推理过程中不作任何判断，这大大影响了系统的推理速度，本文提出了影响率和域规则知识表示等概念及一种新的推理算法。     

BIDPS^＊：基本的循环加深周边搜索算法

ＢＩＤＰＳ＾＊是一种把ＩＤＡ算法和ＰＳ法相结合而产生的人工智能搜索算法。该文研究了不考虑启发式计算最小化技术的搜索效率问题，提出了一些新的算法效率的度量，用８数码难题检验了ＢＩＤＰＳ算法并与ＩＤＡ算法进行了比较分析，实验结果表明尽管ＢＩＤＰＳ启发式计算量较大，但较ＩＤＡ算法在效率上还有所提高的。     

多示例学习的示例层次覆盖算法

在多示例学习（Multi-instance learning,MIL）中,核心示例对于包类别的预测具有重要作用。若两个示例周围分布不同数量的同类示例,则这两个示例的代表程度不同。为了从包中选出最具有代表性的示例组成核心示例集,提高分类精度,本文提出多示例学习的示例层次覆盖算法（Multi-instance learning with instance_level covering algorithm,MILICA）。该算法首先利用最大Hausdorff距离和覆盖算法构建初始核心示例集,然后通过覆盖算法和反验证获得最终的核心示例集和各覆盖包含的示例数,最后使用相似函数将包转为单示例。在两类数据集和多类图像数据集上的实验证明,MILICA算法具有较好的分类性能。     

基于神经网络的专家系统控制器

采用平衡的倒摆小车所记录下来的数据，经处理后用有师学习方法来训练前馈神经网络。训练后的神经网络可以替换专家，并且表示了一组专家尚未意识到或者表达不出来的规则。用神经网络表示的规则与使用Ｑｕｉｎｌａｎ的ＩＤ３推理算法推导出的规则进行了比较。实验结果表明，神经网络算法学习出来的规则较ＩＤ３算法推导出的规则更为有效，且更有应用价值。本文最后尝试将该规则应用于火箭的姿态控制。     

基于半监督学习的多示例多标签改进算法

多示例多标签学习框架是一种针对解决多义性问题而提出的新型机器学习框架,在多示例多标签学习框架中,一个对象是用一组示例集合来表示,并且和一组类别标签相关联。E-MIMLSVM~+算法是多示例多标签学习框架中利用退化思想的经典分类算法,针对其无法利用无标签样本进行学习从而造成泛化能力差等问题,使用半监督支持向量机对该算法进行改进。改进后的算法可以利用少量有标签样本和大量没有标签的样本进行学习,有助于发现样本集内部隐藏的结构信息,了解样本集的真实分布情况。通过对比实验可以看出,改进后的算法有效提高了分类器的泛化性能。     

基于因果图的一种知识获取方法

产生式规则和因果图是知识表示的两种方法,鉴于产生式规则在表达知识和推理方面的缺陷或不足,因此寻找一种能更好地表达知识和推理的方法非常必要,而因果图具有表达知识直观,推理灵活、方便等特点。论文根据模糊式产生式规则与因果图,以及合成式模糊产生式规则与含与门、或门的因果图的对应关系,给出了将模糊产生式规则集表示的知识转换成更紧凑、直观因果图表示的方法和过程,相应的也得到了一个因果图知识的获取方法,并给了一个其转换的实例。     

汽轮发电机组故障诊断专家系统的研究

建立一个基于知识的汽轮发电机组故障诊断专家系统ＫＢＦＤＥＳ，该系统采用“框架＋规则”知识表示技术，并将框架驻留在内存，而将规则驻留在虚拟盘上；在诊断过程中采用广义的不精确推理策略，并对重要信息用一个组合神经网络进行智能识别；系统将神经网络技术和ＩＤ３算法结合，可以实现从诊断实例自动获取知识。     

一种基于示例非独立同分布的多示例多标签分类算法

多示例多标签学习是一种新型的机器学习框架。在多示例多标签学习中,样本以包的形式存在,一个包由多个示例组成,并被标记多个标签。以往的多示例多标签学习研究中,通常认为包中的示例是独立同分布的,但这个假设在实际应用中是很难保证的。为了利用包中示例的相关性特征,提出了一种基于示例非独立同分布的多示例多标签分类算法。该算法首先通过建立相关性矩阵表示出包内示例的相关关系,每个多示例包由一个相关性矩阵表示;然后建立基于不同尺度的相关性矩阵的核函数;最后考虑到不同标签的预测对应不同的核函数,引入多核学习构造并训练针对不同标签预测的多核SVM分类器。图像和文本数据集上的实验结果表明,该算法大大提高了多标签分类的准确性。     

模糊Petri网及其在模糊推理中的应用

该文首先引入模糊Petri网(Fuzzy Petri Net)的定义，给出了一个九元模糊Petri网模型，并且详细介绍了模糊Petri网的激发规则。给出了产生式规则的模糊Petri网表示的三种模型，在此基础上提出了一种基于模糊Petri网的推理方法，最后使用模糊Petri网中知识表示和运行的基本算法解决了汽车质量检验和故障分析这一实际问题。实际应用证明基于模糊Petri网的产生式规则的推理具有知识表达能力强，处理不确定知识正确，推理过程简单直观，具有一定的智能推理能力，具有较强的实用价值。     

MKR──一种有效的增量式概念获取系统

本文对示例式学习的ＩＤ５Ｒ算法进行了深入的研究并作了进一步的改进，提高了其计算效率．并提出一种适合于增量式学习的抗干扰机制，拓广了算法的适用范围．