动态决策树算法研究

该文在增量决策树算法的基础上,提出一种能够处理变化数据集的减量决策树算法,提出并证明了减量决策树算法中的三个基本定理,保证了减量决策树算法的可靠性。同时将传统的增量决策树算法与该文所提出的减量决策树算法相结合,构造出一种动态决策树算法,该算法很好地解决了发生增减变化的动态数据集构造决策树的问题,另外动态决策树算法的提出也促进了在线规则提取的发展与完善。     

神经网络规则优化建模与应用

神经网络应用于复杂系统时存在隐含层节点确定和参数随机选择的困难,对此研究探索了一种规则优化建模方法。首先,应用粗决策树耦合算法实现增量式的动态规则提取;其次,基于获取的动态规则计算最简规则数,作为确定网络隐含层节点的依据,实现网络规则建模;再次,优化网络初始参数,规避局部极小问题并提高模型训练速度和精度;最后,将优化模型应用于空气质量预报中,性能测试和对比分析结果显示,该模型收敛速度快且误差控制在4%以内,学习速度和预报精度明显优于传统模型。该研究成果实现了动态增量模式下的规则模型构建与优化,为动态数据处理提供了一种新的研究思路。     

动态粗集理论在决策树算法中的应用研究

基于动态粗集理论,提出一种改进的动态粗集决策树算法。改进后的算法对每一属性计算数据对象迁移系数的和,值最大的属性成为决策树的根;在对决策树分叉时,给每一决策类别的数据对象集合计算从根到分叉属性所构成的属性集的膨胀度,值大的属性构成分支结点。算法在UCI机器学习数据库原始数据集及其噪音数据集上的实验结果表明,该算法构造的决策树在规模与分类准确率上均优于ID3算法及C4.5算法。     

基于RIPPER的旋转机械故障诊断知识获取

数据挖掘技术能够从大量、不完全、有噪声、模糊、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的本质的规律。为了有效地发现旋转机械故障诊断过程中的故障征兆知识,引入数据挖掘技术和方法。针对旋转机械,构建了基于重复增量修枝算法RIPPER（Repeated Incremental Pruning to Produce Error Reduction）的故障诊断知识获取系统。通过收集故障现象并整理成由故障征兆、故障类型等组成的故障信息样本,应用RIPPER算法对故障进行分析得到故障诊断规则集文件,实现故障诊断系统知识的获取和自动更新,并能对旋转机械的常见故障进行诊断,验证了算法的合理性。     

增量决策树算法研究

文中主要解决传统的ID3算法不能处理增量数据集构造决策树的问题.在传统ID3决策树算法和原有增量算法的基础上,利用信息论中熵变原理的特点,对与增量决策树算法相关的三个定理进行相应的改进,在理论上证明了改进的增量决策树算法的有效性和可靠性.同时对增量决策树算法和ID3算法的复杂度进行了对比分析,得出增量决策树算法的实例费用和信息熵费用都高于ID3算法的结论.最后通过一个实验证明,改进的增量决策树算法能够构造出与ID3算法形态基本相同的决策树.     

改进粒子群算法和动态窗口法的动态路径规划

针对粒子群算法收敛速度慢、精度低以及只适用于静态环境等问题，提出改进粒子群-差分进化和动态窗口法的混合算法.首先利用差分进化算法改进粒子群算法寻优机制，对粒子群算法进行优化，构造新的适应度函数，实现对全局的路径规划；然后，根据生成的路径，提取关键中节点作为动态窗口法的局部目标点，采用动态窗口法进行局部路径规划，使起始航向角继承上一次到达局部目标点的航向角，生成从起始点到目标点的最短且平滑的路径.最后，将所提算法应用于不同试验场景进行路径规划仿真试验，并与现有算法进行对比分析，结果表明所提算法可行性强，具有更高的搜索能力.     

基于分类树的动态集值型数据发布的隐私保护

基于分类树的差分隐私保护方法有效地对静态集值型数据进行了保护,但对于动态集值型数据却没有相应的保护方法,因此提出一种基于分类树的差分隐私保护下的动态集值型数据发布的算法。该算法首先根据数据集中项的全集构造关系矩阵,挑选关系最紧密的项集构造分类树;然后设定一个边界值来限制数据的增量更新,并将新增的记录添加到分类树的根节点中,按照初始分类树的分配法迭代分配每个记录;最后根据拉普拉斯机制向叶子节点中加入噪音,保证整个算法满足差分隐私的要求。相对已有算法,所提算法优化了分类树,使所发布数据建立的分类树模型有少量的叶子节点产生,减少了噪音的添加。实验用两组真实的数据集验证了所提算法的有效性和相对于其他算法的优越性。     

基于动态递归模糊神经网络的水轮发电机组建模

针对水轮发电机组的复杂动态特征,提出一种新的动态递归模糊神经网络结构,并将其应用于解决水轮发电机组的建模问题.通过在网络规则层引入乘积运算,使得复杂模糊规则容易提取,模糊推理功能易于实现.在网络隐层中引入局部递归单元,该方法能克服基于反向误差传播的静态网络辨识动态系统的局限性,提高辨识水轮发电机组动态特性的准确性.通过与其他智能方法的仿真比较,验证了所提出方法的有效性.     

基于粗集和距离函数的决策树构造方法

决策树是一种有效用于分类的数据挖掘方法.在决策树构造算法中,粗集理论的相对核已被应用于解决多变量检验中属性的选择问题.考虑到决策树技术和粗集的优缺点,将二者结合起来,先对每个结点包含的属性个数加以限制,再用属性相关度和De Mantaras距离函数选择相关的属性组合作为属性选择的标准,给出一种新的构造算法.该算法的优点是能有效降低树的高度,而且增强了分类规则的可读性.     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法.该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支.该算法很好地避免了在处理增量数据集时,不断重构决策树.实例证明该算法的正确性,对处理小增量数据集具有良好的性能.     

一种增量式规则提取算法

扩展了决策矩阵的定义，并在此基础上提出一种增量式规则提取算法(IREA)，该算法能够以增量的方式从样本数据中提取确定性和可能性规则．对于缺乏领域知识时的知识／规则获取具有重要使用价值．     

Rule induction based on an incremental rough set

The incremental technique is a way to solve the issue of added-in data without re-implementing the original algorithm in a dynamic database. There are numerous studies of incremental rough set based approaches. However, these approaches are applied to traditional rough set based rule induction, which may generate redundant rules without focus, and they do not verify the classification of a decision table. In addition, these previous incremental approaches are not efficient in a large database. In this paper, an incremental rule-extraction algorithm based on the previous rule-extraction algorithm is proposed to resolve there aforementioned issues. Applying this algorithm, while a new object is added to an information system, it is unnecessary to re-compute rule sets from the very beginning. The proposed approach updates rule sets by partially modifying the original rule sets, which increases the efficiency. This is especially useful while extracting rules in a large database.     

基于关联规则的决策树算法

通过将关联规则与决策树算法相结合,形成一种基于关联规则的决策树算法。该算法对不同时期同一事务的异种数据结构进行处理,得到一种可扩展的多分支分类决策树,使得改进后的决策树算法具有良好的可扩展性。该算法解决了传统分类算法在数据集维度发生变化时分类过程无法持续进行的问题。     

不完备区间值决策系统的三支决策模型及增量式规则获取算法

在现实应用中,区间值数据会因为测量、干扰或信息传输等噪声影响导致数据出现缺失值,而且这些数据随着时间推移呈现动态递增趋势,忽略或删除这些数据很有可能导致有用信息的丢失而出现决策误判。为此,针对这一问题,提出面向不完备区间值决策系统的三支决策模型和增量式规则获取算法。首先定义不完备区间值数据的量化相似容差关系,构造出基于不完备区间值决策系统的三支决策模型;其次从两个层级分析对象集动态规则获取策略,提出增量式规则获取算法;最后,通过一组UCI数据集对该算法进行验证。实验结果表明,该算法不仅能减少误划分损失获得更高的划分精度,而且在运行时间上也具有较大优越性。     

Incremental Learning of Linear Model Trees

A linear model tree is a decision tree with a linear functional model in each leaf. Previous model tree induction algorithms have been batch techniques that operate on the entire training set. However there are many situations when an incremental learner is advantageous. In this article a new batch model tree learner is described with two alternative splitting rules and a stopping rule. An incremental algorithm is then developed that has many similarities with the batch version but is able to process examples one at a time. An online pruning rule is also developed. The incremental training time for an example is shown to only depend on the height of the tree induced so far, and not on the number of previous examples. The algorithms are evaluated empirically on a number of standard datasets, a simple test function and three dynamic domains ranging from a simple pendulum to a complex 13 dimensional flight simulator. The new batch algorithm is compared with the most recent batch model tree algorithms and is seen to perform favourably overall. The new incremental model tree learner compares well with an alternative online function approximator. In addition it can sometimes perform almost as well as the batch model tree algorithms, highlighting the effectiveness of the incremental implementation. Editor: Johannes Fürnkranz     

Incremental Induction of Decision Rules from Dominance-based Rough Approximations

An incremental algorithm generating satisfactory decision rules and a rule post-processing technique are presented. The rule induction algorithm is based on the Apriori algorithm. It is extended to handle preference-ordered domains of attributes (called criteria) within Variable Consistency Dominance-based Rough Set Approach. It deals, moreover, with the problem of missing values in the data set. The algorithm has been designed for medical applications which require: (i) a careful selection of the set of decision rules representing medical experience and (ii) an easy update of these decision rules because of data set evolving in time, and (iii) not only a high predictive capacity of the set of decision rules but also a thorough explanation of a proposed decision. To satisfy all these requirements, we propose an incremental algorithm for induction of a satisfactory set of decision rules and a post-processing technique on the generated set of rules. Userʼns preferences with respect to attributes are also taken into account. A measure of the quality of a decision rule is proposed. It is used to select the most interesting representatives in the final set of rules.     

决策树剪枝加强的关联规则分类方法

传统关联规则挖掘在面临分类决策问题时,易出现非频繁规则遗漏、预测精度不高的问题。为得到正确合理且更为完整的规则,提出了一种改进方法 DT-AR(decision tree-association rule algorithm),利用决策树剪枝策略对关联规则集进行补充。该方法利用FP-Growth(frequent pattern growth)算法得到关联规则集,利用C4.5算法构建后剪枝决策树并提取分类规则,在进行置信度迭代筛选后与关联规则集取并集修正,利用置信度作为权重系数采取投票法进行分类。实验结果表明,与传统关联规则挖掘和决策树剪枝方法相比,该方法得到的规则在数据集分类结果上更准确。     

一种基于Rough集获取规则知识的增量式学习方法

将Rough集理论应用于规则归纳系统,提出了一种基于粗糙集获取规则知识库的增量式学习方法,能够有效处理决策表中不一致情形,采用启发式算法获取决策表的最简规则,当新对象加入时在原有规则集基础上进行规则知识库的增量式更新,避免了为更新规则而重新运行规获取算法。并用UCI中多个数据集从规则集的规则数目、数据浓缩率、预测能力等指标对该算法进行了测试。实验表明了该算法的有效性。     

基于DNA编码遗传算法构造广义决策树的研究

决策树是归纳学习和数据挖掘的重要方法,主要用于分类和预测。文章引入了广义决策树的概念,实现了分类规则集和决策树结构的统一。同时,提出一种新颖的基于DNA编码遗传算法构造决策树的方法。先用C4．5算法对数据集进行分类得到初始规则集,再通过文章中算法优化规则集并由此构建决策树。实验证明了该方法有效地避免了传统决策树构建过程的缺点,且有较好的并行性。