一种互联网海量情报规则优化方法

现在很多部门都需要通过规则处理海量情报数据,规则的数量一旦达到海量级规模,对规则的处理技术的要求将会变得越来越高,海量规则的优化将是一个十分重要的问题.文中展示了一种海量规则的优化方法.若两个规则网最后的计算结果是一样的,则可以认为这两个规则网是等价的.基于该等价规则模块的变换可以将代价小的规则模块替换掉代价大的规则模块,从而以后可以选择一种代价最小的规则模块.本文提出规则网模块等价替换的5种优化方法,并对其做了相应的证明.通过优化,可以使得海量规则网处于计算代价尽量最小状态,以此减少处理机的计算工作量.分析表明,通过等价规则替换,可以大大提高规则处理效率.     

一种海量规则模式匹配方法

基于各种海量规则信息处理的需求,提出了一种海量规则模式匹配方法。设计了海量规则模式匹配方法的基本算法步骤,研究了各种规则节点的匹配处理方法。最后总结了海量规则模式匹配方法的特点。海量规则模式匹配算法部分拓展了现有规则匹配处理模式,提出了新的匹配处理方法。对比结果表明,该方法具有较好的效果。     

实时入侵检测系统的优化问题研究

实时入侵检测系统试图检测并响应实时的攻击。当网络中的数据量不大时,普通的IDS系统便可胜任,当网络中出现海量数据(事件)或者遇到过载攻击时,需采用优化处理的方法。文章研究了实时入侵检测系统规则集的选取规则,在此基础上,提出了一种实时入侵检测系统的优化方法,能有效地增强IDS系统在海量数据情况下的入侵检测功能。     

一种从海量不完备决策表中抽取规则的方法

提出了一种处理海量的不完备决策表的方法。将基于互信息的属性重要度作为启发式信息,利用遗传算法对不完备的原始决策表中的条件属性进行约简,形成包含missing值的决策表,称为优化决策表。利用原始决策表自身的信息,通过属性扩展,从优化决策表中抽取一致性决策规则,而无须计算missing值。该方法在UCI的8个数据集上的实验结果优于EMAV方法,是一种有效的从海量不完备决策表中抽取规则的方法。     

基于drools的规则流网络研究

首先介绍了规则引擎drools的基本概念和广泛应用,在此基础上结合工作流的相关理论提出了一套解决海量规则的建模方法,然后详细阐述了如何使用该方法来实现规则计算的分支跳转等业务处理,通过该方法可以提高海量规则集的计算速度,最后通过具体应用来证实该方法的高可用性。     

基于滑动窗口的关联规则增量式更新算法

现有的关联规则算法大多都致力于解决增量式更新问题,需要多次扫描数据集,无法对海量数据进行有效处理。针对此问题,提出了基于滑动窗口的关联规则增量式更新算法(SWIUA),利用滑动窗口进行数据更新,挖掘出用户感兴趣的关联规则。该算法只需要扫描原始数据集和更新的数据各一遍,降低了I/O时间;并采用优化策略对候选项集过滤和删除,提高了关联规则的挖掘性能,能有效处理大量新增数据。     

融合GA和关联规则的数据挖掘方法改进研究

本文提出一种融合改进遗传算法和关联规则的数据挖掘方法。首先将遗传算法交叉算子和变异算子进行自适应改进,使其在迭代过程中能够根据函数适应度值自适应调节。然后将改进后的自适应遗传算法融入到关联规则中,充分利用遗传算法良好的全局搜索能力,提高处理海量数据关联规则的挖掘效率。为了避免无用规则,减少不相关性的存在,在此基础上融入亲密度以提高关联规则的可靠性。在Hadoop大数据平台上通过分析交通数据验证优化后的算法,与传统方法相比,该方法提高了算法的收敛速度和鲁棒性。     

基于MapReduce的关联规则增量更新算法

云计算以其强大的存储和计算能力而成为解决海量数据挖掘问题的有效途径。经典的关联规则增量更新算法FUP需要频繁扫描原数据集,不适用于海量数据的处理。文中以提高海量数据上关联规则增量更新效率为目标,将FUP算法与云计算的MapReduce编程模式相结合,提出了一种基于MapReduce的关联规则增量更新算法MRFUP。该算法只需扫描原数据集一次,并能充分利用云计算强大的存储和并行计算能力。基于Hadoop的实验结果表明,MRFUP算法可提高对海量数据的处理能力和效率,适用于海量数据的关联规则挖掘。     

基于粗糙集的规则的挖掘

随着计算机技术的发展,急剧产生海量的数据.如何从这些数据中提取有用的信息是一个重要的问题.一种新的数据分析方法--粗糙集理论被提出.该理论在分类的意义下定义了模糊性和不确定性的概念,是一种处理不确定和不精确问题的新型数学工具.文中首先对近年兴起的粗糙集的基本理论进行了讨论,在此基础上运用粗糙集理论对从数据库中规则的挖掘方法进行了研究.并通过一个实例详细地说明了具体挖掘过程,该实例说明了基于粗糙集进行规则的挖掘是较简单的.     

融合遗传算法和关联规则的数据挖掘方法改进

提出了一种融合改进遗传算法(Genetic algorithm, GA)和关联规则的数据挖掘方法,首先将GA交叉算子和变异算子进行自适应改进,使其在迭代过程中能够根据函数适应度值自适应调节;然后将改进后的自适应GA融入到关联规则中,充分利用GA良好的全局搜索能力,提高处理海量数据关联规则的挖掘效率。为了避免无用规则,减少不相关性的存在,在此基础上融入亲密度以提高关联规则的可靠性。在Hadoop大数据平台上通过分析交通数据验证优化后的算法,与传统方法相比,该方法提高了算法的收敛速度和鲁棒性。     

一种基于分布式平台的规则处理架构

采用字符串变换规则对字典进行变形变换是安全字符串恢复中的一种有效方法,然而,规则的处理过程复杂,现有的方式都是基于软件实现,针对处理性能、功耗等方面的现实需求,提出了一种基于分布式平台的规则处理架构,首次使用FPGA硬件来加速规则的处理过程,并通过将复杂的规则组合进行拆分,分布到并行结点上进一步加速规则的处理过程。在蚁群系统上的实验结果表明,采用该种架构的规则处理系统满足实际需求,性能和能效相比CPU和GPU都有显著提高,表明了该分布式规则处理架构的有效性。     

基于机器学习的配电网监控信息智能分析规则库构建方法

为构建一种具有实时性的配电网监控信息智能分析规则库,提出了基于机器学习的配电网监控信息智能分析规则库构建方法。将规则库中全部配电网监控规则头排序并设成主链,将规则导进链表里生成规则集,保证各个监控信息数据包都存在一个分析规则。使用基于机器学习的配电网故障数据分类方法,识别配电网监控信息中的故障数据,并提取故障数据频繁项集。使用基于MapReduce的并行关联规则增量更新算法,更新分析规则库中的信息智能分析规则,保证分析规则库中的信息智能分析规则具有实时性。实验结果表明,所提方法的识别结果准确度、检出率均值都大于0.97,假阳性率都是0.01,可以及时识别出配电网监控系统实时检测故障信息,保证信息智能分析规则更新具有实时性。     

基于活跃规则集的Snort高效规则匹配方法

对于基于特征的开源入侵检测系统Snort来说,如何提高速度以适应高速网络的发展是关键。在分析Snort新特性和现存多种规则匹配方法的基础上,考虑到大量Snort规则在一定时间内只有一小部分规则是活跃的,提出基于活跃规则集的Snort规则匹配方法,通过把每个端口下的规则分成活跃规则集与不活跃规则集,结合反馈规则匹配频度的思想,实时更新规则匹配顺序和控制活跃规则集大小,从而提高规则匹配速度。     

神经网络模糊规则抽取及其应用

从功能的观点出发,提出了一种基于粒子群优化算法的神经网络模糊规则抽取方法。该方法利用所要抽取模糊规则的表达形式,设计了规则的粒子三段表示方式,在粒子群算法优化过程中,采用两种更新方法,即离散化方法和连续化方法。该方法不依赖于具体的网络结构和训练算法,可以方便地应用于各种回归型神经网络。仿真实验表明,该方法可以抽取出保真度较高的符号规则。在实际应用中,采用模糊规则抽取算法,从丙烯腈反应器软测量模型中所得到的规则,提供了一种参数调节的指导性策略。     

应用遗传算法构建化学模式分类器

神经网络和统计分析所构建的分类器均为复杂算式,难以体现专业知识;而分类规则直接以属性值为条件,确定个体类别,易于专业分析。对于连续属性的样本数据,本文应用基于信息熵的Chi-merge方法将其离散化,并将提取最优规则转换为组合优化问题,进而采用遗传算法求解。为此,本文将规则提取演绎为种群进化,并设计了个体适应度函数。由此提取出最优的分类规则,经过修剪处理后,与判别准则一起构成模式分类器。本文将其应用于橄榄油产地判别,所建立的分类器简单明了,规则数少,性能良好,适用于化学模式分类。     

Hybrid particle swarm optimization for rule discovery in the diagnosis of coronary artery disease

Coronary artery disease (CAD) is one of the major causes of mortality worldwide. Knowledge about risk factors that increase the probability of developing CAD can help to understand the disease better and assist in its treatment. Recently, modern computer‐aided approaches have been used for the prediction and diagnosis of diseases. Swarm intelligence algorithms like particle swarm optimization (PSO) have demonstrated great performance in solving different optimization problems. As rule discovery can be modelled as an optimization problem, it can be mapped to an optimization problem and solved by means of an evolutionary algorithm like PSO. An approach for discovering classification rules of CAD is proposed. The work is based on the real‐world CAD data set and aims at the detection of this disease by producing the accurate and effective rules. The proposed algorithm is a hybrid binary‐real PSO, which includes the combination of categorical and numerical encoding of a particle and a different approach for calculating the velocity of particles. The rules were developed from randomly generated particles, which take random values in the range of each attribute in the rule. Two different feature selection methods based on multi‐objective evolutionary search and PSO were applied on the data set, and the most relevant features were selected by the algorithms. The accuracy of two different rule sets were evaluated. The rule set with 11 features obtained more accurate results than the rule set with 13 features. Our results show that the proposed approach has the ability to produce effective rules with highest accuracy for the detection of CAD.     

基于组合训练的规则嵌入多智能体强化学习方法

多智能体强化学习方法在仿真模拟、游戏对抗、推荐系统等许多方面取得了突出的进展。然而,现实世界的复杂问题使得强化学习方法存在无效探索多、训练速度慢、学习能力难以持续提升等问题。该研究嵌入规则的多智能体强化学习技术,提出基于组合训练的规则与学习结合的方式,分别设计融合规则的多智能体强化学习模型与规则选择模型,通过组合训练将两者有机结合,能够根据当前态势决定使用强化学习决策还是使用规则决策,有效解决在学习中使用哪些规则以及规则使用时机的问题。依托中国电子科技集团发布的多智能体对抗平台,对提出的方法进行实验分析和验证。通过与内置对手对抗,嵌入规则的方法经过约1.4万局训练就收敛到60%的胜率,而没有嵌入规则的算法需要约1.7万局的时候收敛到50%的胜率,结果表明嵌入规则的方法能够有效提升学习的收敛速度和最终效果。     

SDN网络虚拟化中规则映射研究

软件定义网络（SDN）为网络虚拟化提供了新的解决方案,通过网络虚拟化技术可以将一套基础设施虚拟化为多个逻辑网络从而满足不同的网络需求.本文研究了SDN网络虚拟化时多个物理交换机虚拟为一个大虚拟交换机的过程中,虚拟网络规则与物理网络规则的映射问题.综合考虑链路负载、规则分布以及节点负载,提出了三段式规则映射优化算法.首先根据虚拟网络的规则请求生成组播源节点和目的节点集,采用MPH算法生成规则映射树;然后采用入节点最近原则,将虚拟网络规则请求的指令序列部署到规则映射树中的中间节点和叶子节点中;最后考虑节点负载,对规则部署进行微调,最终生成虚拟规则映射策略.通过仿真实验,与直接边缘节点部署相比,平均降低了网络节点规则总数量40%以上.