混合入侵检测系统的研究

针对入侵检测系统中的误用检测和异常检测两种检测方法存在的不足,在研究混合型入侵检测系统的基础上,提出一种混合型入侵检测系统的设计方案.设计方案将两种检测方法混合,误用检测采用模式匹配算法;异常检测是利用自组织神经网络对数据进行聚类,然后通过有监督的学习矢量量化对初聚类的数据进行再分类,使异常检测模式库有更加清晰的规则集.最后对系统的关键模块进行了仿真实验.仿真实验结果表明,此设计方案提高了混合入侵检测系统的检测能力和检测的准确率.     

基于PCA/SOFM混合神经网络的矢量量化

针对自组织特征映射(SOFM)神经网络应用于矢量量化具有收敛速度慢、计算量大等缺点,本文提出了一种基于PCA/SOFM混合神经网络的矢量量化的算法,先用主元分析(PCA)线性神经网络对输入矢量进行降维处理,再用SOFM神经网络进行矢量量化。通过调整SOFM神经网络的学习函数、邻域权值及初始码书对网络进行优化。实验表明,改进算法缩短了图像压缩的时间,提高了码书的性能。     

基于神经网络的抽油机故障诊断

自组织特征映射网络（Self-Organization Map,SOM）是一种具有强大的自学习功能、良好的自组织性和自适应性的神经网络,能够将输入数据映射到输出神经元阵列中,并保持数据集的拓扑结构和密度分布不变。针对基于传统竞争神经网络的抽油机示功图聚类时分类精度低的缺点,对自组织特征映射神经网络的学习速率和临域的递减方式进行改进,并在Matlab环境下进行仿真验证。仿真结果表明,本文所采取的改进能有效的提高聚类的精度和准确性。     

基于多层自组织映射和主成分分析的入侵检测方法*

首先改进了自组织映射学习和分类算法,通过引入自定义变量匹配度、约简率和约简样本量化误差,提出了一种新的基于多层自组织映射和主成分分析入侵检测模型与算法。模型运用主成分分析算法对输入样本进行特征约简,运用分层思想对分类精度低的聚类进行逐层细分,解决了单层自组织映射分类不精确的问题。实验结果表明该模型用于入侵检测的效果良好,能准确区分攻击与否且能进一步指出攻击的具体类型。     

一种混合入侵检测模型

为了提高入侵检测模型的准确率,提出一种基于K-均值算法、朴素贝叶斯分类算法和反向传播神经网络的混合入侵检测模型。首先,采用基于分区、无监督式聚类分析的K-均值算法进行数据的聚类处理,得到易于被机器处理和学习的数据集。为了进一步获取必要的数据属性,将聚类处理的结果输入到贝叶斯分类器进行分类。然后,具有较短学习周期的反向传播神经网络负责训练数据分类样本。最后,基于KDD CUP99数据集,对混合入侵检测模型进行了仿真实验,实验结果表明,通过混合入侵检测模型,DoS、U2R、R2L和Probe等入侵数据被精准地检测出。相比其它入侵检测模型,混合入侵检测模型取得了较高的准确率和召回率,以及较低的误报率,具有一定的实用价值。     

利用自组织特征映射神经网络进行可视化聚类

自组织特征映射作为一种神经网络方法,在数据挖掘、机器学习和模式分类中得到了广泛的应用。它将高维输人空间的数据映射到一个低维、规则的栅格上,从而可以利用可视化技术探测数据的固有特性。该文说明了自组织特征映射神经网络的工作原理和具体实现算法,同时利用一个算例展示了利用自组织特征映射进行聚类时的可视化特性,包括聚类过程的可视化和聚类结果的可视化,这也是自组织特征映射得到广泛应用的原因之一。     

基于自组织特征映射的网页分类研究

本文提出了一种SOFM（自组织特征映射）与LVQ（学习矢量量化）相结合的分类算 法，利用一种新的网页表示方法，形成特征向量并应用于网页分类中．该方法充分利用了SO FM自组织的特点，同时又利用LVQ解决聚类中测试样本的交迭问题．实验表明它不仅具有较 高的训练效率，同时有比较好的查全率和查准率．     

基于自组织特征映射的图象矢量量化

本文就基于自组织特征映射的图象矢量量化编码做了初步的探讨,得出一些结论。在矢量量化中,码本性能的好坏对重建的图像有直接的影响。我们利用自组织特征映射(SOFM)网络进行聚类,实现了图像矢量码本的生成,然后再根据矢量量化(VQ)编码原理将图像重建。该方法可以达到较高的压缩比,实现了图像压缩。并且,就不同条件下的图像作了对比。     

基于自组织特征映射神经网络的土壤分览

人工神经网络中的自组织特征映射网络具有较强的聚类功能,将自组织特征映射神经网络模型应用于土壤分类,提取影响土壤分类的七个理化因子,根据19个土壤样本建立神经网络,最后验证10个土壤样本的分类结果是否正确。分析结果表明,这种方法是十分有效和方便的。同时,本文对分类结果进行分析和讨论,指出利用该模型强大的学习功能及很好的自适应性、自组织性和鲁棒性可以为土壤分类提供一种快速、准确的信息处理手段。     

基于自组织特征映射神经网络的土壤分类

人工神经网络中的自组织特征映射网络具有较强的聚类功能,将自组织特征映射神经网络模型应用于土壤分类,提取影响土壤分类的七个理化因子,根据19个土壤样本建立神经网络,最后验证10个土壤样本的分类结果是否正确。分析结果表明,这种方法是十分有效和方便的。同时,本文对分类结果进行分析和讨论,指出利用该模型强大的学习功功能及很好的自适应性、自组织性和鲁棒性可以为土壤分类提供一种快速、准确的信息处理手段。     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积(GCN,graph convolutional neural, GCN)的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络(SNCR-GAT,second-order neighborhood cardinality retention strategy graph attention network),通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

表示学习中句子与随机游走序列等价性的一种新证明

表示学习是机器学习中通过浅层的神经网络将具有关联关系的信息映射到低维度向量空间中。词表示学习的目标是将词语与其上下文词语的关系映射到低维度的表示向量空间中,而网络表示学习的目标是将网络节点及上下文节点之间的关系映射到低维度的表示向量空间中。词向量是词表示学习的结果,而节点表示向量是网络表示学习的结果。DeepWalk通过随机游走策略获取网络节点上的游走序列作为word2vec模型中的句子,之后通过滑动窗口获取节点对输入到神经网络中进行训练,而word2vec和DeepWalk底层所采用模型和优化方法是相同的,即Skip-Gram模型和负采样优化方法,在word2vec和DeepWalk中负采样的Skip-Gram模型称为SGNS。现有研究结果表明,基于SGNS模型实现的词表示学习和网络表示学习算法均为隐式地分解目标特征矩阵。有学者提出基于单词词频服从Zipf定律和网络中节点度服从幂律分布,认为网络中的随机游走序列等同于语言模型中的句子,但是仅仅基于它们服从幂律分布的理由,来判断句子等同随机游走序列是不充分的。因此,基于SGNS隐式分解目标特征矩阵的理论和依据,设计了2个对比实验,利用奇异值分解和矩阵补全方法分别在3个公共数据集上做节点分类任务,通过实验证实了句子和随机游走序列的等同性。     

一种基于多目标的自组织神经网络学习方法

自组织神经网络又称为无教师指导学习网络，可以自动地从环境中学习、获取知识、从而具有较强的自适应能力。目前，自组织神经网络在图象理解、模式识别、智能机器人控制等领域得到越来广泛的应用。但是，由于目前大部分组织神经网络都采用单准则无教师指导学习方法，从而导致了神经网络学习效率低等问题，这在一程度上影响了自组织神经网络更加广泛的有效应用。为此，本文提出了一种基于模糊熵准则和误差平方和准则的多目标（准则）自组织神经网络学习算法，该算法可以克服单准则无教师指导学习方法所存在的局限性，实验结果表明：该算法是有效的，并且较其它自组织神经网络学习方法，无论在学习效率上，还是在网络优化上，都具有很大的优越性。     

Self-creating and organizing neural networks

We have developed a self-creating and organizing unsupervised learning algorithm for artificial neural networks. In this study, we introduce SCONN and SCONN2 as two versions of self-creating and organizing neural network (SCONN) algorithms. SCONN creates an adaptive uniform vector quantizer (VQ), whereas SCONN2 creates an adaptive nonuniform VQ by neural-like architecture. SCONN's begin with only one output node, which has a sufficiently wide activation level, and the activation level decrease depending upon the time or the activation history. SCONN's decide automatically whether to adapt the weights of existing nodes or to create a new "son node." They are compared with two famous algorithms-the Kohonen's self organizing feature map (SOFM) (1988) as a neural VQ and the Linde-Buzo-Gray (LBG) algorithm (1980) as a traditional VQ. The results show that SCONN's have significant benefits over other algorithms.     

Evaluation of an adaptive genetic-based signature extraction system for network intrusion detection

Machine learning techniques are frequently applied to intrusion detection problems in various ways such as to classify normal and intrusive activities or to mine interesting intrusion patterns. Self-learning rule-based systems can relieve domain experts from the difficult task of hand crafting signatures, in addition to providing intrusion classification capabilities. To this end, a genetic-based signature learning system has been developed that can adaptively and dynamically learn signatures of both normal and intrusive activities from the network traffic. In this paper, we extend the evaluation of our systems to real time network traffic which is captured from a university departmental server. A methodology is developed to build fully labelled intrusion detection data set by mixing real background traffic with attacks simulated in a controlled environment. Tools are developed to pre-process the raw network data into feature vector format suitable for a supervised learning classifier system and other related machine learning systems. The signature extraction system is then applied to this data set and the results are discussed. We show that even simple feature sets can help detecting payload-based attacks.     

轨迹分布模式学习的层次自组织神经网络方法

提出一个层次自组织神经网络模型，并将其应用于基于事件识别的轨迹分布模式学习中。该文利用神经元的侧向连接将神经元连成若干条线，每条线对应一个“内部网”。对应于层次神经网络模型，建立了两个领域，即神经元领域和“内部网”领域，两个领域内的神经元都要不同程度地改变权值，从而完成运动轨迹分布模式的学习。还给出了利用轨迹分布模式检测出局部可能的异常现象、检测整个运动轨迹所表示的事件是否为异常事件和目标行为预测的方法。实验进一步说明了该方法的可行性和有效性。     

Three‐dimensional map building for mobile robot navigation environments using a self‐organizing neural network

In recent years, mobile robots have been required to become more and more autonomous in such a way that they are able to sense and recognize the three‐dimensional space in which they live or work. In this paper, we deal with such an environment map building problem from three‐dimensional sensing data for mobile robot navigation. In particular, the problem to be dealt with is how to extract and model obstacles which are not represented on the map but exist in the real environment, so that the map can be newly updated using the modeled obstacle information. To achieve this, we propose a three‐dimensional map building method, which is based on a self‐organizing neural network technique called “growing neural gas network.” Using the obstacle data acquired from the 3D data acquisition process of an active laser range finder, learning of the neural network is performed to generate a graphical structure that reflects the topology of the input space. For evaluation of the proposed method, a series of simulations and experiments are performed to build 3D maps of some given environments surrounding the robot. The usefulness and robustness of the proposed method are investigated and discussed in detail. © 2004 Wiley Periodicals, Inc.     

基于支持向量机的人脸检测算法

人脸检测是建立自动人脸识别系统的基础，该文提出了一种新的基于支持向量机的人脸检测算法，支持向量机是在统计学习理论的基础上发展起来的一种通用机器学习算法，采用支持向量机可以建立类似于神经网络的分类器，但是克服了神经网络中可能遇到的局部极小值和过学习问题，试验结果表明该算法鲁棒性好，检测精度高，具有很强的实用价值。     

基于深度学习的航空发动机传感器故障检测

针对传统反向传播(BP)神经网络和支持向量机(SVM)存在的过拟合、维数灾难、参数选择困难等问题,提出了一种基于深度学习算法的航空发动机传感器故障检测方法.对发动机参数记录仪采集的多维数据进行预处理,建立基于深度置信网络(DBN)的故障检测模型,利用预处理后的数据对检测模型进行训练,经过DBN故障检测模型逐层特征学习实现了传感器故障检测.仿真结果表明:在无人工特征提取和人工特征提取的情况下,基于DBN故障检测的准确率均高于BP神经网络和SVM模型.     

Conversion methods for symbolic features: A comparison applied to an intrusion detection problem

The success of any Intrusion Detection System (IDS) lies in the selection of a set of significant features, that can be quantitative or qualitative, taken out from a network traffic data stream. The machine learning methods provide potential solutions for the IDS problem. However, most of these methods used for classification are not able to handle symbolic attributes directly. In this paper, three methods for symbolic features conversion – indicator variables, conditional probabilities and the Separability Split Value method – are contrasted with the arbitrary conversion method, all of them applied to an intrusion detection problem, the KDD Cup 99 data set. In particular, three classification methods were subsequently applied to the dataset: a one-layer feedforward neural network, a support vector machine and a multilayer feedforward neural network. The results obtained demonstrate that the three conversion methods improve the prediction ability of the classifiers utilized, with respect to the arbitrary and commonly used assignment of numerical values.