基于改进SOINN算法的恶意软件增量检测方法

针对基于批量学习的恶意软件检测方法存在检测模型动态更新困难、运算存储开销大的问题,将改进的SOINN算法与有监督分类器有机结合,利用SOINN算法的增量学习特性赋予恶意软件检测模型动态更新能力,有效降低运算存储开销。首先对SOINN算法进行改进：在SOINN算法竞争学习周期内,根据全排列思想搜索所有样本输入次序下神经元的权重调节量,计算所有权重调节量的平均值作为神经元最终权重调节量,避免不同样本输入次序影响训练所得神经网络的稳定性,使所得神经网络更能反映原始数据本质特征,从而提高神经网络针对恶意软件检测的精度。然后采用非负矩阵分解和 Z-score 归一化对数据进行预处理,将恶意软件行为特征向量从高维高数量级转换至低维低数量级,在提高检测速度的同时有效降低高数量级维度对特征学习的不利影响,进一步提高检测准确性。实验结果表明,所提方法支持检测模型动态更新,对未知新样本的检测准确率显著高于传统检测方法,且运算存储开销更小。     

自适应类增量学习的物联网入侵检测系统

传统物联网入侵检测系统难以实时检测新类别攻击,为此,提出一种基于堆叠稀疏自编码器（SSAE）和自组织增量神经网络（SOINN）的物联网入侵检测方法。SSAE对已知类别的攻击样本进行稀疏编码和特征提取,所提取的特征输入SOINN,SOINN形成符合流量特征空间分布的拓扑结构。当出现新类别训练样本的特征时,SOINN自适应地生成新节点以建立新的局部拓扑结构。为了保留SSAE在旧类别样本上的知识,对SOINN已有的拓扑结构施加约束,通过误差反向传递间接约束SSAE权重的变化。针对SOINN在新类别上产生的新局部拓扑结构进行自适应聚合和优化,从而实现新类别样本学习。实验结果表明,该方法能基于新类别数据对模型进行增量训练而无需历史类别数据,在CIC-IDS2017数据集的动态数据流中能有效检测新类别攻击同时缓解旧类别数据中存在的灾难性遗忘问题,在初始已知数据集上的准确率达到98.15%,完成3个阶段的类别增量学习后整体准确率仍能达到57.34%,优于KNN-SVM、mCNN等增量学习方法。     

基于前馈神经网络的增量学习研究

增量学习是一种在巩固原有学习成果和不需要用到原有数据的情况下快速有效地获取新知识的学习模式.本文阐述了基于前馈神经网络的增量学习原理,在此基础上对主要的增量学习算法进行了详细的介绍和分析,最后对增量学习研究进行了总结和展望.     

自组织增量神经网络IDS研究

理想的网络入侵检测系统(IDS)是无监督学习的、在线学习的。现有的满足这两个标准的方法训练速度较慢,无法保证入侵检测系统所需要的低丢包率。为了提高训练速度,提出一种基于改进的自组织增量神经网络(improved SOINN)的网络异常检测方法,用于在线地、无监督地训练网络数据分类器;并提出使用三种数据精简(Data Reduction)的方法,包括随机子集选取,k-means聚类和主成分分析的方法,来进一步加速改进的SOINN的训练。实验结果表明,提出的方法在保持较高检测率的前提下,减少了训练时间。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于自组织增量神经网络的码书产生方法在图像分类中的应用

针对基于码书模型的图像分类方法忽略图像的拓扑信息及增量学习导致分类精度有限的问题,提出了基于自组织增量神经网络(SOINN)的码书产生方法。首先回顾了常见的码书编码方式;其次改进了基本的码书模型,利用SOINN自动产生聚类数目和保留数据拓扑结构的两项能力,寻找更有效的单词和设计更有效的编码方式,产生更合适的码书。实验结果显示在不同样本数和不同规模码书下分类精确度相对同类算法有最高将近1%的提升。该结果表明基于SOINN的码书产生方法显著提高了图像分类算法的精度,该方法还可以更高效、更准确地运用于各种图像分类任务。     

基于深度学习的类别增量学习算法综述

近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演进不断产生的新类别数据.因此,理想的机器学习模型应能够从流式数据中不断学习新类,从而增强自身的判别能力.这样的学习范式被称作“类别增量学习”(class-incremental learning),且近年来已成为机器学习领域的研究热点.面对流式数据,直接使用新类别样本训练模型会使其遗忘旧类别的数据,造成整体性能的下降.因此,设计增量学习模型时,需确保模型在学习新类的同时也能够抵抗灾难性遗忘.本文从机器学习的三个重要方面(数据层面、参数层面、算法层面)着眼,总结和归纳近几年基于深度学习的类别增量学习算法.此外,本文还在基准数据集上对10种典型算法进行了实验验证,并从中总结出适应类别增量学习的一般性规律.最后,本文对基于深度学习的类别增量学习算法目前存在的挑战加以分析,并展望未来的发展趋势.     

混合型多概念获取算法的设计及其抗噪音能力

IHMCAP(incremental hybrid multi-concepts acquisit ion procedure)算法将基于概率论的符号学习与神经网络学习相结合,通过引入FTART(field theory-based adaptive resonance theory)神经网络,成功地解决了符号学习与神经网络 学习精度之间的均衡性问题,实现了两种不同思维层次的靠近.该算法采用一种独特的增量学 习机制,当增加新的实例时,只需进行一遍增量学习,调整原结构,不必重新生成判定树和神经 网络,即可提高学习精度,速度快,效率高.同时,这种增量学习机制还可以降低算法对噪音数 据的敏感度,从而使IHMCAP可以应用于实时在线学习任务.     

一种基于混合模型的数据流概念漂移检测算法

由于在信用卡欺诈分析等领域的广泛应用,学者们开始关注概念漂移数据流分类问题.现有算法通常假设数据一旦分类后类标已知,利用所有待分类实例的真实类别来检测数据流是否发生概念漂移以及调整分类模型.然而,由于标记实例需要耗费大量的时间和精力,该解决方案在实际应用中无法实现.据此,提出一种基于KNNModel和增量贝叶斯的概念漂移检测算法KnnM-IB.新算法在具有KNNModel算法分类被模型簇覆盖的实例分类精度高、速度快优点的同时,利用增量贝叶斯算法对难处理样本进行分类,从而保证了分类效果.算法同时利用可变滑动窗口大小的变化以及主动学习标记的少量样本进行概念漂移检测.当数据流稳定时,半监督学习被用于扩大标记实例的数量以对模型进行更新,因而更符合实际应用的要求.实验结果表明,该方法能够在对数据流进行有效分类的同时检测数据流概念漂移及相应地更新模型.     

一种改进的神经网络增量学习算法

基于扩展KALMAN滤波器（Extended Kalman Filter）的神经网络是一类应用广泛的神经网络算法,但该算法在大数据量、抵抗噪声等方面还有相当的缺陷。本文从增量学习的角度出发,对扩展KALMAN滤波器算法进行了改进,同时借鉴周期算法的长处,引入部分增量训练机制（Partial incremental Training）和适当的隐层节点删减机制,使该算法在抵抗噪声等方面有了显著的提高。理论分析表明,该算法可以有效降低噪声数据的影响,提高神经网络算法的鲁棒性。     

An incremental online semi-supervised active learning algorithm based on self-organizing incremental neural network

An incremental online semi-supervised active learning algorithm, which is based on a self-organizing incremental neural network (SOINN), is proposed. This paper describes improvement of the two-layer SOINN to a single-layer SOINN to represent the topological structure of input data and to separate the generated nodes into different groups and subclusters. We then actively label some teacher nodes and use such teacher nodes to label all unlabeled nodes. The proposed method can learn from both labeled and unlabeled samples. It can query the labels of some important samples rather than selecting the labeled samples randomly. It requires neither prior knowledge, such as the number of nodes, nor the number of classes. It can automatically learn the number of nodes and teacher vectors required for a current task. Moreover, it can realize online incremental learning. Experiments using artificial data and real-world data show that the proposed method performs effectively and efficiently.     

可继续学习的构造型神经网络构造算法

构造型神经网络模型通过将样本映射到单位超球面上并用覆盖方法进行识别,具有计算速度快、识别率高、几何意义明显等优点。但是常用的基于交叉覆盖的方法在首次构造完成后,难以再继续进行修改和加强,从而阻碍了网络的再学习能力。文章提出了该构造型神经网络的一种双交叉覆盖方法,一方面吸收了原交叉覆盖的优点,一方面提供了良好的再学习能力。通过实验验证,该方法可以较好地运用到构造型神经网络的增量学习中。     

An incremental neural learning framework and its application to vehicle diagnostics

This paper presents a framework for incremental neural learning (INL) that allows a base neural learning system to incrementally learn new knowledge from only new data without forgetting the existing knowledge. Upon subsequent encounters of new data examples, INL utilizes prior knowledge to direct its incremental learning. A number of critical issues are addressed including when to make the system learn new knowledge, how to learn new knowledge without forgetting existing knowledge, how to perform inference using both the existing and the newly learnt knowledge, and how to detect and deal with aged learnt systems. To validate the proposed INL framework, we use backpropagation (BP) as a base learner and a multi-layer neural network as a base intelligent system. INL has several advantages over existing incremental algorithms: it can be applied to a broad range of neural network systems beyond the BP trained neural networks; it retains the existing neural network structures and weights even during incremental learning; the neural network committees generated by INL do not interact with one another and each sees the same inputs and error signals at the same time; this limited communication makes the INL architecture attractive for parallel implementation. We have applied INL to two vehicle fault diagnostics problems: end-of-line test in auto assembly plants and onboard vehicle misfire detection. These experimental results demonstrate that the INL framework has the capability to successfully perform incremental learning from unbalanced and noisy data. In order to show the general capabilities of INL, we also applied INL to three general machine learning benchmark data sets. The INL systems showed good generalization capabilities in comparison with other well known machine learning algorithms.     

一种具有抗噪音能力的增量式混合学习算法

文中提出了一种具有抗噪音能力的增量式混合学习算法ＩＨＭＣＡＰ,该算法将基于概率论的符号学习与神经网络学习相结合,通过引入ＦＴＡＲＴ神经网络,不仅实现了两种不同思维层次的靠近,还成功地解决了符号学习与神经网络学习精度之间的均衡性问题。其独特的增理学习机制不仅使得它只需进行一遍增量学习即可完成对新增示例的学习,还使该算法具有较好的抗噪音能力,从而可以应用于实时在线学习任务。     

混合型多概念获取系统的设计与实现

本文主要描述了一个增量式混合型多概念获取系统ＨＭＣＡＳ，它提出了一个基于概率论的符号学习与神经网络学习相结合的学习算法，能从隶属于某个概念集的实例集中归纳出满足用户精度要求的，以浊合型判定树表示的概念描述。在ＨＭＣＡＳ中，符号学习与神经网络学习具有结合紧密的转换灵活等特点，具有较高的学习效率和较强的归纳能力以及增量学习能力。ＨＭＣＡＳ的神经网络学习可选择ＢＰ网络或ＦＴＡＲＴ网络，其推理机制提供了混     

多数据集深度学习模型的修图处理识别

图像处理软件的飞速发展,带动了移动应用领域一大批修图、美化应用的兴起。但是修图、美化软件的快速发展和普及也带来了一些社会问题和安全问题,如网恋对象严重失真,摄影作品造假等。针对手机中的修图处理APP软件,提出一种基于多数据集特征学习的神经网络模型,并给出其网络拓扑结构。区别于传统的多个神经网络并行操作,提出的网络模型具有共享模型参数的特征,能同时对多个特征数据集进行深度学习,使检测程序具备多特征识别能力。此外,还提出了一种针对多任务网络模型的损失函数,以增强深度特征学习的能力。实验结果表明,提出方法的准确率较传统方法有较大提升,同时泛化性能优越,能识别出经过多种美图、修图软件修复过的图像。