DCVAE与DPC融合的网络入侵检测模型研究

入侵检测是主动防御网络中攻击行为的技术,以往入侵检测模型因正常网络流量与未知攻击内在特征区分度不足,导致对未知攻击识别率不够高,本文设计基于判别条件变分自编码器与密度峰值聚类算法的入侵检测模型(DCVAE-DPC).利用判别条件变分自编码器能够生成指定类别样本的能力,学习正常网络流量特征的隐空间表示并计算其重建误差,增加其与未知攻击间的特征区分度,并使用密度峰值聚类算法求出正常网络流量重建误差的分布,提高未知攻击识别率.实验结果表明,在NSL-KDD数据集中与当前流行的入侵检测模型相比,模型的分类准确率可以达到97.08%,具有更高的未知攻击检测能力,面对当前复杂网络环境,有更强的入侵检测性能.     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

结合增量学习的物体抓取检测框架

为了解决未知类别物体的抓取问题，提出了一种结合增量学习的物体抓取检测框架，该框架分为抓取学习和增量学习两个阶段.在第1阶段，对已知的物体使用密集注意力网络进行训练，该网络利用注意力机制对特征通道和密集残差连接之间的关系进行建模.在第2阶段，引入了聚类优先样本选择策略，该策略会挑选出那些与其聚类质心距离相近的样本，用这些新样本替换掉示例集中的部分旧样本进行训练.此外在未知类别物体上训练网络时，还引入了蒸馏损失，以保留之前在已知类中学到的知识.通过在Jacquard数据集和UR10e机器人上进行的实验，表明了该方法在抓取未知类别物体方面有一定的可行性和有效性，克服了机器人在抓取未知类别物体上的缺陷.     

密度峰值优化初始中心的K-medoids聚类算法

针对快速K-medoids聚类算法和方差优化初始中心的K-medoids聚类算法存在需要人为给定类簇数,初始聚类中心可能位于同一类簇,或无法完全确定数据集初始类簇中心等缺陷,受密度峰值聚类算法启发,提出了两种自适应确定类簇数的K-medoids算法。算法采用样本x i的t最近邻距离之和倒数度量其局部密度ρi,并定义样本x i的新距离δi,构造样本距离相对于样本密度的决策图。局部密度较高且相距较远的样本位于决策图的右上角区域,且远离数据集的大部分样本。选择这些样本作为初始聚类中心,使得初始聚类中心位于不同类簇,并自动得到数据集类簇数。为进一步优化聚类结果,提出采用类内距离与类间距离之比作为聚类准则函数。在UCI数据集和人工模拟数据集上进行了实验测试,并对初始聚类中心、迭代次数、聚类时间、Rand指数、Jaccard系数、Adjusted Rand index和聚类准确率等经典聚类有效性评价指标进行了比较,结果表明提出的K-medoids算法能有效识别数据集的真实类簇数和合理初始类簇中心,减少聚类迭代次数,缩短聚类时间,提高聚类准确率,并对噪音数据具有很好的鲁棒性。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

基于改进TSVM的未知网络应用识别算法

针对训练集中出现未知网络应用样本的识别问题,提出一种基于改进的直推式支持向量机的未知网络应用识别算法,引入增类损失函数刻画在训练过程中新增的未知应用样本的损失代价,建立TSVM的优化问题并推导其求解过程,使得构造的分类模型能够实现对未知类别样本的识别。通过实际网络数据集进行仿真分析,结果表明所提出的算法在识别未知网络应用的可行性和有效性方面均有良好表现。     

结合马氏距离与自编码器的网络流量异常检测方法

当前网络流量数据规模较大且分布不均衡,传统网络流量异常检测方法检测准确率较低。提出一种结合马氏距离和自编码器的检测方法,使用马氏距离倒数及判别阈值快速检测部分正常数据以减少训练数据量,同时,在自编码器代价函数中添加马氏距离度量项以增强自编码器的特征提取能力。在此基础上,将自编码器与分类器相结合以解决网络参数初始化问题,并通过调整自编码神经网络交叉熵损失函数中各项的权重,提高自编码神经网络对数据分布不均衡数据集的训练效果。实验结果表明,该方法在CICIDS2017数据集、NSL-KDD数据集上的异常检测准确率分别高达97.60%、99.84%,在CICIDS2017数据集上的F1值为0.941 3,高于DNN、LSTM、C-LSTM等方法。     

基于改进SMOTE的软件缺陷预测

为解决软件缺陷预测中的不平衡问题,提出一种基于聚类少数类的改进SMOTE算法。对训练集中的少数类样本进行K-means聚类后,通过关键特征权重及与簇心距离权重,计算每个样本的合成样本数量,采用改进的SMOTE算法实现过抽样。采用CART决策树作为基分类器,使用AdaBoost算法对平衡数据集训练,得到分类模型CSMOTE-AdaBoost。在7组NASA数据集上进行实验,验证分类模型中关键特征权重及与簇心距离权重的有效性,其结果优于传统分类算法,具有更好的分类效果。     

K近邻和加权相似性的密度峰值聚类算法

密度峰值聚类算法的局部密度定义未考虑密度分布不均数据类簇间的样本密度差异影响, 易导致误选类簇中心; 其分配策略依据欧氏距离通过密度峰值进行链式分配, 而流形数据通常有较多样本距离其密度峰值较远, 导致大量本应属于同一个类簇的样本被错误分配给其他类簇, 致使聚类精度不高. 鉴于此, 本文提出了一种K近邻和加权相似性的密度峰值聚类算法. 该算法基于样本的K近邻信息重新定义了样本局部密度, 此定义方式可以调节样本局部密度的大小, 能够准确找到密度峰值; 采用样本的共享最近邻及自然最近邻信息定义样本间的相似性, 摒弃了欧氏距离对分配策略的影响, 避免了样本分配策略产生的错误连带效应. 流形及密度分布不均数据集上的对比实验表明, 本文算法能准确找到疏密程度相差较大数据集的密度峰值, 避免了流形数据的分配错误连带效应, 得到了满意的聚类效果; 同时在真实数据集上的聚类效果也十分优秀.     

基于聚类欠采样的集成分类算法

不平衡数据常出现在各应用领域中,传统分类器往往关注于多数类样本而导致样本分类效果不理想。针对此问题,提出一种基于聚类欠采样的集成分类算法(ClusterUndersampling-AdaCost, CU-AdaCost)。该算法通过计算样本间维度加权后的欧氏距离得出各簇的样本中心位置,根据簇心邻域范围选择出信息特征较强的多数类样本,形成新的训练集;并将训练集放在引入代价敏感调整函数的集成算法中,使得模型更加关注于少数类别。通过对6组UCI数据集进行对比实验,结果表明,该算法在欠采样过程中抽取的样本具有较强的代表性,能够有效提高模型对少数类别的分类性能。     

Autoencoder-based anomaly detection for surface defect inspection

In this paper, the unsupervised autoencoder learning for automated defect detection in manufacturing is evaluated, where only the defect-free samples are required for the model training. The loss function of a Convolutional Autoencoder (CAE) model only aims at minimizing the reconstruction errors, and makes the representative features widely spread. The proposed CAE in this study incorporates a regularization that improves the feature distribution of defect-free samples within a tight range. It makes the representative feature vectors of all training samples as close as possible to the mean feature vector so that a defect sample in the evaluation stage can generate a distinct distance from the trained center of defect-free samples. The proposed CAE model with regularizations has been tested on a variety of material surfaces, including textural and patterned surfaces in images. The experimental results reveal that the proposed CAE with regularizations significantly outperforms the conventional CAE for defect detection applications in the industry.     

基于自编码器的网络异常检测研究综述

网络入侵检测技术是指对危害计算机系统安全的行为进行检测的方法,它是计算机网络安全领域中的必不可少的防御机制。目前,基于有监督学习的网络异常入侵检测技术具有较高的效率和准确率,该类方法获得了广泛关注,取得了大量的研究成果。但是这类方法需要借助大量标注样本进行模型训练。为减少对标注样本依赖,基于无监督学习或半监督学习的网络入侵检测技术被提出,并逐渐成为该领域的研究热点。其中,基于自编码器的网络异常检测技术是这方面技术的典型代表。该文首先介绍了各类自编码器的基本原理、模型结构、损失函数和训练方法。然后在此基础上将其分为基于阈值和基于分类的方法。其中,基于阈值的方法用又可分为基于重构误差和基于重构概率两类。合适的阈值对异常检测技术的成败至关重要,该文介绍了三种阈值的计算方法。接着对比分析了多个代表性研究工作的方法、性能及创新点,最后对该研究中存在的问题做了介绍,并对未来的研究方向做了展望。     

Deep fisher autoencoder combined with self-organizing map for visual industrial process monitoring

Feature extraction plays an important role in industrial process monitoring. Autoencoder and its deep framework, deep autoencoder, are used to extract latent features from complex data. However, the latent features extracted by autoencoder through unsupervised learning may not be useful for discriminative tasks. Fisher discriminant analysis (FDA) is another widely used supervised feature extraction technique that take full advantage of the Fisher criterion to enable the extracted discriminative features to maximize inter-class distance while minimizing intra-class distance. Drawing on FDA and autoencoder, this study proposes Fisher autoencoder (FAE) to extract discriminative features. FAE uses the Fisher criterion to guide the autoencoder in minimizing the reconstruction error while enabling the extracted features by the hidden layer to increase the separation between classes. We stack FAE to derive deep FAE (DFAE) for feature extraction, then we combine DFAE with self-organizing map (DFAE-SOM), which is a tool typically used in visualization for visual process monitoring. Tennessee Eastman process and an actual dataset of the blade icing of wind turbine are applied to test the performance of DFAE-SOM. The experiment demonstrates that DFAE increases the separation between classes more than DAE and other standard techniques. Therefore, DFAE is conducive to visualization and improves the accuracy of process monitoring.     

Stacked-autoencoder-based model for COVID-19 diagnosis on CT images

With the outbreak of COVID-19, medical imaging such as computed tomography (CT) based diagnosis is proved to be an effective way to fight against the rapid spread of the virus. Therefore, it is important to study computerized models for infectious detection based on CT imaging. New deep learning-based approaches are developed for CT assisted diagnosis of COVID-19. However, most of the current studies are based on a small size dataset of COVID-19 CT images as there are less publicly available datasets for patient privacy reasons. As a result, the performance of deep learning-based detection models needs to be improved based on a small size dataset. In this paper, a stacked autoencoder detector model is proposed to greatly improve the performance of the detection models such as precision rate and recall rate. Firstly, four autoencoders are constructed as the first four layers of the whole stacked autoencoder detector model being developed to extract better features of CT images. Secondly, the four autoencoders are cascaded together and connected to the dense layer and the softmax classifier to constitute the model. Finally, a new classification loss function is constructed by superimposing reconstruction loss to enhance the detection accuracy of the model. The experiment results show that our model is performed well on a small size COVID-2019 CT image dataset. Our model achieves the average accuracy, precision, recall, and F1-score rate of 94.7%, 96.54%, 94.1%, and 94.8%, respectively. The results reflect the ability of our model in discriminating COVID-19 images which might help radiologists in the diagnosis of suspected COVID-19 patients.

     

基于改进FCOS网络的光学遥感影像目标检测算法

针对当前遥感影像背景复杂、目标尺度小等情况导致的检测精度偏低的问题,基于FCOS网络提出了一种结合位置注意力和感受野增强的遥感影像目标检测算法PARF-FCOS;该算法构造了一种位置注意力模块,并利用该模块对特征提取网络进行改进,增强网络对目标信息的提取能力;在特征融合阶段使用感受野模块（RFB, receptive field block）增强浅层特征图,利用目标上下文信息进行辅助判断,提升网络对小尺度目标的检测能力;在训练过程中,引入距离交并比损失（DIoU loss,distance intersection over union loss）进行边界框回归,通过优化目标框与预测框中心点之间的距离,使回归过程更加平稳和准确;在公开数据集DIOR上评估了PARF-FCOS目标检测算法,实验结果表明,相较于原始FCOS,算法的平均精确度均值提高了4.3%,达到70.4%,检测速度达到23.2FPS。     

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

自然语言理解作为医疗对话中的关键组成部分,包含意图识别和槽位填充两个重要的子任务。为建立意图和槽位的相互促进关系,实现语义层次上的建模,提出了基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法。首先,收集医疗信息网站上用户的医疗健康提问文本,基于医学知识归纳总结了24类医疗意图和5种槽位,构建了中文医疗健康咨询数据集（CMISD-UQS）;然后,引入槽位选通机制来建模意图和槽位向量之间的显式关系,设计了意图—槽位注意机制层,构建了意图上下文信息以意图标签向量方式嵌入到槽位的方式。在公共数据集ATIS和SNIPS上与八种代表性算法的对比实验结果表明,所提算法优于所比较的八种算法;在CMISD-UQS数据集上的测试结果表明,所提算法的医疗意图识别准确率、语义槽填充F1值、句子级语义框架准确率分别为78.1%、94.9%和73.2%,均优于其他对比算法。     

基于EMD距离的稀疏自编码器

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码。在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明,相比于使用KL散度与JS散度,使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏。     

结合胶囊网络的领域适应意图识别

意图识别是口语理解中的重要任务,关乎整个对话系统的性能。针对新领域人机对话系统中训练语料较少,构建可训练语料十分昂贵的问题,提出一种利用胶囊网络改进领域判别器的领域适应方法。该方法利用领域对抗神经网络将源域的特征信息迁移至目标域中,此外,为了保证领域意图文本的特征质量,对源域和目标域的特征表示进行再次提取,充分获取意图文本的特征信息,捕捉不同领域的独有特征,提高领域的判别能力,保障领域适应任务的可靠性。在目标域仅包含少量样本的情况下,该方法在中文和英文数据集上的准确率分别达到了83.3%和88.9%。     

多任务自主学习的肺癌诊断方法

针对实际任务中肺部CT图像标注数据集稀少的问题,提出一种基于自主学习的U-Net模型与C3D多任务学习网络相结合的肺癌诊断方法。对LUNA16数据集和DSB数据集进行预处理,确保切片图像体素、方向一致,利用C3D多任务学习网络模型构建肺结节检测模型,使用165张LUNA16的切片图像和161张DSB的切片图像训练改进的U-Net网络模型,并采用自主学习方式扩充标注样本,构建肿块检测模型。在此基础上,综合结节与肿块检测结果得到最终的肺癌诊断结果。实验结果表明,该方法的肺癌检测精度为85.3%±0.3%,达到了监督学习策略的检测精度。