基于深度生成对抗网络的恶意TLS流量识别

恶意加密流量识别公开数据集中存在的类不平衡问题,严重影响着恶意流量预测的性能。本文提出使用深度生成对抗网络DGAN中的生成器和鉴别器,模拟真实数据集生成并扩展小样本数据,形成平衡数据集。此外,针对传统机器学习方法依赖人工特征提取导致分类准确度下降等问题,提出一种基于双向门控循环单元BiGRU与注意力机制相融合的恶意流量识别模型,由深度学习算法自动获取数据集不同时序的重要特征向量,进行恶意流量得识别。实验表明,与常用恶意流量识别算法相比,该模型在精度、召回率、F1等指标上都有较好的提升,能有效实现恶意加密流量的识别。     

基于聚类过采样和自动编码器的网络入侵检测方法

近年来, 随着互联网技术的不断发展, 入侵检测在维护网络空间安全方面发挥着越来越重要的作用。但是, 由于网络入侵行为的数据稀疏性, 已有的检测方法对于海量流量数据的检测效果较差, 模型准确率、F-measure等指标数值较低, 并且高维数据处理的成本过高。为了解决这些问题, 本文提出了一种基于稀疏异常样本数据场景下的新型深度神经网络入侵检测方法, 该方法能够有效地识别不平衡数据集中的异常行为。本文首先使用k均值综合少数过采样方法来处理不平衡的流量数据, 解决网络流量数据类别分布不平衡问题, 平衡网络流量数据分布。再采用自动编码器来处理海量高维数据并训练检测模型, 来提升海量高维流量中异常行为的检测精度, 并在两个真实典型的入侵检测数据集上进行了大量的实验。实验结果表明, 本文所提出的方法在两个真实典型数据集上的检测准确率分别为99.06％和99.16%, F-measure分别为99.15%和98.22%。相比于常用的欠采样和过采样方法, k均值综合少数过采样技术能够有效地解决网络流量数据类别分布不平衡的问题, 提升模型对低频攻击行为的检测效果。同时, 与已有的网络入侵检测方法相比, 本文所提出的方法在准确率、F-measure和检测性能上均有明显提升, 证明了本文所提出的方法对于海量网络流量数据的检测具有较高的检测精度和良好的应用前景。     

面向不平衡数据集的应用系统识别方法

针对油田局域网络环境中,传统基于流量的分析方法无法实现应用系统的有效识别问题,本文设计一种面向不平衡数据集的应用系统识别框架WEBCLA,该框架采用基于基尼增益的SMOTE改进算法（GSMOTE）与XGBoost分类算法相结合的方式对基于网页的应用系统进行有效识别。具体地,本文提出的GSMOTE算法对少数类进行过采样,有效缓解识别样本不平衡问题,并结合XGBoost分类算法进行应用系统的识别。通过在真实数据集上进行实验,结果表明,本文提出的方法在召回率上较传统方法有较明显的提升,比普通集成方法提高约112.8%,比未经过采样处理的方法提升约10.8%,可有效解决油田局域网中的应用系统识别问题。     

面向不平衡样本的物联网入侵检测方法

随着设备的迭代,网络流量呈现指数级别的增长,针对各种应用的攻击行为越来越多,从流量层面识别并对这些攻击流量进行分类具有重要意义。同时,随着物联网设备的激增,针对这些设备的攻击行为也逐渐增多,造成的危害也越来越大。物联网入侵检测方法可以从这些海量的流量中识别出攻击流量,从流量层面保护物联网设备,阻断攻击行为。针对现阶段各类攻击流量检测准确率低以及样本不平衡问题,提出了基于重采样随机森林（RF,random forest）的入侵检测模型——Resample-RF,共包含3种具体算法：最优样本选择算法、基于信息熵的特征归并算法、多分类贪心转化算法。在物联网环境中,针对不平衡样本问题,提出最优样本选择算法,增加小样本所占权重,从而提高模型准确率;针对随机森林特征分裂效率不高的问题,提出基于信息熵的特征归并算法,提高模型运行效率;针对随机森林多分类精度不高的问题,提出多分类贪心转化算法,进一步提高准确率。在两个公开数据集上进行模型的检验,在 IoT-23 数据集上 F1 达到0.99,在Kaggle数据集上F1达到1.0,均具有显著效果。从实验结果中可知,提出的模型具有非常好的效果,能从海量流量中有效识别出攻击流量,较好地防范黑客对应用的攻击,保护物联网设备,从而保护用户。     

生成对抗神经网络在心电异常识别中的应用研究

针地在使用深度学习方法构建心电异常识别模型,常常由于心电异常事件样本分布不平衡,造成机器识别心电异常事件模型性能表现差的问题,论文提出一种基于生成对抗网络的数据增强方法来获取均匀分布的训练数据集,其主要过程如下:首先使用小波变换消除心电信号中噪声,然后使用压缩感知模型压缩心电信号来减少网络中的参数,利用生成对抗神经网络模型扩充数据集,最后使用卷积神经网络建立分类模型.实验结果表明,使用对抗神经网络能够显著改善数据集中样本分布不均衡的问题,平均F1达到了98.73％.引入压缩感知模型后,在不影响模型性能表现的情况下,将模型参数量减少了28.30％.基于对抗神经网络的数据增强方法可以有效地解决心电异常分类过程样本分布不均衡,利用压缩感知模型方法不仅可以保证模型性能,同时降低了模型的复杂程度.     

基于MRC动态数据生成的命名实体识别方法

命名实体识别任务常常因训练数据类别不平衡，导致模型泛化能力较差。该文提出了一种新的机器阅读理解(Machine Reading Comprehension, MRC)模型框架，使其可以同时识别多个首尾索引以提取多个实体文段，并在此MRC模型基础上，针对数据不平衡问题，提出动态数据生成方法(Dynamic Data Generation method, DDG),使用MRC模型动态地生成用于训练和预测的数据，以辅助序列标注(Sequence Labeling)模型进行命名实体识别。该文分别在中英文数据集上进行了实验，并且在Weibo数据集上取得优于当前SOTA模型+1.93%F₁值的结果。     

基于深度学习的加密流量分类研究综述

近年来,为保护公众隐私,互联网上的很多流量被加密传输,传统的基于深度包检测、机器学习的方法在面对加密流量时,准确率大幅下降。随着深度学习自动学习特征的应用,基于深度学习算法的加密流量识别和分类技术得到了快速发展,本文对这些研究进行综述。首先,简要介绍基于深度学习的加密流量检测应用场景。然后,从数据集的使用和构建、检测模型和检测性能3个方面对已有工作进行总结和评价,其中检测技术重点论述数据的预处理、不平衡数据集的处理、神经网络构建、实时检测等方法。最后,讨论当前研究中出现的问题和未来发展方向和前景,为该领域的研究人员提供一些借鉴。     

基于长短期记忆网络的工控网络异常流量检测

针对目前工控网络异常流量检测方法存在识别准确率不高和识别效率低的问题,结合工控网络具有周期性的特点,提出一种基于长短期记忆网络（LSTM）的时序预测的异常流量检测模型.该模型以LSTM网络模型为核心,用前15分钟的正常历史流量序列预测下一时刻的流量数据,在测试集上准确率为98.12%的前提下,可以认为模型的预测值即为正常值,通过对比实际值和预测值来判断是否出现异常.在不降低识别准确率的前提下,由于提前计算出了预测值,该方法大幅度提高了检测效率.     

基于CVAE-CatBoost的工业控制网络异常流量检测研究

为解决工业控制网络异常流量检测中存在的数据分布不均衡、现有模型检测率低的问题，提出一种基于条件变分自编码器（CVAE）和CatBoost算法的异常流量检测模型。CVAE引入标签信息作为约束条件，控制生成样本的类别。CatBoost算法通过引入无偏估计克服梯度偏差，提高预测的准确性，同时采用多种树的生长方式降低过拟合的风险。使用CVAE进行数据增强，扩充稀有攻击样本，构建分布均匀的平衡数据集。将CatBoost算法作为异常流量检测模型，对Dos、Fuzzers等攻击样本进行精确识别并输出分类结果。实验结果表明：在UNSW-NB15数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了25.16个百分点，整体精确率、召回率和F1值分别达到87.85%、87.87%和87.86%；在ZYELL＿NCTU NetTraffic＿1.0数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了16.32%，整体精确率、召回率和F1值均达到99.85%。该模型能够有效避免数据不均衡问题，相较K近邻、随机森林、卷积神经网络等机器学习和深...     

基于特征融合的FL-BCNN鱼类识别算法研究

为了解决水下相机设备捕获的鱼类图像质量差、数据量不均匀等难以准确识别鱼类的问题，提出一种基于特征融合的FL-BCNN鱼类识别算法。对B-CNN算法进行改进，融合不同卷积层的特征，提高细粒度特征的表达能力，解决了图像质量差引起的特征不明显的问题。利用焦点损失函数(Focal Loss)解决样本数据不平衡的问题，提高水下鱼类图像的识别能力。利用F4K(15)数据集与四个已有算法进行鱼类识别对比实验。实验结果表明，FL-BCNN鱼类识别算法的识别精度较高，具有较好的识别速度，可以有效解决鱼类识别中样本不平衡的问题。     

基于 MacBERT 和对抗训练的城市内涝信息识别方法

BERT 与神经网络模型相结合等方法，已逐渐应用于获取灾害信息，但此类方法存在参数量繁多、数据集和微调数据集不一致、局部不稳定等问题。针对上述问题，该文提出一种基于 MacBERT 和对抗训练的信息识别模型，该模型利用 MacBERT 预训练模型获得初始向量表示，再加入些许扰动生成对抗样本，然后依次输入双向长短期记忆网络和条件随机场。该模型不仅减少了预训练次数和微调阶段差异，还提高了模型的鲁棒性。实验结果表明，在微博数据集和 1998 年人民日报数据集上，基于 MacBERT 和对抗训练的信息识别模型的精确率和 F1 值均有所提升，性能较其他模型更优，将该模型用于城市内涝信息识别具有一定的可行性。     

基于不平衡数据分类的人体姿态分类算法

针对人体姿态监测传感器所返回数据的不平衡性特点影响分类性能的问题,提出一种基于不平衡数据分类的人体姿态分类算法。根据姿态监测传感器所返回数据的特点,基于K-means的思想,提出一种噪声样本识别算法。针对样本集的不平衡性问题,本文通过引入经典的过采样算法SMOTE,对少数类样本集进行操作。利用Adaboost学习框架的优势,对平衡后的样本集进行训练,获得最终分类模型。选择G-mean、F-value及AUC为分类模型的评价指标,通过在ARe Mr人体姿态数据集上与三种经典的不平衡分类模型CUS-Boost、SMOTEBoost以及RUS-Boost算法相对比。验证了本文所提出的基于不平衡数据分类的人体姿态分类算法有效性、精准性。     

基于迁移学习的类别级物体识别与检测研究与进展

类别级物体识别与检测属于计算机视觉领域的一个基础性问题,主要研究在图像或视频流中识别和定位出其中感兴趣的物体.在基于小规模数据集的类别级物体识别与检测应用中,模型过拟合、类不平衡和跨领域时特征分布变化等关键问题与挑战交织在一起.本文介绍了迁移学习理论的研究现状,对迁移学习理论解决基于小规模数据集的物体识别与检测中遇到的主要问题的研究思路和前沿技术进行了着重论述和分析.最后对该领域的研究重点和技术发展趋势进行了探讨.     

不平衡支持向量机的惩罚因子选择方法

支持向量机在处理不平衡数据集时常常不能取得良好的效果,而基于不同惩罚因子的不平衡支持向量机能够较好地处理这个问题。阐述了支持向量机在不平衡数据集上失效的原因,讨论了不平衡支持向量机的求解算法,提出了一种根据数据集分布的平均密度直接选取惩罚因子的方法,以减少传统交叉验证方法选取参数所需的时间。实验表明,与其他方法相比,这种平均密度方法能够有效提高不平衡支持向量机在不平衡数据集上的识别效果。     

基于表征学习的网络游戏流量识别

进行基于表征学习的网络游戏流量识别研究.首先,由于流量识别领域公开数据集中缺乏游戏流量,采集各类游戏流量,并建立各种游戏与进程端口的映射关系,基于该映射关系从采集的流量中过滤游戏流量,扩展公开数据集;利用深度学习中的表征学习模型,对经过预处理的原始端到端游戏流量自动进行特征学习和特征选择;最后用分类器进行游戏类别识别.通过构建特征空间由卷积神经网络自学习原始信息的特征,成功避免传统机器学习算法中流量数据集的二次处理导致的信息丢失以及流量分类模型对特征选择的依赖.实验结果表明,相比于原数据集的分类效果,扩充后的数据集在神经网络模型上的分类准确率提高了5％,游戏流量识别准确率达到92％,识别性能明显提升.     

基于Focal Loss和卷积神经网络的入侵检测

入侵检测是信息安全防护领域中的一个重要环节。随着网络技术的发展,主动防御网络入侵变得越来越重要,同时入侵数据变得更加海量、复杂和不平衡,这导致传统的入侵检测技术的检测性能比较低,因此如何提高入侵检测系统的性能对于不平衡数据集的检测性能是一项巨大的挑战。传统的CNN模型对于处理复杂的数据具有很好的性能,但是在处理不平衡数据集上的效果不是很好。为了解决这个问题,提出一种基于Focal Loss和卷积神经网络的入侵检测方法。与传统的卷积神经网络不同,该模型利用Focal Loss损失函数来解决数据不平衡问题,并在卷积层加入正则化方法（DropBlock）用来提高模型的泛化能力。采用KDD 99数据集进行的实验表明,该模型入侵检测的准确率和精确率比传统的入侵检测模型有所提高。     

面向不平衡数据集的机器学习分类策略

由于不平衡数据集的内在固有特性,使得分类结果常受数量较多的类别影响,造成分类性能下降。近年来,为了能够从类别不平衡的数据集中学习数据的内在规律并且挖掘其潜在的价值,提出了一系列基于提升不平衡数据集机器学习分类算法准确率的研究策略。这些策略主要是立足于数据层面、分类模型改进层面来解决不平衡数据集分类难的困扰。从以上两个方面论述面向不平衡数据集分类问题的机器学习分类策略,分析和讨论了针对不平衡数据集机器学习分类器的评价指标,总结了不平衡数据集分类尚存在的问题,展望了未来能够深入研究的方向。特别的,这些讨论的研究主要关注类别极端不平衡场景下的二分类问题所面临的困难。     

不平衡数据集分类方法研究综述

社会发展的同时带来大量数据的产生,不平衡成为众多数据集的显著特点,如何使不平衡数据集得到更好的分类效果成为了机器学习的研究热点。基于此,对目前存在的不平衡数据集分类方法进行综述研究,从不平衡数据采样方法、基于机器学习的改进算法以及组合方法三个层面对目前存在的方法进行全面的梳理与总结,对各方面方法所解决的问题、算法思想、应用场景以及各自的优缺点进行归纳和分析,同时对不平衡数据集分类方法存在的问题和未来研究方向提出一些总结和展望。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于K层特征模型的异常流量识别算法

针对在NetFlow数据流的环境中，如何解决海量数据识别的问题，提出基于K层特征模型的异常流量识别算法。采用优先级策略依次打开索引表，读取异常行为，并与异常行为的特征值逐条匹配，匹配成功作标记，确定异常行为类型。实验结果表明，该算法能够快速有效地识别异常数据流，提高了海量数据识别的实效性，有效地解决了网络安全问题，达到设计目标。