基于分布式学习的大规模网络入侵检测算法

计算机网络的高速发展,使处理器的速度明显低于骨干网的传输速度,这使得传统的入侵检测方法无法应用于大规模网络的检测.目前,解决这一问题的有效办法是将海量数据分割成小块数据,由分布的处理节点并行处理.这种分布式并行处理的难点是分割机制,为了不破坏数据的完整性,只有采用复杂的分割算法,这同时也使分割模块成为检测系统新的瓶颈.为了克服这个问题,提出了分布式神经网络学习算法,并将其用于大规模网络入侵检测.该算法的优点是,大数据集可被随机分割后分发给独立的神经网络进行并行学习,在降低分割算法复杂度的同时,保证学习结果的完整性.对该算法的测试实验首先采用基准测试数据circle-in-the-square测试了其学习能力,并与ARTMAP(adaptive resonance theory supervised predictive mapping)和BP(back propagation)神经网络进行了比较;然后采用标准的入侵检测测试数据集KDD'99 Data Set测试了其对大规模入侵的检测性能.通过与其他方法在相同数据集上的测试结果的比较表明,分布式学习算法同样具有较高的检测效率和较低的误报率.     

基于训练集平行分割的集成学习算法研究

针对大规模数据分类中训练集分解导致的分类器泛化能力下降问题,提出基于训练集平行分割的集成学习算法.它采用多簇平行超平面对训练集实施多次划分,在各次划分的训练集上采用一种模块化支持向量机网络算法训练基分类器.测试时采用多数投票法对各个基分类器的输出进行集成.在3个大规模问题上的实验表明:在不增加训练时间和测试时间的条件下,集成学习在保持分类器偏置基本不变的同时有效减少了分类器的方差,从而有效降低了由于训练集分割导致的分类器泛化能力下降.     

可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。     

基于深度Q学习和可变形卷积U-Net的肝脏肿瘤分割方法

针对传统卷积神经网络U-Net对早期肝脏肿瘤的分割精度低的问题,在U-Net的基础上提出了基于深度Q学习和可变形卷积U-Net的肝脏肿瘤分割方法.首先使用深度Q学习对图像进行肿瘤目标定位,然后对目标肿瘤区域使用可变形卷积的U-Net进行分割,最后实现了粗剪裁到细分割的两段式学习框架.实验结果表明,利用该方法在肝脏肿瘤数据集上测试,其分割结果的Dice系数能够达到68％,较传统的卷积神经网络U-Net精度提升了6.89个百分点.     

结合KSW和FCNN的道路场景分割

目的 随着自动驾驶技术不断引入生活,机器视觉中道路场景分割算法的研究已至关重要。传统方法中大多数研究者使用机器学习方法对阈值分割,而近年来深度学习的引入,使得卷积神经网络被广泛应用于该领域。方法 针对传统阈值分割方法难以有效提取多场景下道路图像阈值的问题和直接用深度神经网络来训练数据导致过分割严重的问题,本文提出了结合KSW（key seat wiper）和全卷积神经网络（FCNN）的道路场景分割方法,该方法结合了KSW熵法及遗传算法,利用深度学习在不同场景下的特征提取,并将其运用到无人驾驶技术的道路分割中。首先对道路场景测试集利用KSW熵法及遗传算法得到训练集,然后导入到全卷积神经网络中进行训练得到有效训练模型,最后通过训练模型实现对任意一幅道路场景图分割。结果 实验结果表明,在KITTI数据集中进行测试,天空和树木的分割精度分别达到91.3%和94.3%,道路、车辆、行人的分割精度提高了2%左右。从分割结果中明显看出,道路图像中的积水、泥潭、树木等信息存在的过分割现象有良好的改观。结论 相比传统机器学习道路场景分割方法,本文方法在一定程度上提高了分割精度。对比深度学习直接应用于道路场景分割的方法,本文方法在一定程度上避免了过分割现象,提高了模型的鲁棒性。综上所述,本文提出的结合KSW和FCNN的道路场景分割算法有广泛的研究前景,有望应用于医学图像和遥感图像的处理中。     

面向心脏MRI分割的半监督空间一致性约束网络

精准分割心脏磁共振图像(MRI)分割对于心脏功能分析至关重要.当前基于数据驱动的神经网络模型极大地促进了心脏MRI分割的发展,然而对标注数据的依赖极大地限制了神经网络模型在心脏MRI分割领域的应用.为了降低神经网络模型对于标注数据的依赖,提出一种基于无监督空间一致性约束的半监督心脏MRI分割方法,在少量有标注数据的监督学习基础上,利用无标签数据在模型输入端和输出端分别进行空间变换后前后一致的特性,构建对于无标注数据的空间一致性约束.使用ACDC 2017心脏多组织分割数据集评估了所提出的方法,实验结果表明,相对于有监督学习,通过无监督数据的空间一致性约束能够显著提升模型的泛化能力;此外,相对于其他state-of-the-art的半监督方法,文中方法也拥有更优的泛化性能.     

模拟电路故障的分布式诊断算法

提出一种模拟电路故障的分布式诊断算法,用以解决大数据量故障样本集所带来的网络规模过大,训练时间过长等问题。该算法采用有监督Hebb学习规则,在训练学习过程中添加类别标识,避免了因数据分割而产生的部分知识的丢失。分别用提出的分布式算法和传统的BP算法对实例电路进行故障诊断,实验结果表明,提出的分布式算法不仅和BP算法的诊断正确率相当,而且有效地提高了训练学习的速度。     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。     

FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法

在大数据时代,图像检索技术在大规模数据上的应用是一个热门的研究领域。近年来,大规模图像检索系统中, 图像哈希算法 由于具备提高图像的检索效率同时减少储存空间的优点而受到广泛的关注。现有的有监督学习哈希算法存在一些问题,主流的有监督的哈希算法需要通过图像特征提取器获取人为构造的图像特征表示,这种做法带来的图像特征损失影响了哈希算法的效果,也不能较好地处理图像数据集中语义的相似性问题。随着深度学习在大规模数据上研究的兴起,一些相关研究尝试通过深度神经网络进行有监督的哈希函数学习,提升了哈希函数的效果,但这类方法需要针对数据集人为设计复杂的深度神经网络,增大了哈希函数设计的难度,而且深度神经网络的训练需要较多的数据和较长的时间,这些问题影响了基于深度学习的哈希算法在大规模数据集上的应用。针对这些问题,提出了一种基于深度卷积神经网络的快速图像哈希算法,该算法通过设计优化问题的求解方法以及使用预训练的大规模深度神经网络,提高了哈希算法的效果,同时明显地缩短了复杂神经网络的训练时间。根据在不同图像数据集上的实验结果分析可知, 与现有的基准算法相比,提出的算法在哈希函数训练效果和训练时间上都具有较大的提高。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

一种基于前向无监督卷积神经网络的人脸表示学习方法

当前基于深度卷积神经网络的人脸表示学习方法需要利用海量的有标注的人脸数据。在实际应用中,精确标注人脸的身份非常困难。因此,提出了一种基于前向无监督卷积神经网络的人脸表示学习方法。其中,基于K-means聚类获取训练样本虚拟标签,再利用线性判别分析进行卷积核学习。提出的网络结构简单有效,训练阶段不需要反向传递,训练速度显著优于有监督的深度卷积神经网络。实验结果表明,提出的方法在真实条件下的人脸数据集LFW和经典的Feret数据集上取得了优于当前主流的无监督特征学习方法和局部特征描述子的性能。     

基于新型的竞争型神经网络的Web日志挖掘

提出了一种基于竞争的自激励神经网络学习算法SIN，该算法综合了自适应谐振理论和竞争型神经网络的特点，并在隐含层采用了Hebb学习规则，既能保证原有记忆不受影响，又能对新的信息加以记忆，同时又克服了ART网络对噪音敏感的缺点，学习速度快，分类性能好，具有在线学习的功能．将该算法应用于Web日志挖掘能够有效地剔除噪音，得到很好的用户聚类和页面聚类的结果，为网站的管理者设计个性化的商务网站提供了有效的决策依据．     

一种基于进化神经网络的混合入侵检测模型

为了提高入侵检测系统的检测率并降低误报率,将误用检测技术和异常检测技术进行结合,以克服采用单一技术的缺陷。采用改进的进化神经网络作为检测引擎,首先,通过对遗传算法进行改进,弥补实数编码全局寻优能力差的缺陷,且降低计算的复杂度,提高进化收敛速度;然后,将改进的遗传算法和BP神经网络的LM算法进行结合,进一步克服神经网络学习阶段训练速度慢和易陷入局部最优的缺点,进而提高神经网络的分类能力和模式识别能力。采用 KDDCUP99数据集作为训练与测试数据集进行实验,结果表明,基于改进的进化神经网络建立的混合入侵检测模型在数据特征规则的提取速度、检测精度以及识别新的攻击类型方面有明显改善。     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

基于神经网络和PID算法的数控机床并行混合控制模型

针对数控机床低速运动时由于非线性摩擦造成的问题，提出了一种基于神经网络和PID算法的并行混合控制模型．当电机速度大于转换速度时使用PID控制，小于转换速度时使用神经网络控制器．神经网络为5个输入的单神经元，采用Hebb学习算法．分析表明，混合控制器使跟随误差的波动明显减小，机床运动变得平稳．利用可由用户编写伺服算法的多轴运动控制器(PMAC)进行了实验，验证了混合控制器的控制效果．     

A frequency assessment expert system of piezoelectric transducers in paucity of data

It is difficult to measure in the laboratory the operating frequency of a piezoelectric transducer that is a kind of electric equipment. Some simulation methods were developed for this frequency calculation, but were still complex to perform. With high learning accuracy, a Frequency Assessment Expert System of Piezoelectric Transducers (FAESPT) is developed in this study to assess the frequency easily. FAESPT is based on mega-fuzzification that is a method to increase the learning accuracy with fuzzy neural network for the small dataset environment. In this article, FAESPT is established and its assessment accuracy is compared with traditional neural network and neuro-fuzzy method. The results indicate that FAESPT can easy to assess the frequency of a transducer and get good learning accuracy in the environment of the paucity of data.     

基于快速学习型神经网络的机器人运动学模型辨识及运动控制

该文提出一种快速学习型神经网络，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，有线性，非线性系统辨识精度高优异特点。因此，此类神经网络非常适合于机器人运动学模型辨识及运动控制，仿真结果表明，基于快速学习型神经网络进行机械手运动学模型辨识有运动控制是合适的。     

基于变分贝叶斯的纤维丛元学习算法

以神经网络为基础的深度学习在大量领域取得优异成果,但其难以处理相似或未经训练的任务。深度学习在对新任务的学习和适应过程中存在困难,且对训练样本规模要求很高,造成泛化性和扩展性不佳的问题。元学习是一种新的学习框架,旨在解决传统学习方法难以解决的快速学习和适应新任务的问题。针对图像分类的元学习问题,文中提出了一种基于贝叶斯理论的纤维丛元学习算法(Fiber Bundle Meta-learning Algorithm,FBBML)。首先通过卷积神经网络提取支持数据集的图片信息,以得到图片的表示。然后构建数据特征的流形结构和数据特征到标签的纤维丛。最后输入查询集选取当前新任务的流形截面,从而获得适合新任务的纤维,得到图片的正确标签。实验结果表明,基于所提算法实现的模型(FBBML)在公共数据集(mini-ImageNet)上相比标准四层卷积神经网络的模型取得了最佳的准确率性能。同时将纤维丛理论引入元学习,使得算法本身具备更高的可解释性。     

一种基于强化规则学习的高效入侵检测方法

在入侵检测研究领域中,提高检测模型的检测率并降低误报率是一个重要的研究课题．在对归纳学习理论深入研究的基础上,将规则学习算法应用到入侵检测建模中．针对审计训练数据不足时出现的检测精度下降的情况,提出了一种基于强化规则学习的高效入侵检测方法EAIDBRL（efficient approach to intrusion detection based on boosting rule learning）．在EAIDBRL方法中,首先调整传统Boosting算法的权重更新过程在各个预测目标类内部进行,以消除退化现象;然后修改传统规则学习算法中规则生长和规则剪枝过程的评价准则函数;最后使用改进后的Boosting算法来增强弱规则学习器对网络审计数据的分类性能．标准入侵检测数据集上的测试结果表明,EAIDBRL方法能够较大地提高传统规则学习检测模型在小样本条件下的入侵检测性能．