基于信息增益和随机森林分类器的入侵检测系统研究

目前,许多误用检测系统无法检测未知攻击,而异常检测系统虽然能够精确检测未知攻击,但由于入侵检测固有的特性,入侵事件与正常事件类间存在极大的不平衡性,这导致很难利用机器学习的方法高效地进行入侵行为检测.为此,提出了一种基于信息增益和随机森林分类器的入侵检测系统.为了解决类之间的不平衡性,对训练数据集应用了合成少数过采样算法.提出了一种基于信息增益的特征选择方法,并用于构建一个数据集的特征约减子集.首先,利用随机森林算法从训练集中建立入侵模型,构建误用检测模型,通过网络连接的特征来匹配检测已知攻击.然后,利用信息增益的特征选择方法,根据特征约减获得的特征,将不确定性攻击的网络连接数据通过随机森林进行聚类,进而实现未知攻击的检测.实验采用的NSL-KDD入侵检测数据集是KDDCUP99数据集的增强版本.由于入侵检测固有的特性,NSL-KDD数据集设计时类间存在极大的不平衡性.实验结果表明,结合合成少数过采样算法以及基于特征选择的信息增益的随机森林分类器对少数类别异常检测率可达到0.962.     

基于双层混合集成的自动驾驶汽车故障检测

针对单一故障检测算法难以学习到数据样本全部特征的问题,提出基于双层混合集成的无监督自动驾驶汽车故障检测方法。使用非全连接的自动编码器作为基学习器构建第1层同质集成框架——集成自动编码器,分析和选择包含集成自动编码器、一类支持向量机、孤立森林和局部离群因子的基学习器构建第2层异质多模型集成框架,学习自动驾驶汽车正常传感器数据特征;提出基于自动编码器的投票集成方法,实现基学习器特征的降维和编码融合;通过sigmoid函数映射计算故障概率并对数据是否故障进行判断。试验结果表明,提出的双层混合集成故障检测方法性能优于基学习器算法,F1指标提高了9%~40%,G指标提高了2%~28%,该故障检测方法可有效实现自动驾驶汽车故障检测。     

支持向量聚类的UUV障碍物孤立点惰性检测

针对UUV避碰声呐探测障碍物过程中数据的弱可观问题,提出了基于支持向量聚类的障碍物孤立点惰性检测方法.利用基于支持向量的聚类算法将声呐探测的数据划分为噪声点,低威胁障碍物和威胁障碍物.由于噪声点和低威胁障碍物不会对UUV的航行造成威胁,所以根据其分布的随机性特点将其作为孤立点进行检测.为了避免探测数据的过早判定导致的对障碍物的过度估计及误判,提出了惰性算法来降低由原始数据的弱可观性和声呐的过度敏感性所带来的障碍物误判的概率.通过仿真试验和海试数据验证表明了该方法对障碍物数据中孤立点检测的有效性.     

基于LSTM与随机森林混合构架的钓鱼网站识别研究

针对传统的钓鱼站点攻击检测模型时延高、效率低、特征提取复杂的问题,提出一种使用长短期记忆网络(long short term memory,LSTM)和随机森林的混合算法模型。该模型主要包括网址上下文特征提取和混合特征分类两部分。首先,根据循环神经网络特点建立128步长的深度网络结构。实验数据参考开源社区提供的钓鱼网站网址和正常网址情报。利用自然语言处理技术对网址数据进行编码得到具有局部特征的网址序列。通过构建的LSTM网络对网址序列进行字符上下文特征提取,结合传统检测方法中的非字符序列特征,共同构成实验特征集。随后,利用随机森林获取每一个特征的最佳分裂点,构建混合特征分类模型。该模型以网址数据为检测源,一方面降低了随机森林的字符序列特征维度,另一方面结合传统钓鱼网址检测中的非序列特征,弥补了LSTM算法检测特征单一的问题。为验证该模型的有效性,设计了本文模型与随机森林算法、LSTM算法的对比实验,并进一步对不同LSTM训练规模的时间成本进行分析。从实验中发现,基于LSTM与随机森林的混合模型大幅度提高了钓鱼网站的识别准确率,模型准确率达到98.52%,比相同训练规模的LSTM准确率高3%,比实验中的单一随机森林准确率高7%。同时,相比于LSTM算法同等幅度的准确率提升,该混合算法具有更小的时间代价。实验结果表明,作者提出的混合模型克服了传统识别模型在特征提取、识别效率上的问题,适合于海量钓鱼网站攻击的快速识别。     

面向城市固废焚烧过程的缺失数据填充及应用

针对城市固废焚烧(municipal solid waste incineration, MSWI)过程中存在的随机和连续数据缺失问题，提出了一种基于专家经验和约简特征集成模型的填充方法.首先，将过程数据缺失情况识别为随机分布、时间维度和特征维度缺失3种类型.接着，基于专家经验对前2种类型进行缺失填充后，面向第3种类型基于分布相似性和互信息相关性为缺失特征预测模型选择建模数据集和约简特征，建立具有互补特性的随机森林、梯度提升决策树和反向传播神经网络子模型对缺失值进行初步预测，利用贝叶斯线性回归(Bayesian linear regression, BLR)构建集成模型以获得最终填充值.最后，利用填充后的MSWI数据建立基于跨层全连接深度森林回归的二噁英排放浓度软测量模型.实验结果表明所提方法提高了MSWI过程数据的质量.     

基于改进随机森林的城市污水处理过程运行数据清洗方法

针对城市污水处理运行过程中出现混合异常数据的问题,提出了一种基于改进型随机森林的数据清洗方法.首先,设计了一个孤立森林的异常数据识别模型,识别数据中的离群值.其次,建立了一种改进型随机森林回归模型,提高随机森林对混合类型异常数据的适应能力,并对数据趋势进行拟合预测.最后,用改进的随机森林数据清洗方法对剔除混合异常数据后的缺失数据进行补偿,实现对污水数据的清洗.实际数据测试结果表明,该方法提高了混合类型缺失数据补偿的准确性.     

基于G-SMOTE和Biased-SVM的内部威胁用户检测

针对目前内部威胁用户检测召回率低及数据类别不平衡的问题,提出一种基于Geometric SMOTE(G-SMOTE)和Biased-SVM的内部威胁用户检测方法.该方法对用户行为进行特征提取,利用G-SMOTE算法在每个威胁用户样本中心定义一个几何区域用于生成威胁用户样本,保证了训练集中的正常用户、威胁用户的类别平衡;...     

集成学习思想预拟合分类算法

为提高随机森林模型在小样本数据下抗噪声能力,首先通过预拟合萃取全特征信息,再通过集成学习的基学习器对该信息进行分类.将PF-RF模型与传统算法进行比较研究.     

基于优化变分模态分解的磁瓦内部缺陷检测

针对磁瓦内部缺陷声振检测存在的信号处理和特征识别问题,提出结合变分模态分解（VMD）、粒子群优化（PSO）和随机森林（RF）的信号分析方法. 该方法以模态能量和相邻模态中心频率差值构建代表VMD处理性能的适应度函数,其中以VMD的分解层数和惩罚因子2个参数作为该适应度函数的变量;通过PSO在VMD参数选择空间中搜索该函数的最小值以执行VMD的参数优化,最小值所对应的参数设置即为VMD的最优参数;利用得到的参数实现信号的最优VMD分解并通过计算模态分量的能量来筛选特征模态,从中提取过零率、谱质心和最大峰值频点以联合反映磁瓦内部缺陷的特征信息;经RF分类器对这些特征进行识别进而对内部缺陷的存在情况做出判断. 实验证明所提出的方法能够准确、高效地实现不同类型磁瓦的内部缺陷检测.     

基于机载激光雷达点云的森林场景建模

利用机载激光雷达森林点云数据进行真实森林场景的精细三维重建,为构建数字森林环境与林业资源管理应用提供参考.提出利用点云魔方软件对森林点云数据进行处理,分离得到地面点云和植被点云;采用层堆叠分割方法对森林植被进行分割并提取每株树木的平面位置、树高、冠幅直径及面积等参数;运用景观设计软件SketchUp和Lumion进行森林场景三维建模,模拟真实森林三维场景中的地形和植被效果.以某地区约4万m2的森林场景机载激光雷达点云数据为实例进行森林场景三维重建,从激光雷达数据中分割出的773棵树木点云,结合树种分布、树高及轮廓等信息构建了逼真的三维森林场景.试验结果表明,根据森林点云数据的分割结果能快速高效地构建模拟现实树木形态结构的真实感三维模型,克服传统树木建模精度低和可视化不高的缺点.     

利用访问向量的内部威胁感知方法简

The hierarchy-based access control model and access vectors are defined by using the access control relationship. A method is developed for quantizing the insider threat on resources and actions in the information system. Then a full real time assessment is obtained by using access vectors. Compared with other models, this model improves the precision and objectivity of the quantization without a prior knowledge of the system. Experimental results show that the access vector based on the hand hierarchy-based access control model can effectively assess the insider threat in real-time and can be used to build the insider threat sense system.     

一种实时内部威胁模型建立方法

利用系统访问控制关系,定义了主体、客体两个偏序结构和二者间的映射关系,建立了分层映射内部威胁模型．采用层次分析法从主客体两方面对分层映射模型的内部威胁特征进行分解量化,并利用二者间的映射关系实现了对系统内部威胁的全面实时评估．克服了原有模型不能同时定量定性分析内部威胁的缺陷,提高了量化的准确性和客观性．实验结果表明,分层映射内部威胁模型能够实时、有效地评估系统的内部安全威胁,为进一步实现内部威胁感知建立了基础．     

基于实例分割的复杂环境车道线检测方法

针对基于语义分割的车道线检测方法存在的特征表述模糊、语义信息利用率较低的问题,采用实例分割算法,提出基于改进混合任务级联（HTC）网络的车道线检测方法. 基于HTC网络模型,在主干网络中引入可变形卷积,提升主干网络对复杂环境中车道线特征的提取能力. 改进特征金字塔网络结构,在特征金字塔网络的基础上添加自底向上的低层特征传递路径,引入空洞卷积,在不损失车道线特征信息的情况下增加特征图感受野,利用低层特征中所包含的车道线的精确定位信息,提高车道线的检测精度. 实验结果表明,改进HTC网络模型可以实现车道线特征的鲁棒提取,在复杂道路环境中可以获得较好的检测性能,有效提高了车道线检测精度.     

基于日志统计特征的DNS隧道检测

以DNS服务器的日志为数据源,提取出二级域名的熵、子域名个数、缓存命中率等多维日志统计特征, 将日志量化为特征向量集;以特征向量集为数据源,使用随机森林算法进行模型训练,并使用十折交叉验证的方法对模型参数进行调整,对模型进行优化,提高整体检测精度;在不同分类算法下进行对比实验,并将实验结果与已有研究方法进行比较. 实验结果表明,提出的检测方法在召回率达到98.5%的情况下,有不低于90%的准确率,检测精度有所提高,即提出的算法能有效检测DNS隧道.     

结合特征选择和优化随机森林的无线网络数据丢失重建

基于K邻近(KNN)算法和随机森林算法,提出了一种无线网络中丢失数据的重建方法。首先将多维原始数据通过不稳定无线信道进行发送,接收端将接收到的完整原始数据集中,利用KNN算法筛选出部分和重建特征相关性较高的特征,用于构造随机森林模型。然后输入缺失的数据样本,随机森林模型自适应地对数据样本进行分类,并利用完整样本对缺失特征值进行预测,从而完成丢失数据的重建。最后通过仿真实验表明,该方案可以有效地提升数据重建的精确度,在数据丢失率达到80%的情况下,重建数据的准确率仍然优于现有的解决方案。     

一种基于信息论模型的入侵检测特征提取方法

在网络入侵检测中,由于原始数据特征维度高和冗余特征多,导致入侵检测系统的存储负担增加,检测分类器性能降低。针对该问题本文提出了一种基于信息论模型的入侵检测特征提取方法。它以具有最大信息增益的特征为搜索起点,利用搜索策略和评估函数迭代调整数据集分类标记、已选取特征子集和候选特征三者之间的相关度,最后通过终止条件确定选取特征子集。以入侵检测样本数据集为实验数据,将该方法选取的特征向量运用到支持向量机分类算法中,在特征维度大幅度降低的情况下,检测精度变化很小。实验结果证明了本方法的有效性。     

基于特征融合的深度学习目标检测算法研究

通过研究卷积神经网络中的特征层级, 发现高层特征图的分辨率低、语义信息强, 低层特征图的分辨率强、语义信息较弱等问题。针对上述问题提出一种二次特征融合的目标检测算法, 该算法在特征金字塔网络(Feature Pyramid Networks, FPN)的基础上对过渡特征重复使用并进行二次特征融合, 使丰富的低层特征信息补充到高层。最终在COCO2014的数据集上平均精度AP(Average Precision)、AP₅₀、AP₇₅分别达到了35.3%, 57.5%, 36.6%, 与未使用特征融合方法以及使用传统特征融合的方法相比, 分别提升了2.4%, 3.7%, 2.4%, 能改善漏检情况和有利于小目标的检测。     

基于面向对象随机森林方法的滨海湿地植被分类研究

基于Sentinel-2数据,以盐城国家级珍禽自然保护区核心区为研究区,采用基于面向对象的随机森林模型对研究区内的湿地信息进行分类研究. 首先,对影像进行分割处理,计算光谱特征、纹理特征、水体指数、植被指数与纹理特征,并对特征重要性进行排序筛选. 其次,基于此构建5种特征组合方案,并对研究区进行分类,比较不同组合的分类精度找出研究区最优的特征组合方案. 最后,实验表明:通过特征优选后的随机森林算法进行分类效果最好,总体精度达到87.07%,Kappa系数为0.84. 其中互花米草在3种植被中分类精度最高,为97.73%. 证明此方法能够有效提高滨海湿地的分类精度,可用作该区域湿地变化研究.     

多特征关联的注入型威胁检测方法

根据注入型威胁的执行流程,提取用户输入、关键函数、响应数据3个关键节点的行为作为分析特征.采用隐马尔科夫模型检测用户输入是否存在异常,对异常参数在关键函数处进行词法结构分析以判断异常类型,对返回内容进行敏感字符或水印特征分析,确保重要数据不能传递给攻击者.实验结果表明,分析参数长度和字符分类对隐马尔科夫模型存在影响;对比实验证明该方法使检测准确率和误报率取得了较好的平衡.     

基于自组织神经网络的特征识别

针对CAD、CAM中的特征识别问题,在特征的属性邻接图表达方法的基础上,根据特征建立的历史过程提出了特征森林的概念,作为识别的启发式信息。采用自组织神经网络识别特征。依据识别特征的规模动态确定自组织神经网络输入神经元的维数,并给出了一种矢量化方法。实验实例证明了本文方法的有效性,从而为特征识别和维护提供了一种新的有效方法。