基于半监督模糊聚类的入侵检测

针对网络行为数据中带标签数据收集困难及网络行为数据的异构性,提出了一种基于异构距离和样本密度的半监督模糊聚类算法,并将该算法应用到网络入侵检测中。该方法依据网络行为数据样本的异构性计算样本与类之间的异构距离及各个类的样本密度,利用异构距离和类内样本密度计算样本与类之间的模糊隶属度,用所得隶属度对无标签样本进行加标签处理,并得到相应的分类器。在KDD CUP99数据集上进行仿真实验,结果表明该方法是可行的、高效的。     

基于邻域密度的异常检测方法

提出了一个基于邻域密度的异常检测方法,它能处理混合数据的异常值。在该方法中,样本的异常指标被定义为该样本的邻域大小和该样本的平均邻域密度的加权和。为了验证提出的方法,进行了一系列实验。实验结果表明新提出的方法适用于混合数据,并且比其他检测方法更有效。     

小样本下基于Bootstrap的航程油耗预测方法

利用传统的数据分析方法预测飞机燃油消耗量需要大量的样本,针对这一问题,提出一种基于Bootstrap统计理论建立油耗预测模型的方法.基于真实的QAR(quick access recorder)数据,首先利用Bootstrap统计方法得到相关航程下油耗均值和一定置信水平下均值的置信区间,然后对多组均值和置信区间的上、下限分别进行拟合建模,能够得到油耗与航程关系模型及航程与燃油消耗带关系模型.最后,将结果分别与最小二乘法下的预测模型及2203组数据样本下的油耗模型作对比,结果表明:小样本量下的Bootstrap方法预测模型准确度较高.     

一种新的全局嵌入降维算法

目前大多数流形学习算法都以距离来度量数据间的相似度, 并取得满意的效果,但都难以处理噪音造成的子空间偏离.针对此问题, 提出了一种基于角度优化的全局降维算法.通过给出多样本增量的协方差阵更新方式, 从理论上证明了中心化样本长度与其偏离低维空间角度为子空间偏离的主要因素, 进而解决了噪音造成的子空间偏离问题.同时,与主成分分析相比, 能够更好地与其他算法融合解决小样本问题.实验证实了该算法在手工和真实数据集上的有效性.     

面向ICS不平衡数据的重叠区混合采样方法

工业控制系统异常检测面临着数据不平衡问题,其中,不平衡数据存在的类重叠现象加剧了分类器的检测难度。基于数据类别平衡或数据重叠检测的应对策略较常被采用,但这些策略方法存在着模型稳定性差或重叠识别率低等问题。对此,提出了一种面向重叠区域的混合采样方法：OverlapRHS。该方法利用支持向量数据描述分别在多数类和少数类样本上构建重叠检测模型,并通过将合成少数类与邻域清洗进行组合,对重叠数据区域内的样本施以混合采样。最后该方法与4种经典分类器结合,在4个公开的不平衡数据集上进行了测试,并与其他4种处理不平衡问题的采样方法进行了比较。实验结果表明,所提方法能够有效检测出不平衡数据集中的重叠数据,并通过高效且针对性强的数据混合采样改善了分类器的训练效果,提高了分类器对不平衡数据的异常检测性能,展现了较之于其他采样方法在不平衡数据处理上的显著优势。     

基于K-均值聚类的工业异常数据检测

针对当前工业异常数据检测技术未充分考虑数据的时序特征以及训练样本中可能含有异常样本的问题,提出一种检测异常数据的方法：基于时序特征将遥测量与遥信量分为离散量与连续变化量,并分别通过改进后的K-均值算法与传统自回归模型检测离散量与连续变化量的异常数据,在训练聚类模型的过程中,通过计算异常因子来剔除含有异常样本的聚类簇,在训练自回归模型过程中,将不属于正常取值区间的异常样本剔除。最后在OMNeT 平台下搭建仿真小型储水加热工业系统并进行验证,实验结果表明：该方法可以有效地检测出现场设备中的异常数据,相比于其他同类基于聚类的异常检测模型,采用该方法检测异常数据的漏报率更低。     

一种基于软调和函数的有条件异常检测方案研究

对有条件异常检测问题展开研究,以检测出响应异常或类别异常的数据实例。基于软调和函数,提出一种新的无参数有条件异常检测算法。该算法基于软调和解,可估计类别置信度,进而检测出异常类别划分。同时对调和解进行正规化,以避免检测孤立样本和分布支持边界样本。基于数种合成数据和UCI ML数据进行实验,通过与其他基准算法进行比较,验证了该算法在检测异常分类方面的有效性。最后基于真实电子医疗记录数据(检测病人管理异常决策)对所提算法的性能进行了评估。     

基于小波分析的异常样本处理

数据集中各数据项间匹配关系异常的样本是难以检测的，针对此问题，文章提出了基于小波分析的异常样本检测与修复方法，该方法利用小波分析的多尺度、局部分析等特性，能有效地实现异常数据样本准确检测和修复．为了实现离散序列小波变换的快速计算，还提出了一种基于Newton-Cores公式修正后的数值积分算法．测试结果表明，该方法切实可行、效果良好、有很强的实用性．     

基于稀疏贝叶斯回归的异常检测

异常检测问题中的数据可以看作是正常信息和异常信息的高度混合,在使得正常信息损失最小的情况下,异常点集合就是前K个包含最多异常信息的样本。启发于这种思想,提出一种基于稀疏贝叶斯回归的异常检测模型,该方法通过在传统的核函数基础上融入Bayesian推理框架,对数据进行回归估计,利用残差法找出偏离程度较大的样本为异常样本。实验结果表明,该方法具有良好的稀疏性和检测精度。     

基于电能计量的违规用电行为检测方法研究

现有违规用电行为检测方法的精度较差,为提高检测结果的准确性,设计了基于电能计量的违规用电行为检测方法。建立违规用电数据预处理方案,保证电力数据的完整性,标记数据的缺失值与异常值,对其进行归一化处理;基于电能计量设计用电数据检测模型,以数据的不平衡度为核心,计算离散型采样值,得到检测的总体模型。在实验中对比多种违规用电行为检测方法,设计欠流用电异常、改变电能表接线异常和扩差用电异常3种用电模型,由数据结果可知,该算法在扩差用电异常模型内的检测效果更好,该检测方法的AP值在同等条件下普遍高于其他3种检测方法,可见其检测精度更高,检测效果更好。     

序区间值决策系统中最优可信规则获取与约简

基于描述子的规则获取可导出序值决策系统中的所有可信规则,但对包含区间值序决策系统却不能有效支持。因此,首先根据每个属性值域的范围,提出了一个区间段值的概念,用以将序区间值决策系统转换为序区间段值决策系统;然后,在序区间段值决策系统中提出了基于区间段值的优势和弱势描述子概念,用以导出序区间值决策系统中的所有可信规则;最后,研究了两种新的描述子的约简以及相对约简问题,给出了相应的判定定理与区分函数。以上为从序区间值决策系统中获取有效的最优可信决策规则提供了一种新理论基础与操作手段。     

基于小波分析的煤矿地质灾害预测方法研究

从实用角度出发,研究了煤矿地质灾害的预测方法,给出了数据采集装置的原理框图和相应的软件流程图。并对采集到的数据样本进行小波分析与处理,预报灾害。     

光电成像挠度系统中数据动态阈值区间预测

对桥梁挠度数据的影响因子进行了深入分析,揭示了传统基于固定阈值方法判断数据信号正确性的方法是不适用的,从而在回归理论分析基础上,建立回归模型来描述挠度数据局部趋势曲线,以此预测挠度数据阈值区间范围;形成动态阈值包络。仿真实验证明：回归模型与实测曲线吻合较好,2个实验的均方误差分别为0．6847和0．4854,实测值都在预测值的动态阈值范围内（当输入温度值为15．61,实测值为288．89,样本大小为130时,预测的挠度阈值范围为289．0488±0．4708;样本大小为32时,预测的挠度阈值范围为289．0193±0．1376）。     

基于多方向二进小波变换的遥感图像特征提取方法

在分析不同分辨率图像空间特性的基础上，提出了一种基于多方向二进小波变换的图像特征提取方法．该方法首先对图像进行小波变换，然后由二进小波变换的模的局部极大值检测信号突变点位置及奇异性大小，实现图像的边缘特征提取．通过对遥感图像样本的仿真实验表明，基于多方向二进小波变换的图像边缘特征提取方法可以取得较好的边缘特征提取效果．     

基于粗糙概率Petri网的在轨服务目标航天器故障检测

为了简化知识表示,并解决传统Petri网因样本有限和不确定而无法正确判定的问题,提出一种将模糊理论中的概率引入Pe-tri网的理论。在HHT变换的基础上对故障数据进行特征提取,基于Rough集理论对所提取的属性特征进行属性约简,得出故障检测规则;将概率引入Petri网后,对约简后的规则建立基于概率Petri网的故障检测推理机制,实施在轨故障检测,并以地面轴承振动数据为例,对该方法进行验证;验证结果表明,该方法使用效果良好。     

不一致数据库上带信任标记的查询结果

不一致数据无法正确反映现实世界,其上的查询结果内含错误或矛盾,而现有的很多不一致数据查询处理相关研究都存在信息丢失的问题.AQA(annotation based query answer)针对这一问题采用信任标签在属性级别上区分一致和不一致数据,避免了信息丢失.但AQA假设记录在依赖左边属性上的分量可信,且只针对函数依赖一种约束,具有应用局限性.在综合约束(函数依赖、包含依赖和域约束)范围内、不确定属性任意的情况下扩展了AQA,重新审视了AQA的数据模型及其上的查询代数,讨论了任意约束在查询结果上的蕴含约束计算问题.实验结果表明,扩展后的AQA非连接类查询的性能和普通的SQL基夺相同,连接查询经优化后性能接近普通SQL查询,但AQA不丢失信息与部分同类研究相比有很大优势.     

A Personalized Defection Detection and Prevention Procedure based on the Self-Organizing Map and Association Rule Mining: Applied to Online Game Site

Customer retention is an increasinglypressing issue in today's competitiveenvironment. This paper proposes a personalizeddefection detection and prevention procedurebased on the observation that potentialdefectors have a tendency to take a couple ofmonths or weeks to gradually change theirbehaviour (i.e., trim-out their usage volume)before their eventual withdrawal. For thispurpose, we suggest a SOM (Self-Organizing Map)based procedure to determine the possiblestates of customer behaviour from pastbehaviour data. Based on this staterepresentation, potential defectors aredetected by comparing their monitoredtrajectories of behaviour states with frequentand confident trajectories of past defectors.Also, the proposed procedure is extended toprevent the defection of potential defectors byrecommending the desirable behaviour state forthe next period so as to lower the likelihoodof defection. For the evaluation of theproposed procedure, a case study has beenconducted for a Korean online game site. Theresult demonstrates that the proposed procedureis effective for defection prevention andefficiently detects potential defectors withoutdeterioration of prediction accuracy whencompared to that of the MLP (Multi-LayerPerceptron) neural networks.     

基于信息熵的数据流加密判断算法

针对基于数据流检测木马检测系统的实际需要,提出一种基于信息熵的数据流加密判断算法,引入N-截断熵的概念用于置信区间的计算,并通过仿真建立了可靠的置信区间.该算法通过检测一条数据流的一个数据包,就可以判断整条数据流是否加密,有非常好的效率,可以达到实时在线判断,通过实验验证,算法具有很高的准确率和很低的误报率,算法已应用于基于数据流检测的木马检测系统,完全达到系统要求.     

一种基于测试数据和D-S证据理论的可信性度量模型

针对软件可信性评估模型客观性不强的问题,提出了基于测试过程数据的软件可信性度量模型。该模型根据软件测试过程和能力成熟度模型CMM模型选取软件测试过程中的关键可信属性,利用软件测试中的过程数据作为可信证据,通过测试过程数据进行可信属性的定量度量,最后,将这些分散的可信指标通过D-S证据理论进行融合得到软件的可信性。实例表明,该度量模型在软件可信性评估中是有效的。     

Incremental learning framework for real‐world fraud detection environment

For detecting malicious bidding activities in e‐auctions, this study develops a chunk‐based incremental learning framework that can operate in real‐world auction settings. The self‐adaptive framework first classifies incoming bidder chunks to counter fraud in each auction and take necessary actions. The fraud classifier is then adjusted with confident bidders' labels validated via bidder verification and one‐class classification. Based on real fraud data produced from commercial auctions, we conduct an extensive experimental study wherein the classifier is adapted incrementally using only relevant bidding data while evaluating the subsequent adjusted models' detection and misclassification rates. We also compare our classifier with static learning and learning without data relevancy.