一种新的滑动窗口模型数据流聚类方法

基于构造型神经网络引入一种新的数据流聚类相似性函数,并根据滑动窗口模型数据流聚类的特点,定义了平均覆盖和重叠覆盖等概念,进而提出基于构造型神经网络的滑动窗口模型数据流聚类算法.该算法可以降低计算量,提高聚类速度.大规模无线电监洲数据聚类实验验证了该算法的有效性.     

基于动态可调衰减滑动窗口的变速数据流聚类算法

在数据流聚类算法中,滑动窗口技术可以及时淘汰历史元组、只关注近期元组,从而改善数据流的聚类效果。如果同时数据流流速无规律地随时间动态变化,原来单纯的滑动窗口技术在解决这类问题时存在缺陷,所以,在充分考虑了滑动窗口大小和数据流流速之间关系的前提下,提出了基于动态可调衰减滑动窗口的变速数据流聚类算法。该算法对历史元组和近期元组分别赋予一定的权重进行处理,然后依据数据流流速的不同函数改变窗口的大小,从而实现数据流的聚类。提出了该数据流聚类算法的数据结构——变异数据流聚类的数据结构。通过真实数据和模拟数据来构造动态变速数据流从而作为验证算法的原始数据。实验结果表明,与Clu Stream聚类算法相比,该方法具有较高的聚类质量、较小的内存开销和较少的聚类处理时间。     

基于衰减滑动窗口数据流聚类算法研究

数据流具有数据流量大、流量连续且快速、难以存储和恢复等特性,其挖掘质量和效率是检验挖掘算法的重要标准.传统的数据流聚类挖掘算法是基于界标窗口、滑动窗口和衰减窗口模型,其算法的聚类质量较差,时间复杂度高等不足,就此类问题,研究一种滑动衰减窗口的数据流聚类算法,并对算法进行了设计与实现,有效的改善传统数据流算法聚类质量和时间效率的问题.仿真实验结果表明了该算法的有效性,达到了较满意的效果.     

基于粒子群优化算法的数据流聚类算法

针对当前基于滑动窗口的聚类算法中对原始数据信息的损失问题和提高聚类质量和准确性,在现有基于滑动窗口模型数据流聚类算法的基础上,提出了一种基于群体协作的粒子群优化算法（PSO）的新数据流聚类算法。这种优化的新数据流聚类算法利用改进的时间聚类特征指数直方图作为数据流的概要结构以及应用PSO在聚类过程中对聚类质量的局部迭代优化。实验结果表明,此方法有效减少了内存的开销,解决了对原始数据信息损失的问题。与传统的数据流聚类算法相比,基于粒子群优化算法的数据流聚类算法在聚类质量和准确性上明显优于传统的数据流聚类算法。     

一种基于密度和滑动窗口的数据流聚类算法

总结目前主流数据流聚类算法的优缺点后,提出了一种新的数据流聚类算法------DsStrcam。该算法采用双层聚类框架,应用滑动窗口技术,基于密度对数据流进行动态聚类,可以挖掘具有任意形状的数据流,且能够动态掌握数据流的分布特征。     

动态滑动窗口的数据流聚类方法

数据流聚类是聚类分析中的重要问题。针对数据流的流速是变化的问题,在两阶段聚类框架基础上提出基于动态滑动窗口的数据流聚类算法。在线阶段,引入微聚类特征来存储数据流的概要信息,利用存储的概要信息动态调整滑动窗口规模,并计算数据点与微聚类中心的距离,以维护微聚类特征;离线阶段,对在线聚类阶段的聚类结果采用K-means算法进行宏聚类,生成最终聚类。实验结果表明,该算法具有较高的聚类质量和较好的伸缩性。     

混合属性数据流的两阶段入侵检测算法

以KDDCUP99-10%网络入侵数据集作为数据流,提出一种混合属性数据流的两阶段入侵检测算法。通过增量聚类提取数据流的代表信息,根据提出的加权模糊簇特征对增量聚类结果做模糊聚类,簇数可动态改变。理论分析和实验结果表明,该算法可以有效检测数据流入侵。     

基于混合差分进化的滑动窗口数据流聚类算法研究

针对传统的基于滑动窗口的数据流聚类算法存在的算法执行效率低、聚类质量较差等缺点,提出了一种基于混合差分进化的滑动窗口数据流聚类算法。该算法将数据流聚类过程分为两个部分：在线的时序窗口数据信息微簇特征向量生成和离线阶段的聚类优化。对在线生成的微簇进行微簇集合的更新与维护,利用改进的粒子群算法对离线的微簇数据信息进行适应度值的计算,将种群分为优势子种群和普通子种群,然后利用个体适应度值和平均适应度值的判别来生成当前个体环境的最优候选解,并迭代地对个体进行进化,输出具有最优适应度值的聚类集合,完成对数据流的聚类。仿真实验结果表明,算法在对数据流执行聚类时具有较高的执行效率,并且最后聚类的质量较好,算法实用性强。     

数据流环境下基于距离的离群点检测算法

面向滑动窗口的连续离群点检测问题是数据流管理领域中的重要问题.该问题在信用卡欺诈检测、网络入侵防御,地质灾害预警等诸多领域发挥着重要作用.现有算法大多需要利用范围查询判断对象之间的位置关系,而范围查询的查询代价大,无法满足实时性要求.本文提出基于滑动窗口模型下的查询处理框架GBEH(grid-based excepted heap).首先,它以网格为基础构建索引GQBI(grid queue based index)管理数据流.该索引一方面维护数据流之间的位置关系,另一方面利用队列维护数据流的时序关系.其次, GBEH提出离群点检测算法PBH(priority based heap).该算法利用查询范围与网格单元格的相交面积计算该单元格中包含于查询范围对象数目的数学期望,并以此为基础构建基于小顶堆执行范围查询,从而有效降低范围查询代价,实现高效检测.理论分析和实验验证GBEH的高效性和稳定性.     

基于数据流的网络入侵检测研究

目前,入侵检测系统面临数据量大、内存等系统资源不足的问题.将两阶段聚类算法应用于入侵检测,设计了基于数据流的入侵检测系统模型.实验结果表明,该系统可以取得较高的检测率和较低的误报率,具有自适应性和可扩展性,并有效降低了对内存资源的需求.     

对数据流频繁项集挖掘算法WSW-Imp的改进

近年来随着新的应用的出现,比如网络流量分析、在线事物分析和网络欺诈检测等,对数据流的挖掘成了一个越来越重要的课题。对于数据流频繁项集的挖掘,目前绝大部分的研究都集中在传统的窗口模式下进行,即时间衰退窗口模式、界标窗口模式和滑动窗口模式。Pauray S.M.Tsai于2009年提出了一种新的窗口模式：加权滑动窗口模式,并设计了两个基于此窗口模式的数据流频繁项集挖掘算法WSW和WSW-Imp,其中WSW-Imp是对WSW算法的改进。在研究了加权滑动窗口模式以及WSW-Imp算法的基础上,对WSW-Imp算法作了进一步的改进,设计了算法WSW-Imp2,并从理论上证明了WSW-Imp2算法比WSW-Imp算法更高效,实验结果也表明了这一点。     

基于数据聚类的网络安全防护态势优化方法

针对传统的模糊特征检测方法不适应当前应用的问题,提出一种基于数据聚类的网络安全防护态势优化新方法。首先,构建网络安全状态分布模型,采用大数据挖掘方法对网络安全信息进行数据挖掘。其次,利用新型入侵识别检测方法对所设计的网络安全估计状态进行自适应特征提取,提取网络安全状况的特征数据集和处理单元。然后采用模糊C平均数据聚类方法(FCM)提取综合信息。对入侵特征信息流进行分类,根据属性分类结果进行网络安全态势预测,实现安全态势评估。最后基于不同场景下进行实验,结果表明,所提算法适用于网络安全的场景,准确性和鲁棒性都得到了验证。     

基于模糊C均值聚类的网络入侵检测算法

入侵检测已成为网络安全的第二层重要防御线。分析了对新型未知的攻击的入侵检测，提出基于模糊C均值聚类的网络入侵检测算法。用KDD-99数据集的仿真实验结果表明算法的可行性、有效性和可扩展性，并有效提高了聚类检测的检测率，降低了误检率。     

蜜罐与入侵检测技术联动系统的研究与设计

针对单一技术在网络安全防御上的局限性,对入侵检测和蜜罐技术进行了认真研究.构建了一个新的入侵检测与蜜罐技术联动的防御系统.通过蜜罐收集入侵信息,用无监督聚类算法分析入侵数据,将数据集划分为不同的类别,提取新的攻击特征,扩充了入侵检测系统的特征库.通过实验分析和采用KDDCUP99入侵数据集进行测试,证明对于误报和漏报问题有一定的改进,提高了对未知入侵攻击的检测效率.     

基于聚类融合的入侵检测

随着互联网的飞速发展,网络安全的问题日趋严重,传统的网络安全技术已难以应对日益繁多的网络攻击。因此入侵检测便应运而生了,而且其重要性日益提高。基于聚类分析的入侵检测已经成为其主要研究方向。聚类分析是一种有效的异常入侵检测方法,可用以在网络数据集中区分正常流量和异常流量。但单一的聚类算法很难达到预期的效果,为了提高入侵检测的效果,文中采用聚类融合技术,提出一种基于Co—assocition的模糊聚类融合算法,通过实验检测能显著提高检测率和降低误报率。     

基于数据挖掘的网络入侵检测模型

入侵检测技术已经成为网络安全的新兴领域。该文针对入侵检测系统的特点与不足,提出了一种基于数据挖掘算法的网络入侵检测系统模型,能高效地进行误用检测与异常检测,可降低漏报率和误报率,同时应用聚类算法对边界区进行分析,可发现未知攻击,具有很好的实用性。     

基于演化博弈的最优防御策略选取研究

无线传感器网络极易遭受各种安全威胁,基于博弈论的入侵检测方法能有效平衡网络的检测率和能耗,但是基于完全理性假设的传统博弈模型存在不足。因此,针对不同的攻击方式,引入演化博弈理论,从攻防双方的有限理性出发,构建入侵检测攻防演化博弈模型,然后利用复制动态方程分析了攻防双方策略的演化趋势,提出了最优防御策略选取算法。仿真实验表明了所提模型的合理性和算法的有效性,与其他策略相比,所提防御策略更贴合实际应用场景,在保证检测率的前提下,减少了资源消耗,延长了网络生存时间。     

Mining frequent itemsets in data streams using the weighted sliding window model

In recent years, data stream mining has become an important research topic. With the emergence of new applications, the data we process are not again static, but the continuous dynamic data stream. Examples include network traffic analysis, Web click stream mining, network intrusion detection, and on-line transaction analysis. In this paper, we propose a new framework for data stream mining, called the weighted sliding window model. The proposed model allows the user to specify the number of windows for mining, the size of a window, and the weight for each window. Thus users can specify a higher weight to a more significant data section, which will make the mining result closer to user’s requirements. Based on the weighted sliding window model, we propose a single pass algorithm, called WSW, to efficiently discover all the frequent itemsets from data streams. By analyzing data characteristics, an improved algorithm, called WSW-Imp, is developed to further reduce the time of deciding whether a candidate itemset is frequent or not. Empirical results show that WSW-Imp outperforms WSW under the weighted sliding window model.     

基于时间对抗的网络报警深度信息融合方法

针对目前网络报警信息融合方法仅以单时间点为处理单元,无法适应网络攻击逐渐呈现出的隐蔽性强、持续时间长等特点,提出一种基于时间对抗的网络报警深度信息融合方法。面对多源异构报警数据流,首先采集并保存当前一个较长时间窗口内的报警信息,然后利用基于滑动窗口的流聚类算法对报警信息进行聚类,最后引入窗口衰减因子对聚类后的报警进行深度融合。真实数据的实验结果显示,与基本DS证据理论(Basic-DS)和指数加权DS证据理论(EWDS)融合方法方法相比,该方法有较高的检测率和较低的误检率,但因为采用了更长的时间窗口,精简率上略低;实际测试与性能分析也表明,该算法的时延较小,能更加有效地检测网络攻击,且能完成实时处理。