基于免疫网络和SOM的文本聚类算法研究

文本聚类的核心问题是找到一种优化的聚类算法对文本向量进行聚类,是典型的高维数据聚类,提出一种基于自组织神经网络SOM和人工免疫网络aiNet的两阶段文本聚类算法TCBSA。新算法先用SOM神经网络进行聚类,把高维的文本数据映射到二维的平面上,然后再用aiNet对文本聚类。该方法利用SOM神经网络对高维数据降维的优点,克服了人工免疫网络对高维数据的聚类能力差的缺点。仿真实验结果表明该文本聚类算法不仅是可行的,而且具有一定的自适应能力和较好的聚类效果。     

谱聚类的现状及其在社会网络中的应用

近年来,凭借其重要的研究意义,采用数据聚类去分析社会网络已成为时下最热门的话题之一。这些研究最直接应用的是防止恐怖袭击和社区通过检测疾病的传播。此外,由于社会网络是动态的,而社会关系的变化是可以通过数据聚类方法预测的。从而使得清楚了解社会网络结构将有助于促进社会发展和社会成员间的合作。从数据挖掘角度来看,社交网络是一种不完全的,庞大的,复杂的,动态的网络。而这些特性使得传统的数据聚类方法并不能成功应用在社会网络中。相反,作为一个最流行的现代数据的聚类算法,谱聚类在对社交网络的问题提供了一种系统的,灵活实用的解决方案。理论和实验证明,谱聚类在寻找全局最优解和处理大型数据集方面的性能优于传统聚类算法。一方面审视讨论当今谱聚类的理论和算法,及其优于传统聚类算法的特点。另一方面,也涵盖了社会网络的基本知识及两个典型的谱聚类在社会网络中的应用。     

基于PCA的社团结构谱聚类改进算法

为了分析复杂网络和复杂系统的结构和功能特性,提出一种基于谱聚类和主成分分析(principle component analysis,PCA)的网络社团结构检测算法.利用主成分分析方法分析网络中社团结构的拓扑特点,通过压缩网络数据获得网络主要信息,提出了用于确定传统谱聚类中特征向量个数的方法,并在此基础上改进了谱聚类算法.该算法应用于海豚网络和足球网络等网络实例.实验结果表明,该算法可以根据网络结构动态获得特征向量个数,社团划分结果可行有效.     

基于量子人工鱼群和模糊核聚类算法的网络入侵检测模型研究

针对基于传统模糊C均值聚类的网络入侵检测模型存在分类效果不佳,且容易出现局部极值的问题,提出了一种基于量子人工鱼群的半监督模糊核聚类算法。该算法使用少量的标记数据和大量未知标记数据生成网络入侵检的分类,并通过核距离的方式构建了模糊C均值聚类算法的新目标函数,此外,结合了量子人工鱼群算法来解决模糊核聚类算法的全局最优解问题,适用于并行执行架构。在KDD Cup 99网络入侵检测数据上的仿真实验结果表明,相比于基于FCM和PSO-FCM的入侵检测模型,以及基于此提出的算法入侵检测模型具有更好的检测率。     

基于投票机制的融合聚类算法

以一趟聚类算法作为划分数据的基本算法,讨论聚类融合问题.通过重复使用一趟聚类算法划分数据,并随机选择阈值和数据输入顺序,得到不同的聚类结果,将这些聚类结果映射为模式间的关联矩阵,在关联矩阵上使用投票机制获得最终的数据划分.在真实数据集和人造数据集上检验了提出的聚类融合算法,并与相关聚类算法进行了对比,实验结果表明,文中提出的算法是有效可行的.     

公平谱聚类方法用于提高簇的公平性

最近，算法的公平性问题引起了机器学习领域学者的广泛讨论。鉴于谱聚类在现代数据科学中的广泛流行，研究谱聚类的算法公平性是一个至关重要的话题。现有的公平谱聚类算法主要存在两个缺点：1)公平性能差；2)仅在单个敏感属性下工作。文中将公平问题视为一种约束谱聚类问题，通过求解约束谱聚类的可行解集，提出了一种非规范化公平谱聚类方法(Unnormalized Fair Spectral Clustering, UFSC),用于提升公平性能。此外，文中还提出了一种适用于多个敏感属性约束的公平聚类算法(Multi-sensitive Attributes Fair Spectral Clustering, MFSC)。在多个真实数据集上进行了实验，结果表明，UFSC和MFSC算法比现有的公平谱聚类算法生成的聚类结果更加公平。     

一种无监督网络入侵检测算法

多数入侵检测方法对训练数据集存在依赖,带标识的训练数据集在现实环境中难以被获取,无法保证所得标签数据能覆盖所有可能出现的攻击。该文提出基于无人监督聚类和混沌模拟退火算法的网络入侵检测方法,混沌模拟退火算法实现对聚类结果的优化,求得聚类的全局最优解,提高了数据分类的准确性和检测效率。在KDD CUP 1999上的仿真实验结果表明,该算法可实现预期效果。     

具有动态特性的聚类弹性网络算法研究

聚类分析是一种非常重要的聚类工具，被广泛应用在各科学领域的聚类问题中。其中，弹性网络是一种较好的聚类分析算法，尤其在高维空间有很大优势。提出了一种新的聚类弹性网络算法CENA（Clustering Elastic Net Algorithm）。该算法将一个面向聚类的描述数据点与弹性节点关系的能量函数用于ENA（Elastic Net Algorithm）求解模式中，结合极大熵原理，计算得到自由能函数。当自由能函数达到全局极小时，即可获得弹性网络的聚类解。通过大量实验证明，提出的CENA算法运行结果稳定，可以有效提升算法空间搜索能力，节省运行时间开销，规避参数调节问题。该算法相较于经典划分聚类算法，大大提高了聚类质量。     

一种新的基于粒子群和模拟退火的聚类算法

提出了一种新的基于粒子群和模拟退火的聚类算法。每个粒子作为聚类问题的一个可行解组成粒子群,粒子的位置由聚类中心向量表示。为避免粒子群陷入局部最优解,结合聚类问题的实际特点,提出了利用模拟退火的概率突跳性的两个解决方案。实验结果表明,新算法增强了全空间的搜索能力,性能优于粒子群算法和传统的K-means算法,具有较好的收敛性,是一种有效的聚类算法。     

基于相似性算法与蚁群算法的聚类算法

由于当今的网络数据是海量的,因此科研人员对某些问题进行研究时需要将不同属性的数据从中提取出来,然而在提取这些数据之前需要将相同数据进行聚类。数据聚类的过程,也就是寻找数据最优属性的过程,然而人工蚁群就是一种寻找问题最优解的算法,因此在本文中再次将蚁群算法在聚类中进行应用。由本文提出的聚类算法可以分为两个部分,第一部分是：通过相似性算法来衡量数据之间的相似度,第二部分是：根据第一部分的计算结果,再采用蚁群算法为需要聚类的数据选择不同的聚类中心,从而对不同属性的数据进行聚类,经过以上两个过程的计算,可以实现对数据的聚类。在本文中进行数据聚类时采用的相似性度量来代替距离的计算,是本文创新点之一,采用蚁群算法在聚类过程中来选择聚类中心也是本文的创新所在。     

一种基于克隆网络聚类的入侵检测方法

将免疫克隆策略用于网络结构的聚类中,能够得到克隆网络对数据进行合理的聚类分析。采用克隆网络对入侵检测数据进行学习,即用一个小规模网络来表示海量数据,完成数据的压缩表示。再利用图论中的最小生成树对克隆网络的结构进行聚类分析,从而获得描述正常行为和异常行为的数据特征,实现合理的聚类。该算法可实现对大规模无标识原始数据的入侵检测,区分正常和异常行为,并能检测到未知攻击。在KDD CUP99数据集中进行了对比仿真实验,实验结果表明：相对于以前的算法,该算法较大地提高了对已知攻击和未知攻击的入侵检测率,并降低了误警率。     

基于特征分组聚类的异常入侵检测系统研究

利用网络连接数据可以按照连接的基本特征、内容特征、网络流量特征和主机流量特征进行分组的特点,基于K-means算法,提出一种按照特征分组进行聚类的方法,以高效实现特征约简和数据降维.通过调整聚类参数保留特征分组内的差异信息,使用决策树C4.5算法对降维后的数据进行入侵分类处理.实验结果表明,该方法能够使kddcup99数据集的聚类特征数由41个降为4个,且对网络连接数据的总检测率为99.73%,误检率为0,其中正常网络连接和刺探攻击Probe的检测率均为100%.     

一种新的基于数据挖掘的入侵检测方法

提出一种新方法将聚类算法和神经网络相结合用于入侵检测，首先使用聚类算法对数据集进行聚类，聚类后的数据分为确定数据和不确定数据。确定数据用于神经网络的训练，并用于对不确定数据的判决，最后将结果再次训练网络。实验结果表明，此方法有着很好的检测效果。     

融合自控粒子群和免疫进化的入侵数据分类

在对基于异常的入侵检测进行训练时,缺少一个实时有效的训练集,提出了一种融合自控粒子群和免疫进化的入侵数据分类方法,对网络数据进行聚类分析,生成可靠的训练数据。粒子群模糊C均值聚类算法需要提前确定聚类数目,这在网络数据分析处理中是很难把握的,引入自控粒子群的方法根据迭代演算情况自动调节不同聚类数目的粒子群规模,使数据最后聚合在一个数目最优的聚类集中,同时为了克服陷入局部最优的问题,引入免疫进化机制,使部分粒子在当前最优指导下进行合理变异和替换,跳出局部最优解。     

基于半监督模糊聚类的入侵检测

针对网络行为数据中带标签数据收集困难及网络行为数据的异构性,提出了一种基于异构距离和样本密度的半监督模糊聚类算法,并将该算法应用到网络入侵检测中。该方法依据网络行为数据样本的异构性计算样本与类之间的异构距离及各个类的样本密度,利用异构距离和类内样本密度计算样本与类之间的模糊隶属度,用所得隶属度对无标签样本进行加标签处理,并得到相应的分类器。在KDD CUP99数据集上进行仿真实验,结果表明该方法是可行的、高效的。     

A novel intrusion detection system based on hierarchical clustering and support vector machines

This study proposed an SVM-based intrusion detection system, which combines a hierarchical clustering algorithm, a simple feature selection procedure, and the SVM technique. The hierarchical clustering algorithm provided the SVM with fewer, abstracted, and higher-qualified training instances that are derived from the KDD Cup 1999 training set. It was able to greatly shorten the training time, but also improve the performance of resultant SVM. The simple feature selection procedure was applied to eliminate unimportant features from the training set so the obtained SVM model could classify the network traffic data more accurately. The famous KDD Cup 1999 dataset was used to evaluate the proposed system. Compared with other intrusion detection systems that are based on the same dataset, this system showed better performance in the detection of DoS and Probe attacks, and the beset performance in overall accuracy.     

基于人工免疫聚类的异常检测算法

提出一种基于人工免疫聚类的异常检测算法,采用基于距离的异常度量因子,可以方便地筛选数据集中最突出的异常数据,能够依据不同的安全策略调节异常容忍因子,从而平衡检测率和漏报率之间的矛盾。实验结果表明,该算法采用无标记的训练数据集,能自动适应不同的网络及应用环境。     

改进粗糙集属性约简结合K-means聚类的网络入侵检测方法

面对日益复杂的网络环境,传统入侵检测方法误报率高、检测效率低,且存在优化过程中准确性和可解释性相互矛盾等问题,因此提出一种结合改进粗糙集属性约简和K-means聚类的网络入侵检测（IRSAR-KCANID）方法。首先基于模糊粗糙集属性约简对数据集进行预处理,优化异常的入侵检测特征;再利用改进K-means聚类算法估计入侵范围阈值,并对网络特征进行分类;然后根据用于特征优化的线性规范相关性,从所选择的最优特征探索特征关联影响尺度以形成特征关联影响量表,完成对异常网络入侵的检测。实验结果表明,特征优化聚类后的最小化测量特征关联影响量表能在保证最大预测精度的前提下,最小化入侵检测过程的复杂度并缩短完成时间。     

改进的蚂蚁聚类入侵检测方法

在现有的自适应蚂蚁聚类算法中,自适应参数的调整往往凭经验取值,从而影响聚类质量。针对该问题,提出一种利用快速模拟退火算法实现蚂蚁聚类自适应参数动态调整的改进方法。基于该算法构建的入侵检测系统无需预先指定簇的数目,也不要求满足正常行为的数目远大于入侵行为的数目等条件。对KDD CUP1999数据集的仿真实验结果表明,该算法可以得到较理想的聚类,对未知入侵有较好的检测效果。