基于多种词特征的微博突发事件检测方法

近年来,各领域内频频发生各类突发事件,对社会稳定发展产生了一定程度的影响.本文提出了一种基于多种词特征的微博突发事件检测模型,可以在海量微博数据中对突发事件进行检测,便于相关决策者进行微博监控和舆论引导,尽可能减少突发事件给社会带来的危害.首先根据时间信息对微博数据进行时间切片,对每一个时间窗口内的数据分别计算各个词语的词频特征、话题标签特征和词频增长率特征;然后基于D-S证据理论和层次分析法,确定词的各个特征权重,并进行加权融合得到词的突发特征值,将突发特征值大的词挑选出来构成突发特征词集,构建基于共现度和结合紧密度的突发事件特征词集的耦合度矩阵;最后将该耦合度矩阵作为凝聚式层次聚类算法的输入,生成一棵由突发词为叶子节点的二叉树,并采用内部相似度的二叉树剪枝算法对聚类结果进行划分,即可实现对相应时间窗口突发事件的检测.实验结果表明,基于突发词的事件检测模型在簇内部相似度阈值等于1.1时效果最好,正确率达到0.8462、召回率达到0.8684、F值为0.8571,表明了本文所提方法的有效性.     

基于快速支持向量聚类和相似熵的多参雷达信号分选方法

该文针对现有聚类算法在雷达信号分选应用中复杂度高,准确性低的问题,研究了一种基于锥面簇分配的支持向量聚类算法,该算法在数据空间进行簇分配,避免了特征空间中计算邻接矩阵带来的高复杂度问题。该文将此算法引入雷达信号分选中,并在此基础上对其进行改进,使改进后的算法能对异常值做进一步处理,以达到缩短消耗时间的同时提高正确率的目的。同时以信息熵的理论描述类内聚集度和类间分离度,应用相似熵指标验证分选效果的有效性。仿真结果表明,该方法在提高分选正确率的同时可以有效降低计算复杂度。     

一种基于信息熵的空间聚类算法

空间数据挖掘技术是从空间数据库中提取隐含的、用户感兴趣的知识.针对当前的聚类算法没有很好考虑到空间数据的复杂性和数据之间的联系,再加上聚类的精确度不高,设计了一种新的算法—基于信息熵的空间聚类算法（ESCA算法）,该算法优先考虑空间数据的复杂性和数据之间的联系,并采用蚁群优化机制改善传统算法中聚类簇数不确定的缺点.实验结果表明该算法是可行,并且具有更高的精确度.     

限价指令驱动市场中信息聚类分析模型研究

针对传统限价指令驱动市场信息聚类分析不准确,且存在耗时长的问题,提出基于信息相似度计算的限价指令驱动市场中信息聚类分析模型。首先给出信息聚类模型的模块结构图,并导入限价指令驱动条例,以条例为制约,根据信息熵获取指标权重,计算信息相似度,将每一个带有趋向性的信息进行簇源追踪,对于远离簇中心的信息进行剥离,将剩下的信息重新赋予数据族编,实现信息聚类分析模型建立。实验数据表明,构建的信息聚类分析模型能够依据信息相似度进行同源信息的聚类,聚类分析准确度较高,且耗时较短。     

基于聚类分析的内核恶意软件特征选择

针对现有基于数据特征的内核恶意软件检测方法存在随特征的增多效率较低的问题,该文提出一种基于层次聚类的特征选择方法。首先,分析相似度计算方法应用于数据特征相似度计算时存在的困难,提出最长公共子集并设计两轮Hash求解法计算最长公共子集;其次,设计基于最长公共子集的层次聚类算法,有效地将相似特征聚类成簇;在此基础上,设计基于不一致系数的内核恶意软件特征选择算法,大大减少特征数,提高检测效率。实验结果验证了方法的有效性,且时间开销在可接受的范围内。     

SCEA:一种适应高维海量数据的并行聚类集成算法

针对传统串行聚类集成算法在处理高维海量数据时效率低下的问题,提出基于Spark的并行聚类集成算法SCEA(Spark based Clustering Ensemble Algorithm).首先,通过主成分分析与成对约束结合的方法对算法输入数据进行预处理,达到数据降维并去除特征相关性的目的;其次,通过调用不同聚类算法获得基聚类成员后,采用三元组方法通过基聚类成员的簇标签构造出相似度矩阵,并调用层次聚类算法得到最终的聚类结果;最后,在调用MLlib中已有聚类算法的基础上,基于Scala对SCEA算法进行了实现.将SCEA与同类算法在多组数据集下进行对比测试,实验结果表明:总体上SCEA不仅较已有算法在准确率方面有所提高,并且通过分析运行时间、加速比以及可扩展性3个性能指标,证明了SCEA在算法性能上的优越性.     

一种改进的层次聚类算法在面包品质检验中的应用

利用基于Gabor滤波的方法,采用不同方向、不同尺度对面包切片区域图像直接进行小波变换提取纹理特征,使用层次与划分相结合的聚类方法对面包品质进行聚类操作.实验结果表明,该算法具有使结果簇更紧凑和独立的效果,是实际应用中一个有效的选择.     

一种不确定数据流子空间聚类算法

提出了基于滑动窗口的不确定数据流子空间聚类算法USSC,它应用采样时加权值的方法来选择初始化聚类中心点,采用滑动窗口SW缓存一段时间的元组作为聚类对象,并提出一种新的离群点处理机制来排除离群点Opo为适应不确定数据流元组不确定特性,该算法使用基于隶属度的非分割聚类方法来确定一个元组只能划分到一个簇中.试验结果表明,USSC算法与同类型的算法相比有较好的聚类效果和较快的聚类速度,而且其自身拥有很强的可伸缩性.     

一种基于迭代信息熵权的改进LFCM算法

LFCM算法作为一种划分式聚类算法,它根据新旧聚类中心之差是否小于设定阈值决定是否停止迭代,但存在聚类准确率偏低的缺陷.熵是信息论中有效度量不确定性的一项指标.为此,文章提出了一种基于迭代信息熵权的改进LFCM算法,该算法将熵权法与LFCM算法进行了有效的融合.算法的改进思路为:(1)输入样本结合隶属度函数,求得数据矩阵,根据该数据矩阵求取新的信息熵和权重;(2)目标函数采用权重函数,算法通过判断新旧权重的差值是否小于设定阈值作为停止迭代条件.仿真实验结果表明,基于迭代信息熵权的改进LFCM算法可以有效提高聚类准确率及紧凑率.     

基于主题概念聚类的中文文本聚类

文本聚类技术在文本挖掘和信息检索系统中发挥着重要的作用。目前,文本聚类方法大多数采用基于关键词集的经典向量模型来表征文本,这种方式忽略了词与词之间的语义关系,存在词频维数过高,聚类算法计算复杂度高等问题。为了解决这些问题,提出一种基于主题概念聚类的中文文本聚类方法,该方法利用HowNet提取文本的主题概念,然后使用Chameleon算法将主题概念聚类,再依据主题概念的聚类结果完成对文本的聚类。该方法用概念代替单个词条表示文本,减少文本特征之间的依赖关系,有效地降低了文本聚类的时间复杂度。     

基于Cloude-Pottier目标分解和聚合的层次聚类算法的全极化SAR数据的非监督分类算法研究

本文提出了一种新的基于Cloude-Pottier分解和聚合的层次聚类的全极化SAR (Synthetic Aperture Radar)数据的非监督分类算法.作者使用极化总功率SPAN来改进常规的初始化方法,并采用聚合的层次聚类算法对初始化结果进行类的合并,提高非监督分类器的性能.实验表明,该算法能获得有效的分类中心,分类结果明显优于常规的Wishart H/α/A分类算法.     

基于信息熵的蚁群聚类DBSCAN改进算法

针对DBSCAN算法对数据分布不均匀和大规模数据处理问题上的不足,提出了一种新的整合算法,算法使用信息熵和蚁群聚类技术对聚类数据集进行代表性子集选择,在子集基础上进行DBSCAN聚类,实验证明这一算法能显著降低I/O耗费和内存需求,有效地解决含有分类属性的高维大规模数据集的聚类问题。     

基于混合聚类算法的客户细分策略研究

针对层次聚类法和 K-means 聚类法的缺陷和不足,提出将二者相结合的改进算法,既解决了层次聚类法伸缩性差的问题,又解决了 K-means聚类法对初始聚类中心敏感的问题。通过对改进算法的计算复杂度分析并利用 UCI 数据库的测试数据对改进算法进行测试。结果表明,混合聚类算法使样本聚类的准确率提高到94%,并有更高的执行效率和更好地实用性。此外,将此算法应用到汽车销售公司的客户细分管理中,得出了差别化明显的客户细分类别,表明此改进算法具有更强的客户细分能力以及客户行为特征的解释能力。     

一种基于类中心矫正的层次聚类算法

为了克服传统层次聚类算法由于两类合并造成的中心点偏移的严重缺陷,提出了一种基于类中心矫正的层次聚类算法,从而提高了算法的精确度;同时继承了传统层次聚类对初始中心点的无依赖性;经分析,算法对于已知聚类数和未知聚类数两种情况均有着良好的聚类效果.通过标准数据测试,结果表明新算法的聚类性能与层次聚类算法相比有更高的精确度;并且让新算法用于指导图像分割实验,证明了算法的有效性.     

一种基于超节点和能量优先的无线传感器网络的高效查询算法

文中提出一种基于超节点和能量优先的无线传感器网络的高效查询算法.该算法包括传感器节点的层次聚类算法及基于能量代价模型等支撑技术,主要解决了以下两个问题:(1)数据如何从传感器节点传送到汇聚节点;(2)通过对传感器节点进行聚类,形成超节点,使得在查询过程中减少对无关节点的访问.实验表明该算法在提高无线传感器网络查询效率的情况下,延长网络的使用寿命.     

基于模糊熵聚类和改进粒子群的MRI脑图像分割研究

现有医学图像生成过程中无法回避噪声的引入,而目前还未有较好的算法对高噪声的MRI医学图像进行分割,分割归属于聚类问题,聚类常用的方法是模糊聚类,但模糊聚类需要解决对噪声和初始化敏感的问题,提出了一种基于模糊熵聚类和粒子群优化算法的MRI脑图像分割算法.首先在模糊熵聚类算法的基础上进行改进,设计了 一种利用邻域空间信息的...     

一种基于神经网络的广义熵模糊聚类算法

以模糊聚类为基础,将广义熵引入到模糊聚类的目标函数中,提出一种基于模糊熵的模糊聚类的统一形式,即广义熵模糊聚类模型;利用增广拉格朗日求解方法,以及Hopfield神经网络和复突触神经网络解决了基于广义熵的目标函数的优化问题,提出了基于神经网络的广义熵模糊聚类算法,表明了使用神经网络求解的收敛性;同时,给出一种用于确定增广拉格朗日乘子的迭代方法.实验中选取人工生成数据集和UCI标准数据集对提出的算法进行了实验研究,并与常用的聚类算法进行了性能比较.     

基于聚类的视频镜头分割和关键帧提取

镜头分割是基于内容的视频检索和浏览首先要解决的关键技术。视频分割为镜头后,下一步的工作就是进行关键帧提取,用以描述镜头的主要内容。提出了一种改进的基于聚类的镜头分割和关键帧提取算法．在无监督聚类中引入一个参考变量,解决了利用无监督聚类进行镜头分割和关键帧提取时可能产生的帧序不连续或分割错误的问题。在关键帧提取阶段,将镜头分割为子镜头后,引入图像熵的概念提取关键帧。实验结果表明了改进算法在镜头分割和关键帧提取方面的有效性。     

基于层次聚类的网络流识别算法研究

利用核函数定理提出了一种改进的网络流识别算法。首先运用对称不确定性的概念选择出最相关的流测度,然后利用核函数定理对选择的网络流测度进行高维映射,以测度的高维空间距离作为度量各个类差别的标准,提高了聚类结果的准确性。采用光滑因子、轮廓系数和不确定熵来控制聚类过程。实验表明,该算法的聚类结果更均匀,没有出现某个类占过大比重的情况且根据高维空间的类距离能够检测出网络流里的大部分流量。     

基于改进KFCM聚类的数据关联算法

针对传统的基于模糊C-均值(FCM)聚类的数据关联算法存在的缺陷,提出了一种基于改进核函数模糊C-均值(KFCM)聚类的数据关联算法。该算法以改进的KFCM聚类为基础,通过放宽KFCM聚类的约束条件来增强系统的鲁棒性,并引入信息熵自动确定目标数以作为数据关联的前期准备,再将改进的KFCM聚类算法引入JPDA算法,通过避免对联合事件的概率计算和对确认矩阵的拆分,以实现数据的正确关联和对多目标的实时跟踪。仿真结果表明算法有效可行。