基于增量DFT概要的数据流聚类算法

数据流聚类分析是数据流挖掘领域的重要分支。由于数据流海量、快速、动态到达,传统的静态数据挖掘技术不能满足在线分析的需求。数据流聚类的核心是设计单遍数据集扫描算法,在有限的内存中存储少量概要特征信息,实现数据流实时、在线聚类分析。采用数据流处理中广泛应用的滑动窗口模型,提出一种新的基于增量傅立叶变换(DFT)的数据流概要算法,并在此基础上运用k-均值(k-means)聚类,实现数据流的在线挖掘。基于增量DFT概要的数据流聚类算法可减少运行时间,节省内存空间,实际用电负荷数据证明了算法的有效性。     

乱序RFID数据流上的复杂事件检测方法

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法.该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题.文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证.实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率.     

基于移动代理的层次优化挖掘模型

对于大规模分布式数据挖掘问题,提出一种基于移动代理的层次结构挖掘模型,该模型对OIKI DDM模型进行扩展,利用层次设计思想,基于移动代理和增量优化技术进行挖掘和增量集成。实验结果表明该模型对于数据站点大小具有更好的伸缩性,实现更加灵活,可根据网络特点有效降低通讯代价,特别适合于大规模分布式环境。     

基于人工智能技术的局部离群数据挖掘方法

针对传统离散数据挖掘方法存在内存消耗过大的问题,研究基于人工智能技术的局部离群数据挖掘方法.提取离散数据特征,并使用基于信息熵的算法检测局部离群数据.标准化处理检测出的数据,在神经网络中实现对局部离群数据的挖掘,完成对基于人工智能技术的局部离群数据挖掘方法的研究.通过与传统数据挖掘方法的对比实验结果可知,本文方法在数据...     

基于云计算平台的并行DBSCAN算法

DBSCAN算法是一种典型的基于密度的聚类算法,具有速度快、可以发现噪声的优点,但在处理大规模数据时出现聚类效率低、内存和I/O消耗大、聚类精度降低的问题,集群式计算机技术特别是云计算技术的发展提供了解决DBSCAN算法缺陷的方案.文中提出了数据预分区的并行PMDBSCAN算法,该算法在聚类之前对数据分区预处理,利用并行编程模型MapReduce实现DBSCAN算法并行化,结合重叠分区思想,减少I/O消耗.实验结果表明,在大规模数据集上,PMDBSCAN算法聚类有效提高了聚类的速度、减少了I/O消耗、改善了聚类的质量.     

事件驱动RFID系统开发及其应用

随着RFID硬件技术的不断成熟和生产成本的不断降低,RFID已广泛应用于零售超市、物流与供应链管理、图书管理、设备与资产管理等实时监控和追踪领域。本文主要研究事件驱动的RFID系统开发方法,该方法通过将大量数据表示成不同类型事件（包括原始事件和复杂事件）,设计了事件驱动的RFID事件处理框架。基于此框架,研究了基于Hash表事件过滤机制和复杂事件匹配方法,以实现对RFID事件流的实时分析与处理。最后,结合一个RFID模拟零售超市管理系统,验证了方法的可行性和有效性。     

CB-LSH:基于压缩位图的高性能LSH索引算法

由于传统局部敏感散列(LSH)算法的删除性能不足,阻碍了LSH算法在实际产品中的应用.提出一种基于压缩位图的改进方法,通过引入压缩位图改良传统LSH算法的桶中数据结构,以及使用标记清除策略进行算法流程优化,解决传统LSH索引实时删除性能差的问题.理论分析证明:基于压缩位图的LSH(CB-LSH)算法可以显著降低算法的空间复杂度和时间复杂度.实验结果支撑了理论分析的结论,相对于传统LSH算法,CB-LSH在降低内存消耗的同时,可显著提高索引删除、数据插入和数据查询的性能.在大型项目中的应用实践验证了在线实时更新的海量多媒体数据检索系统中,CB-LSH索引算法对于多媒体数据的高维索引是有效可行的,并显著提升了性能、降低了资源消耗.     

基于虚拟机监控器的类蜜罐实时内存取证

为了解决传统的基于“镜像-分析”的内存取证技术面临的提取内存镜像时间过长及无法有效截获瞬时性内存攻击的问题,提出类蜜罐的实时内存取证方法（RTMF）.利用虚拟机监控器针对性地提取内存片段,对提取的数据进行语义重构,以获得操作系统级语义信息.利用扩展页表机制设置关键内存页面的访问权限,将这些内存页面作为蜜罐;针对蜜罐的违规访问会触发扩展页表故障而陷入虚拟机监控器,实时拦截攻击.结果表明,在发现内存攻击后,RTMF既可记录攻击者对内存的修改历史,又可对攻击者追踪溯源.经微基准测试,该方法引入的性能开销在可接受的范围内.     

基于分区列表的增量闭合高效用模式挖掘方法

为减少构建效用列表的数量和占用的内存,在时间和空间方面提高挖掘性能,提出增量闭合高效用挖掘算法(incremental closed high utility mining, ICHUM),从增量数据集中有效地挖掘闭合高效用项集。此算法提出一个增量分区效用列表结构,该结构仅通过一次数据库扫描即可构建和更新列表,更有效地处理增量数据。在构造此列表结构的过程中,算法还应用有效的融合修剪策略,从而减少无效列表的构建数量。在各种数据集上的试验结果表明,与对比算法相比,该算法减少了30%的运行时间和33%的内存消耗,具有一定的可扩展性。     

ExtremeDB在实时多传感器数据采集系统中的应用

针对实时多传感器数据采集系统因系统处理的数据量大、实时性强,基于硬盘数据库的系统开发难以胜任实时性、快速性要求的问题,通过对嵌入式内存数据库ExtremeDB的应用研究,解决实时多传感器数据采集系统在海量数据接收的情况下实现处理数据的实时性.在ExtremeDB的应用中,详细说明了构建内存数据库的方法,并通过模式编译器生成数据库API,在与硬盘数据库性能对比中,证明ExtremeDB内存数据库在各方面都具有较大优势.用ExtremeDB开发实时数据采集系统可有效地缩短开发周期,对提高系统的实时性和可靠性,具有一定的借鉴和指导意义.