基于离群点剔除的网络热点事件挖掘算法

研究网络热点事件准确检测问题,收集网络文本数据中含有大量的离群点,由于离群点一些噪声数据,对网络热点事件检测产生不利影响.为提高检测正确率,提出一种采用离群点剔除的网络热点事件挖掘算法.首先通过计算数据点的密度相似度,将小于阈值的离群点剔除,降低计算复杂度和离群点的不利影响,然后采用模糊C均值聚类算法对网络文本进行聚类,发现其中的热点事件,最后通过仿真测试算法的有效性.仿真结果表明,改进算法剔除网络中的离群点,不仅提高了网络热点事件检测正确率,而且降低算法计算复杂度,加快了网络热点事件挖掘速度,更加适合于网络热点事件在线挖掘要求.     

基于贝叶斯网络的故事线挖掘算法

目前的多数故事线挖掘研究侧重新闻文献和事件的相似性分析,忽略了故事线的结构化表述及新闻具有的延时性,无法直观地从模型结果看出不同新闻话题的发展过程。为此,提出一种基于贝叶斯网络的无监督故事线挖掘算法。将故事线看成日期、时间、机构、人物、地点、主题和关键词的联合概率分布,并考虑新闻时效性。在多个新闻数据集上进行的实验和评估结果表明,与K-means、LSA等算法相比,该算法模型具有较高的故事线挖掘能力。     

基于HTML结构的Web文本主题挖掘研究

随着数据挖掘应用的深入,非结构化和半结构化数据的挖掘,将成为下一个数据挖掘应用的热点。文本挖掘是一种典型的非结构化数据挖掘,而Web挖掘则是典型的半结构化数据挖掘。所以将信息处理技术中的汉语分词、信息抽取、语义分析等技术应用到Web挖掘研究技术是必然的发展趋势。本文根据Web挖掘的特点,运用数据抽取进行数据结构转换并把语义分析技术应用到数据抽取的过程中的思想,以便使数据提取更加准确。     

基于Fuzzing的文件格式漏洞挖掘技术

软件漏洞挖掘已成为信息安全研究的一个热点,基于此,分析现有漏洞挖掘工具的不足,阐述基于Fuzzing的漏洞挖掘与分析的功能需求,根据文件格式结构化存储的特征,给出一种启发式的畸形数据的构造方法,设计并实现文件型漏洞智能挖掘与分析系统,给出软件结构、运行机制和关键技术。实例测试结果表明,该系统有效提高了文件漏洞挖掘的效率和智能化水平。     

基于自适应角度的三维点云分割方法

点云分割是基于点云数据空间几何信息提取的一项重要工作,它是点云数据特征提取与分析的基础。同时,点云数据通常是离散的和非结构化的,点云数据的分割不是一项简单的数据处理任务,分割效率和分割精度决定了后续数据处理工作的结果。因此,研究点云数据分割具有重要意义。提出一种基于自适应角度的三维点云切割算法,使用PCA算法找到最佳降维投射方向,以降低原始点云数据维度,并利用投射簇的概念实现对原始目标点云的切割获取。     

基于规则置信度调整的知识挖掘及在烟草科技管理中的应用

介绍信息管理领域中的一个热门研究主题——知识挖掘。知识挖掘旨在从结构化、半结构化的数据中挖掘信息。例如从电子文档、不完备的历史数据中搜索稳定的模式或模型,分析挖掘数据间的交互特征和规律,以辅助管理人员制定、调整规范与标准,构建专家库和知识库。提出知识挖掘的一种改进方法,通过动态规则置信度生成算法提高所获得规则的准确性与适应性,并结合烟草企业科技项目智能辅助管理中的实际应用进行了验证,取得了一定的成效。     

基于最右扩展枚举的半结构化数据最大模式挖掘方法研究

本文以标记有序树作为半结构化数据的数据模型 ,研究了半结构化数据的树状最大频繁模式挖掘问题 .已有挖掘算法通常挖掘所有频繁模式 ,其中很多模式为其它模式的子模式 ,针对该问题 ,设计实现了一种最大模式挖掘算法 .该算法采用最右扩展枚举方法无重复枚举所有候选模式 ,利用频繁模式扩展森林实现高效剪枝扩展和挖掘频繁叶模式 ,通过计算频繁叶模式间的包含关系挖掘树状最大频繁模式 .试验结果表明该算法具有良好性能     

聚类挖掘在监控视频中的应用

提出了一种针对监控视频数据的挖掘算法.算法根据输入视频帧与可更新背景帧的差异计算帧运动量,按运动量所属类型分割视频段,然后根据视频段的平均运动量采用K均值算法进行聚类分组.通过对大楼走廊的监控视频进行运动量挖掘,能对可能的异常事件给予告警,发现一天中各时段走廊的拥挤程度和模式.实验结果表明该挖掘算法对于室内走廊监控视频是有效的和鲁棒的,可以在一定程度上提高监控视频的智能应用.     

社会网络分析和社团信息挖掘的三项探索——挖掘虚拟社团的结构、核心和通信行为

社会网络分析是数据挖掘的新热点。文中综述了社会网络分析研究动态,介绍了作者近期在社会网络挖掘方面的三项探索,包括:（a）虚拟社团的结构挖掘,讨论了初始社团生成、权重计算,社团树生成和社团结构挖掘算法。(b) 基于六度分割和最短路径社团核心成员挖掘,讨论了计算节点间的最短路径,根据六度分割定理的剪枝,基于SPLINE算法和中心度挖掘犯罪子团伙中的核心的技术。(c)基于用户属性的通信行为挖掘,讨论了用户个性和通信行为关系的量化描述,采用911事件解密数据来建立社会网络,用于模拟恐怖分子间邮件的收发。     

基于品类聚类的关联规则优化算法

提出了一种基于品类聚类的关联规则优化算法.该算法首先根据文中定义的品类特征向量,用结构化的数据来表示事务;然后根据一种基于密度的聚类算法,对结构化的数据进行聚类,同时将对应的原始事务进行聚类;最后根据聚类后得到的类的长度以及用户指定的最小支持度,确定类内的最小支持度,在类内挖掘关联规则.实验结果表明,与传统算法相比,该算法效率较高,具有一定的实用价值.     

基于半结构化数据的关联规则挖掘模式

针对关联规则挖掘应用所面临的困难,分析了XML语言的技术特点,提出了一种基于半结构化数据的关联规则挖掘模式。该模式充分利用了半结构化数据源的自描述性、开放性和可扩展性方面的优势。     

基于数据挖掘技术的系统审计机制

提出了一个基于数据挖掘的系统审计机制.该机制是基于Windows操作系统的,用于审计系统日志以及记录用户对系统所做的任何操作,从并数据挖掘中的相关算法中找出规律,发现攻击事件以及隐患事件.通过对Apriori算法进行深入研究,提出了综合划分数据及临时表的Apriori改进算法.比较分析表明,该机制有较好的效率和性能.     

数据流模式依赖挖掘及应用

针对数据流间“模式依赖”问题,给出了一种模式依赖挖掘算法,该算法包括：挖掘前时间序列分段和模式表示,条件规则元组的创建和维护,模式依赖的置信度和支持度计算,2个或N个数据流概要结构的设计等。股票数据实验和实际系统表明,该挖掘方法能够有效地发现数据流间的模式依赖,可用于预测。     

图像纹理特征数据挖掘软件原型的设计与实现

为了实现图像处理与分析的自动化、智能化,把数据挖掘引入到图像处理与分析领域,针对图像纹理数据的特点,在深入研究数据挖掘软件的基础上,提出了一种图像纹理特征数据挖掘的理想的系统结构;介绍了基于图像(遥感图像)数据挖掘的软件原型系统RSImageMiner中图像纹理特征数据挖掘模块的各子功能模块的设计与实现;并以图像纹理分割为例,给出实验结果及分析。实验表明,该软件原型能得到较满意的图像纹理特征,并能有效地指导图像处理与分析。     

Web数据中频繁模式树的挖掘

为了高效地从半结构化WEB数据中挖掘频繁模式树,提出了把半结构化数据表示为标记、有序树,并基于最右路径扩展技术在有序树中发现所有频繁模式树的算法.其基本思想是,首先从只有一个节点的模式树开始,而新增节点只能通过添加到最右路径上来生成新的模式树,另外,还通过维护最右叶子出现次数列表来实现支持度的逐步计算.理论分析和试验结果表明该算法是可行的,并且具有计算性能线性于最大频繁模式总和的优点.     

基于分层向量距离的实时多媒体数据挖掘模型

论文构造了一个实时多媒体数据挖掘模型,提出了一种原始视频数据进行数据挖掘的新机制,主要采用分层向量距离来进行动态可控序列分析分割、段内特征提取,使用粒子群K均值进行段间聚集,在一定程度上,解决了多媒体数据挖掘各方面的特殊要求。挖掘模型中各个部分与提出的技术相结合,基本上能满足实时情况下处理原始视频数据的要求。     

基于保序加密的隐私保护挖掘算法

在分析基于加密技术的挖掘算法的基础上,提出了一种基于保序加密的隐私保护数据挖掘算法.在保证挖掘结果的前提下,利用保序加密的同态特性解决了数据挖掘中的密文数值比较问题,从而降低了通信复杂度.实验结果表明该算法能显著减小挖掘算法中的通信开销.     

在线商品的潜在语义信息提取及分类研究

在基于Web的电子商务数据挖掘过程中,如何从大量的商品交易记录中发掘出有用的信息是目前研究的主要课题,通过对目前网络交易的商品名称信息的特征进行分析,使用自定义的网页抓取工具获取在线商品交易的信息,分词处理后使用潜在语义分析方法对数据集的类别进行分析,实现了一个商品类别分类算法.从划分结果来看,该算法能较好地清除冗余信息,有效地区分不同类别的商品.     

基于多维关联规则的教学管理系统的开发

Apriori算法是一种找频繁项集的基本算法,它常常被用于单维关联规则的数据挖掘,本文结合数据立方体技术对Apriori算法做了一些变形,给出了一种适用于维间关联规则挖掘的算法,并将此算法结合Apriori算法,在教学管理系统中挖掘出混合维间的关联规则。     

基于多维关联规则的教学管理系统的开发

Apriori算法是一种找频繁项集的基本算法,它常常被用于单维关联规则的数据挖掘,本文结合数据立方体技术对Apriori算法做了一些变形,给出了一种适用于维间关联规则挖掘的算法,并将此算法结合Apriori算法,在教学管理系统中挖掘出混合维间的关联规则.