最小归纳依赖关系在采掘聚类关联规则中的应用研究

数据集中的冗余属性会降低数据采掘结果的解释能力及精度。该文介绍了在非项目集类型的数据集中采掘聚类关联规则的基本原理,并利用RoughSet理论对属性间的归纳依赖关系进行了分析,提出了一个在数据集中发现没有冗余属性的最小归纳依赖关系的算法,使采掘出的关联规则的精度及解释能力都达到令人满意的水平。     

基于大数据的海上目标隐性关联规则挖掘方法

利用基于Hadoop生态的大数据平台,汇聚情报数据,通过对海上目标情报数据进行深度挖掘和关联分析,提升目标活动属性与关系信息挖掘能力,发现海上目标的活动路线、基本属性、事件类型、时间、区域等因素之间的多层隐性关联规则,从而实现对海上目标活动规律的精准分析、研判预测等功能。     

汶川震后地质灾害遥感信息提取及分布特征分析

以汶川县为研究区,利用遥感、GIS和计算机三维可视化技术,对地质灾害进行了信息提取和解译,共解译滑坡53个,崩塌1 575个,地质灾害面积76.58 km2,并建立了相应的数据库。利用GIS空间分析功能,结合高程、坡度、坡向、地层岩性、地震烈度和水系等因子对研究区地质灾害的空间分布特征进行了分析,并采用层次分析法对研究区地质灾害易发性预测进行了分区研究。研究结果表明,本数据与分析对安置地的重建和地震灾害预测具有很好的参考价值。     

基于艾宾浩斯遗忘曲线的零售商品模糊关联分析

针对消费者对商品的偏好存在时序变化特征,而传统关联规则方法未考虑时间因素的影响,且对海量数据集进行关联挖掘时存在效率低下的问题,提出了基于艾宾浩斯遗忘曲线的模糊关联规则算法。该方法通过FCM聚类算法对商品进行聚类,并用艾宾浩斯遗忘曲线来修正聚类的距离度量方法,从而得到商品类及各类的代表点商品;然后将各代表点商品作为属性,消费记录小票作为样本,利用模糊关联规则算法得到代表点商品间的规则;最后将某大型超市一个月的销售记录作为关联规则的事务数据来挖掘潜在规律,结果显示所提算法先对商品模糊关联分析,与传统直接对商品进行关联分析相比,该算法可以显著提高关联挖掘的效率和规则的正确率。     

基于数据挖掘Weka平台的拒绝服务攻击关联分析

关联规则广泛应用于网络入侵检测,抽取KDDCUP99数据集的重要特征属性,运用Weka软件的关联规则挖掘算法,对拒绝服务攻击类型中不同属性特征进行分析,得到了back攻击类型中不同属性特征间的联系,对提高入侵检测的效率和准确率有极好的作用。     

数字属性的优化关联规则开采

关联规则揭示了关系表中属性之间潜在的联系,优化关联规则是发现特定属性间用户最感兴趣关系的一种有效途径。该文提出了一种基于数字属性的优化关税规则开采算法,该算法允许优化关联规则包含多维析取范式。     

土地利用/覆被变化对地质灾害发育的影响研究

2018年8月印度喀拉拉邦遭受强降雨,引发大量地质灾害,造成巨大的经济损失和人员伤亡。为研究农业化进程中土地利用/覆被变化对地质灾害发育的影响,探求适宜的人地协调发展模式,以该地区受灾最严重的伊都基为研究区,基于已有的灾害点数据,利用Google Earth高分辨率遥感图像目视解译获取研究区灾害发生前8 a(2010年)和灾害发生时（2018年）的土地利用数据,基于Landsat TM/OLI数据提取的归一化植被指数计算研究区植被覆盖度,对比分析该地区地质灾害的发育与土地利用/覆被变化之间的关系。研究结果表明：(1)伊都基地区灾害点主要集中在中北部地区,分布在种植林、种植灌丛、建筑物、道路等人类活动影响较大的区域,该区域灾害点占总灾害数的80.46%;(2)伊都基地区灾害点的土地利用变化虽然较小,总体变化率为37%,但土地利用变化主要发生在种植灌丛、种植林等与人类活动密切相关的土地利用类型中;(3)伊都基地区植被覆盖度下降率为16.70%,在空间分布上,灾害点易发区域与植被覆盖度下降区域有较强的关联性。     

面向结构化数据集的敏感属性识别与分级算法

如何对生产环境中经代码混淆的结构化数据集的敏感属性（字段）进行自动化识别、分类分级,已成为对结构化数据隐私保护的瓶颈。提出一种面向结构化数据集的敏感属性自动化识别与分级算法,利用信息熵定义了属性敏感度,通过对敏感度聚类和属性间关联规则挖掘,将任意结构化数据集的敏感属性进行识别和敏感度量化;通过对敏感属性簇中属性间的互信息相关性和关联规则分析,对敏感属性进行分组并量化其平均敏感度,实现敏感属性的分类分级。实验表明,该算法可识别、分类、分级任意结构化数据集的敏感属性,效率和精确率更高;对比分析表明,该算法可同时实现敏感属性的识别与分级,无须预知属性特征、敏感特征字典,兼顾了属性间的相关性和关联关系。     

多值属性的数据处理与关联规则挖掘方法研究 *

讨论了在多值属性关系中进行关联规则挖掘的应用特点,提出利用数据整理和数值编码的方式对关联 规则挖掘算法进行优化。将目标数据属性按其在算法中的作用划分,并分别进行转换和编码;然后对数据先进 行聚类,再在聚类结果中发掘频繁项目集;最后利用聚类后关联规则快速更新算法获取关联规则。算法分析和 实验结果表明,该算法比传统的关联规则挖掘算法更有效率。     

基于属性互信息熵的量化关联规则挖掘

在量化关联规则挖掘中存在量化属性及其取值区间的组合爆炸问题,影响算法效率。提出算法BMIQAR,通过考察量化属性间互信息熵,找到具有强信息关系的属性集,从中得到频繁项集以产生规则。实验表明,由于在属性层进行了剪枝,因此缩减了搜索空间,提高了算法的性能,且能得到绝大多数置信度较高的规则。     

基于时间衰减模型的模糊会话关联规则挖掘算法

现有的关联规则挖掘算法没有考虑数据流中会话的非均匀分布特性和历史数据的作用,并且忽略了连续属性处理时的“尖锐边界”问题。针对这些问题,本文提出一种基于时间衰减模型的模糊会话关联规则挖掘算法。首先,针对数据流中会话的非均匀分布特性,基于时间片对会话进行划分,完整的保留了时间片内会话之间的相关性信息;然后,采用模糊集对会话的连续属性进行处理,增加了规则的兴趣度和可理解性;最后,在考虑历史数据作用和允许误差情况的基础上,基于时间衰减模型挖掘数据流中的临界频繁项集和模糊关联规则。实验结果表明,本文方法在提高时间效率、降低冗余率和增加规则兴趣度方面存在明显优势。     

Rule Discovery Based on New Attributes Construction

This paper presents a method of constructing new attributes as a linear combination of original ones. Decision table based on n classification attributes and containing k-objects is seen in this paper as a collection of k points in n-dimensional space. For simplicity reason, it is assumed that the decision attribute is a binary one and the objects are partitioned into positive and negative. The problem is to find an efficient procedure for constructing possibly the smallest number of hyperplanes so each area surrounded by them only contains either positive or negative points. What is new in this paper is a strategy used to construct such hyperplanes. The work suggests unified approach to determine such attributes and use them for discovering new, more effective rules in decision systems.     

Mining optimized support rules for numeric attributes

Mining association rules on large data sets have received considerable attention in recent years. Association rules are useful for determining correlations between attributes of a relation and have applications in marketing, financial and retail sectors. Furthermore, optimized association rules are an effective way to focus on the most interesting characteristics involving certain attributes. Optimized association rules are permitted to contain uninstantiated attributes and the problem is to determine instantiations such that either the support, confidence or gain of the rule is maximized. In this paper, we generalize the optimized support association rule problem by permitting rules to contain disjunctions over uninstantiated numeric attributes. Our generalized association rules enable us to extract more useful information about seasonal and local patterns involving the uninstantiated attribute. For rules containing a single numeric attribute, we present a dynamic programming algorithm for computing optimized association rules. Furthermore, we propose bucketing technique for reducing the input size, and a divide and conquer strategy that improves the performance significantly without sacrificing optimality. We also present approximation algorithms based on dynamic programming for two numeric attributes. Our experimental results for a single numeric attribute indicate that our bucketing and divide and conquer enhancements are very effective in reducing the execution times and memory requirements of our dynamic programming algorithm. Furthermore, they show that our algorithms scale up almost linearly with the attribute's domain size as well as the number of disjunctions.     

Mining optimized association rules with categorical and numericattributes

Mining association rules on large data sets has received considerable attention in recent years. Association rules are useful for determining correlations between attributes of a relation and have applications in marketing, financial, and retail sectors. Furthermore, optimized association rules are an effective way to focus on the most interesting characteristics involving certain attributes. Optimized association rules are permitted to contain uninstantiated attributes and the problem is to determine instantiations such that either the support or confidence of the rule is maximized. In this paper, we generalize the optimized association rules problem in three ways: (1) association rules are allowed to contain disjunctions over uninstantiated attributes, (2) association rules are permitted to contain an arbitrary number of uninstantiated attributes, and (3) uninstantiated attributes can be either categorical or numeric. Our generalized association rules enable us to extract more useful information about seasonal and local patterns involving multiple attributes. We present effective techniques for pruning the search space when computing optimized association rules for both categorical and numeric attributes. Finally, we report the results of our experiments that indicate that our pruning algorithms are efficient for a large number of uninstantiated attributes, disjunctions, and values in the domain of the attributes     

基于GIS和Logistic回归模型的兰州市滑坡灾害敏感性区划研究

针对兰州市脆弱的地质环境和频繁发生的滑坡灾害,采用Logistic回归模型,以ArcGIS和SPSS软件为工具,选取地层岩性、断层构造、坡度、地貌、植被覆盖度、7~9月平均降水、道路(公路、铁路)作为滑坡灾害影响因子。首先对每个影响因子分级并计算每个因子指标值,然后在ArcMap中对影响因子图层进行叠加操作,最后在SPSS软件中运用Logistic回归方法,计算出每个影响因子的系数值并建立Logistic回归模型。根据Logistic回归模型在ArcMap中绘制兰州市滑坡灾害敏感性区划图,区划图和实际的滑坡分布情况基本吻合。模型的Kappa系数值和ROC曲线下面积值(AUC值)分别为0.623和0.709,两种方法的检验结果均表明模型模拟效果较好,能应用于兰州市滑坡灾害敏感性区划研究中。     

An automated,objective and open source tool for stream threshold selection and upstream riparian corridor delineation

The extraction of stream networks from digital elevation models (DEMs) and delineation of upstream riparian corridors (URCs) for stream sampling points (SSPs) are frequently used techniques in freshwater and environmental research. Selection of an accumulation threshold (AT) for stream extraction and delineation of URCs are often done manually. Two algorithms are introduced in this paper that allow for automated AT selection and URC delineation. ATs are selected to yield the highest overlap of DEM-derived and traditionally mapped streams as well as to assure extraction of all mapped streams from DEMs. URCs are delineated after snapping SSPs to DEM-derived streams. The new tool showed similar or better performance than comparable algorithms and is freely available, interfacing the open source software packages R and GRASS GIS. It will improve the extraction of stream networks and the assessment of magnitude and scale of effects from riparian stressors (e.g. landuse) on freshwater ecosystems.     

基于样条插值法与GIS的江苏省暴雨洪涝风险评估

暴雨洪涝灾害更是种十分常见的自然灾害,所以对其风险评估刻不容缓。该文利用到江苏1957-2007年的降水资料,将整个评估流程划分为四个部分,致灾因子危险性、孕灾环境敏感性、承灾体易损性和抗灾因子安全性,其中自然灾害中导致灾害直接发生的因素即是致灾因子,因此对致灾因子的正确评估对整个评估起着举足轻重的作用。其中选取样条插值法中的张力样条函数来处理致灾因子部分,能形成一个比较光滑的曲线,比较真实的符合降雨情况,然后结合灾害评估方法、层次分析法、ArcGIS空间处理方法、加权综合评价法,以县为单位,公里为栅格进行评估。结果表明江苏省的自然风险呈从南至北逐渐增加,风险较高地区主要集中在苏北例如宿迁、徐州、淮安等城市一带,其结果与历年灾情相符合。     

关联规则对监控下行人属性识别影响的研究

针对监控视频下的行人多属性识别问题,提出一种结合神经网络与关联规则的多分类方法。首先通过Faster-RCNN检测算法与改进的AlexNet多分类网络得到监控视频下行人各个属性的置信度,再采用关联规则Apriori算法对训练数据进行处理,进而结合神经网络分类的置信度和关联规则的处理结果,提出一种对分类置信度进行优化的算法。最后,统计关联规则优化后的某些行人属性准确率。结果表明,将神经网络与关联规则有效结合后可以提升某些属性识别的准确率。     

基于粗糙集与AHP理论的IT项目风险群决策

针对IT项目的风险管理与群决策过程中存在大量不确定、不完全信息等特征,在传统决策方法的基础上,将粗糙集方法与AHP理论相结合,提出了粗集IT项目风险群决策的基本步骤,并借助粗糙集的原理与方法,通过实例分析探讨了IT项目风险群决策中关于知识表达、属性约简、规则挖掘、方案排序等方法,尤其是引入属性动态权重、专家主观权重、客观权重的概念与计算方法,进而对整个决策排序算法进行了改进。     

基于约简数据集的关联规则挖掘策略

原始数据集中含有大量噪声数据,且数据的规模很大,直接进行关联规则挖掘会影响准确度和效率。文章提出了一种对原始数据先进行聚类,再提取关联规则的挖掘策略,可以在一定程度内减少噪声数据的干扰,消除数据对象中的冗余属性,提高规则挖掘的有效性。