基于模糊聚类与改进遗传算法的异常电力工程数据识别技术

针对传统人工核查电力工程异常数据存在耗时费力及准确度较低的问题,文中提出了一种基于模糊聚类与改进遗传算法的数据识别技术。该技术采用模糊聚类算法对数据进行自动归类,并对异常数据加以识别。同时还设计了一种改进遗传算法增强了数据的全局搜索能力,进而提升整体算法的识别效率。基于Matlab进行的仿真验证结果表明,所提技术方案可有效地自动识别出电力工程中的异常数据。而在结合改进遗传算法后,该算法的识别准确率得到了显著提升,且识别时间也缩短了60%以上,实现了数据搜索能力与效率的平衡。     

C4.5决策树改进算法研究

决策树是数据挖掘分类算法中非常重要的一个算法分支。文章介绍了决策树算法中应用最广泛的典型算法-ID3和C4.5算法,并基于四个通用的数据集,针对这两个算法进行定量分析对比,研究两个算法的性能优劣。文章对C4.5算法中的连续属性离散化方法提出一些优化改进,并通过实际数据实验证实了优化的可行性。     

对等网络流量信息结构异常的检测技术研究

随着信息技术的发展,对等网络P2P信息流量经常出现偏离正常范围的异常情况,这里以决策树算法为基础,对P2P流量检测和流量异常时的检测技术进行研究。采用改进的C4.5决策树P2P流量检测模型,通过P2P流量异常检测模型对大量训练数据集的训练,实现了对错误的逐步修正,通过试验室仿真试验可知,经过选择网络流量特征后,基于改进的C4.5决策树的P2P网络流量分类器能实现较好的分类效果,分类检测率在94.6%~96.7%,较高的检测率说明采用改进的C4.5决策树算法能有效地对P2P流量进行检测,为研究P2P流量异常检测技术提供了参考。     

基于决策树的消费行为分析

消费行为因素分析对产品生产和销售具有重要指导作用。C4.5算法是基于信息熵理论进行数据分类分析的经典决策树数据挖掘算法,先对消费数据集进行数据预处理,为了利用消费者的消费数据进行消费行为分析,对消费数据形式化表示,形成消费客户交易数据集和交易统计信息表达。然后在消费客户交易数据集上定义了信息增益率,反映消费因素的分类能力。利用C4.5算法对消费者行为进行分析并构造出决策树,挖掘消费数据之间隐藏的潜在关系,对企业的生产经营具有重大的指导意义;运用预剪枝和后剪枝对完全决策树进行剪枝,对比剪枝后效果。     

数据挖掘技术在气象服务中的应用研究

数据挖掘技术是通过建立数据模型,从数据抽样、数据转换、数据处理等过程中来进行趋势分析和预测。气象数据多为动态变化的数据,利用数据挖掘技术来进行气象数据的定量量测、聚类分析,有助于实现对气象预报的准确预测。在气象领域,利用数据挖掘技术主要从气象业务需求和数据处理需求分析上,结合数据预处理技术和关联规则挖掘算法,在进行数据填充空值、去噪、冗余处理后,以Apriori算法和决策树生成算法来进行气象数据的改进,最后通过试验来优化数据挖掘方法,提升气象服务水平。     

基于C4.5决策树算法的全国积雪模型生成

C4.5算法是进行数据分类分析的经典决策树数据挖掘算法.本文介绍了决策树及其常用算法,并根据1971-2000年全国气象站点记录的数据信息,采用C4.5决策树算法建立全国积雪模型.通过积雪模型预测区域积雪分布情况的实验表明正确率达到83.96％,可以用于辅助遥感图像雪区检测进行判断决策.     

数据挖掘技术在客户关系管理中的应用研究

在电子商务环境下,客户对企业起着至关重要的影响。新客户的获取无疑对企业的生存和发展起到很重要的作用。客户关系管理系统中,通过分析海量数据之间的联系,建立规范全面的信息模型。为了解决新客户的获取问题,采用数据挖掘技术对客户类别进行预测。通过对数据挖掘各种算法的比较,做了决策树算法编程实验,获得客户类别的预测结果。结果表明,数据挖掘技术能有效提高客户预测的准确率,提高了数据利用率。     

数据预处理与决策树在客户行为分析中的应用

决策树算法是数据挖掘中的一种重要算法,介绍了决策树的构建过程中数据预处理方法及决策树构造方法与步骤.数据预处理是为了提高数据挖掘对象的质量,主要包括数据清洗、数据集成与数据消减.数据预处理之后,在训练样本集的基础上,通过选择适当的属性做为树根、子树根,不断重复,基于剪枝方法,最终建立了经过优化的决策树.     

基于决策树算法的信息系统数据挖掘研究

为了提高数据挖掘准确性和效率,文中提出了基于决策树算法的信息系统数据挖掘方法.以C4.5决策树算法计算属性的信息增益率和属性值的信息熵为基础,提出基于余弦相似度改进的C4.5决策树算法,若任意两个属性值的信息熵之差在阈值范围内,通过计算其余弦相似度合并在阈值范围内的属性值,并重新计算合并后属性的信息增益率,实现信息系统...     

基于决策树算法的信息资产识别

资产识别是网络安全动态风险评估过程的首要环节,在基于层面的信息资产划分方法上,通过数据挖掘技术中的决策树算法,研究了信息资产识别问题。实现了数据挖掘技术在资产识别中的应用。在对C4．5算法的基本流程进行描述的基础上,以信息资产数据集中的操作系统为例,利用C4．5算法实现了对数据的正确分类,并进行了规则的提取,为以后进行资产识别提供了依据,并指明了今后该算法在信息资产识别其他方面的研究方向。     

基于决策树算法的体育课程分析与管理系统设计

随着高校教学信息化建设的不断推进,体育课程的教学管理工作产生了大量的教学信息资源。为了对信息数据进行数据挖掘以便提高体育教学质量,提出决策树算法在体育课程分析与管理中的应用方案。首先对采用的数据挖掘方法——C4.5决策树算法进行分析;然后给出课程分析与管理系统的框架及其数据库设计;最后采用ASP.NET开发语言进行系统实现,数据库为SQL Server 2008,开发环境为Visual Studio 2010。测试结果显示,提出的体育课程分析与管理系统在运行时间、准确率方面表现良好,为提高体育课程管理的效率和质量提供了有力的数据支持。     

基于ID3决策树算法在环境监测的应用

大数据时代的来临,面对着庞大的数据流,如何从其中找寻数据,管理数据,分析数据成为重点。而决策树是进行数据挖掘的重要方法,如何选用不同的决策树算法就显得尤为重要。ID3、C4.5等是建立决策树常用办法。文章详细描述了ID3算法,并在环境监测数据中举例分析。     

一种改进的C4.5决策树算法

数据挖掘中基于决策树的C4.5算法是一种经典的分类算法,该算法具有ID3算法的优点,但是也存在缺点。针对原算法的不足,改进算法简化了熵值的计算,改进了连续属性的处理方法,使C4.5算法在执行效率上得到很大提高的同时也保障了分类的正确率。     

多角度偏振成像仪测量偏差的数据挖掘分析

对多角度偏振成像仪测量偏差进行数据挖掘分析,解决多角度偏振成像仪测量偏差预测准确率低问题.利用包含决策树建立和决策树剪枝两个步骤的决策树算法,通过数据预处理,去除原始数据中的噪声,通过误差数据挖掘,选取真值方位和真值距离为输入属性,方位误差和距离误差为预测属性建立测量偏差模型,挖掘多角度偏振成像仪测量偏差;采用前向算法...     

基于数据挖掘的违规短信自动识别算法设计

违规短信是诈骗分子的温床,亟须严格管控。文章提出了基于数据挖掘的违规短信自动识别算法设计,通过决策树分类算法技术进行违规短信判决,构建违规短信自动识别算法模型,设计模型系统的架构生成、指标属性以及工作流程。实验分析,利用基于数据挖掘技术的违规短信自动识别算法准确率虽存在一定的波动性,违规短信自动识别的准确率为96.42%,但能够较好地识别疑似违规短信,实现有效识别与控制违规短信用户,高效治理违规短信现象的终极目标。     

基于大数据分析的电力设备状态检测技术研究

针对目前广泛使用的基于人工经验或阈值辨别设备状态的方法存在稳定性差、准确率低且未能充分挖掘出海量数据所蕴含信息的问题,文中在深度学习技术的基础上提出了一种改进状态参数识别算法。其利用归一化互相关算法（NCC）来确定检测区域,并从中提取出统计特征,进而提升了分类效率。再通过改进的多层分类感知(MLPNN)神经网络算法,实现对电力设备状态的自动检测与识别。测试结果表明,所提方法对设备平均状态的识别准确度可超过95%。且与传统神经网络算法相比,也具备较强的准确性、便捷性和可实施性,因此有利于提升效率、减轻人工运维工作负担并保障供电可靠性。     

基于增量式决策树算法在入侵检测中的研究

为了更好地提高入侵检测的准确率,节省检测时间,文章提出了一种基于增量式的决策树检测算法。该方法采用了基于粒度决策熵和改进的主成分分析方法对数据集中的冗余以及不相关属性进行归类、降维。该方法将数据挖掘增量学习技术与决策树分类算法相结合,在属性降维后的决策树基础上,对于新的测试样本实例,引入扩展贝叶斯结点,比较贝叶斯分类方法与决策树分类方法的准确率,返回更新后的决策树。针对属性降维,主成分分析方法在约简属性的基础上,能够有攻击分类结果准确率高、耗时少的特点。将增量式决策树算法与贝叶斯算法、ID3算法进行对比,发现在检测精确率、检测效率的指标下,增量式决策树算法在一定程度上优于其他算法,并且误报率有效降低。     

基于决策树算法的网络信息安全威胁识别方法

为了提高网络信息的安全性,引进决策树算法,设计基于决策树算法的网络信息安全威胁识别方法。提取网络信息属性,获取数据的划分规则,从决策树的根节点开始执行构造行为,进而生成可用于识别威胁源端的决策树;将测试样本数据集合中的数组作为依托,对数据生成中影响决策树稳定性的数据或信息作为初步生成规则,以此将决策树中的数据集合进行冗余值删除处理,实现基于决策树剪枝处理的网络信息分类处理;根据检测到的攻击路径识别攻击的源端,实现识别网络信息安全威胁。实验表明,相比传统方法,设计的识别方法,可以在确保威胁识别具有时效性的基础上,提升信息安全威胁识别结果的准确率,准确率最高达到100.0%,远高于传统方法。     

基于改进LOF的高维数据异常检测方法

作为数据挖掘的核心问题之一，检测离群点或异常值是及时发现故障和隐患问题的重要判断依据。随着物联网设备量的持续增长，传统的单维异常检测算法已经难以满足日益复杂的大数据应用场景。对多维、庞大的数据流进行异常检测时，容易发生检测速度慢和研判准确度下降的问题。本文提出了一个基于高维数据的改进LOF异常检测算法，以提高检测速度和检测精度。同时构建了一个面向海量监控指标数据的流式处理框架，保障异常检测的正常运行。实验结果表明，改进后的算法在准确率和计算效率上有明显提升。     

机器学习在乳腺癌诊断中的应用

大数据时代,海量的乳腺癌检测数据给机器学习训练带来可能,机器学习作为及其重要的数据挖掘手段,可在乳腺癌的医疗诊断中更加精确快速的检测出疑似患者。基于机器学习经典的逻辑回归、决策树、KNN、支持向量机等算法,对数据样本进行分类训练,实验结果发现KNN的表现优异,准确率高达96.6%。该应用在改善乳腺癌诊断中过度依赖医生经验上有较大帮助。