面向大规模日志数据的聚类算法研究

针对大规模日志数据的聚类问题,提出了DBk-means算法.该算法使用Hadoop对原始日志数据进行预处理,并结合了k-means和DBSCAN聚类算法各自的优势.实验结果表明,相比k-means算法进行聚类分析,文中使用DBk-means算法进行聚类,能够取得更好的聚类效果,正确率可以达到83％以上.     

云环境下基于群智能算法的大数据聚类挖掘技术

云计算从分布式存储和分布式计算两个方面为大数据处理提供了强力的支持,并逐渐成为大数据挖掘的主流平台。但是在处理云平台中的大规模数据集时典型聚类挖掘算法存在一定不足,因此,提出一种基于群智能算法的大数据K-means聚类挖掘算法。首先对云计算Hadoop框架的存储数据能力和采用的Map Reduce计算模型进行分析,然后采用群智能算法对传统数据挖掘K-means聚类算法进行改进,解决其容易陷入局部最优问题。实验结果表明,相比加权K-means聚类算法,提出的改进算法表现出更好的聚类精度和运行速度,可以适用于大规模数据的聚类挖掘。     

基于大数据的电力设备运行数据分析系统的设计

当下,伴随着我国现代化建设进程的不断加快,使得电网系统呈现了出智能化的发展趋势,电力设备的检测工作开展过程,已经从原本人工检测的工作模式,转变成了基于智能软件的实时检测.特别是加上近些年社会对于电力资源的需求量的提升,使得更加需要充分利用大数据技术平台,针对各种数据进行全面优化以及分析,这样就可以获得更多有价值的信息数...     

基于数字时代互联网用户行为分析与研究

信息技术与数字技术的高速发展与持续深入研究,使其影响范围与应用范围不断扩大.目前,在经济稳步发展的基础上,我国各市场行业发展态势良好,同时也对互联网方面的应用提出更高要求.文章首先对移动互联网用户的行为特征展开多方位描述;其次,阐明当前移动用户在互联网中行为特征的分析内容与方法;最后根据上述内容提出有效分析用户行为特征...     

基于分布式聚类的制造业大数据监测与分析算法

工业制造大数据的分析与监测具有重要的战略意义,但基于人工的大数据分析方法灵活性差、准确性难以核实、效率较低,文中采用实时获取的制造业RFID数据作为大数据分析的原始数据,建立了一套基于制造业大数据检测分析的算法框架.针对不同类型的制造业数据,通过合理的数据预处理转换为标准化的格式.对于大样本的制造业数据,采取分布式的聚...     

高速、大容量视频数据存储、传输系统设计

以研究高速、大容量视频数据的图像处理为目的,利用FPGA为系统控制核心,介绍了基于Camera Link接口的CMOS彩色相机的高速、大容量数据采集的硬件系统组成,重点描述了nand flash的写操作实现原理和方法,并具体给出了由Bayer阵列恢复为RGB信号的彩色插值算法-双线性法.最后,结合ARM-LINUX嵌入式系统简单介绍了基于以太网传输的硬件结构和软件设计.系统运行稳定,通过测试.     

数据挖掘算法性能优化的研究与应用

文章主要以数据挖掘算法的性能优化作为出发点,研究了相关的聚类算法,根据近些年来国际上对于聚类算法的原理、关键技术的研究分析了相关聚类个数K的相关作用和影响。希望通过文章的研究和报道能够对研究数据挖掘提供帮助,使得研究更够朝着更加有效和便捷的方向前进。     

电力工程管理与分析中数据挖掘技术的运用研究

作为一种数据分析方法和技术,寻找不同的信息,对数据的挖掘现如今已经成为了社会的关注。因为我国的电力工程管理是具有传统的特点,存在着很多的不足,在大量的数据中,我们的电力工业信息化建设,采用研究数据挖掘技术是电力企业经营管理重点需要解决,分析和决策系统。此文分析了电力管理特点,讨论了聚类算法。在本设计过程中,基于数据挖掘技术的数据管理和分析系统的应用,得到良好的挖掘效果。对电力客户数据进行聚类分析有助于预测客户的购买行为。     

面向海量数据的推荐系统的研究

在处理大数据时,传统的推荐系统,如常规协同过滤的推荐性能受到了限制。使用操作简便的K均值聚类算法与协同过滤构成组合推荐算法具有较好的推荐性能,该文使用遗传算法对组合推荐算法进行优化,简化组合推荐算法,降低组合算法的复杂度和成本。同时,通过对遗传算法进行改进,以提高遗传算法的优化能力,提高推荐系统性能。最后,通过MovieLens电影打分数据集对该文研究的推荐算法进行性能测试。结果表明,遗传算法的优化能力得到提升,推荐系统的性能有所提高。     

基于双平台学习数据的学生画像技术研究

随着信息化技术的不断推广,各大学校纷纷依托在线平台开展线上教学活动,如何有效利用平台上的学习数据更好地精准教学成为目前重要的研究领域之一。文章提出了构建学生画像的流程,包括采集“双平台”——超星学习通平台和头歌教学实践平台上的学生学习数据,对数据进行预处理,构建学生个体画像以及基于K-means聚类算法将学习数据进行聚类生成学生群体画像。最终,将学生分为三类不同特征的群体,教师针对不同学生群体画像进行分析,制定更科学的分类教学策略,实现个性化教学。     

基于改进极限学习机的数据智能化分析算法设计

针对医疗财务数据的风险,文中提出了一种基于灰狼优化算法改进极限学习机的数据分析方法,实现了对数据风险的精准预测。该算法基于极限学习对数据进行深度挖掘和分析,并在此基础上进行改进,通过灰狼优化算法对极限学习机的权重参数进行优化。通过在真实数据集上与极限学习机进行实验对比,本算法的决定系数R2为0.96,优于极限学习机的0.81,验证了所提算法的有效性。同时,为了进一步验证该文算法的优越性,在实验仿真过程中还与多种机器学习算法进行对比,结果表明文中算法的预测效果更为优越,相比于其中表现最佳的SVM也有了0.06的提升。     

面向范畴类型数据的sIB算法

 本文针对sIB算法仅适用于共现数据的问题,提出了一种能够自动进行范畴类型数据分析的sIB算法:CD-sIB.该算法根据范畴类型数据的离散化表示、不同属性值有限的特征,进行数据的属性的拓展和二元化处理,基于属性值的出现进行X,Y的联合分布的计算,使得sIB算法可有效应用于范畴类型数据的分析.实验结果表明:CD-sIB算法相对于现有的面向范畴类型数据聚类模式分析的算法GAClust和K-modes具有明显的优势;CD-sIB算法在进行数据属性概化程度高、类数据分布相对平衡的范畴类型数据的分析中,在效率和精确度方面均很突出.     

大数据K-means聚类算法的研究与应用

文中对大数据聚类算法K-means算法及其优化进行研究,并主要针对确定聚类数目和初始中心给出了优化的算法。首先,利用平均误差平方和的指标来评估聚类结果的好坏,从而确定聚类的数目;其次,利用秩序化原始数据的方法进而实现有序选取初始中心;最终由结果分析看出,优化后算法相比于传统算法,聚类效果更好。     

基于XDR大数据分析和AI技术的定轨道路用户感知识别技术

随着网络结构、业务形态、用户模型的不断变化以及大数据、云计算等技术的不断演进,网络运维成本压力逐年上升,依赖于专业测试软件进行道路测试的传统优化模式已经难以满足未来发展的需要,网络优化亟待智能转型.基于定轨道路用户的真实海量数据,通过聚类算法模型对上海全路段用户感知问题进行定位分析研究.研究结果表明,大数据分析和AI算...     

半失能老人远程健康监测大数据缺失处理

本文对传统蚂蚁聚类算法易出现早熟和收敛速度慢的问题,提出了基于改进K-means蚂蚁聚类算法,并将优化后的聚类算法与优化填充策略结合,对半失能老人远程健康监测缺失数据进行填充。仿真结果说明：改进K-means蚂蚁聚类算法的分类精度有所提高,基于改进K-means蚂蚁聚类的缺失数据填充算法的填充效果有所改善,可以有效填充半失能老人远程健康监测的缺失数据。     

基于聚类划分与双向LSTM网络的台区线损率计算

在低压台区中,由于分支线路复杂,节点多,量测点少,台账数据不完整,理论线损率计算困难。提出了一种基于聚类划分与双向LSTM网络的台区线损率计算方法。首先,基于城农网标识、户均容量、运行年限等影响线损率的台区静态参数特征,采用K-medoids聚类算法将台区划分为不同类别;接着,基于台区静态参数特征以及负载率、三相不平衡度、环境温度等台区运行参数特征,采用双向LSTM网络构建每一类台区的线损率计算模型;最后,基于该模型开展台区线损率理论值计算。以某公司28167个台区样本数据进行仿真计算,结果验证了所提算法的准确性明显优于支持向量机与回归树算法的准确性。     

电力大数据智能化高效分析挖掘技术框架研究

针对电力行业中数据量不断增加,数据分析越来越困难的问题,设计了电力大数据智能化高效分析挖掘框架,从而快速得到有价值的信息.对电力大数据中心的整体框架进行分析,主要包括服务层、验证层、数据源层、特征分析层.另外,通过分析数据挖掘的流程发现业务中需要强化的业务,实现拓展.电力大数据智能化分析挖掘技术的框架设计主要包括电力市...     

K-means聚类个性化推荐算法改进研究

聚类算法是数据挖掘中的重要技术,用于发现数据中未知的分类,是电子商务领域实现个性化推荐的重要方法。个性化推荐服务,是一种针对不同特征的用户推出适合于用户的信息及服务。文章介绍了一种K-means的聚类算法,该算法主要应用于数据挖掘领域,也在推荐系统的研究中占有重要的地位。文章还详细的分析了该算法目前存在的不足,针对该算法对初始值有一定要求这一不足,提出了一种通过预处理初始聚类中心的方法,以此来改进该算法,从实验结果可知,该改进算法能够减少迭代次数,提高计算效率。     

基于云计算的大数据聚类挖掘算法研究

基于云计算的大数据聚类挖掘,需要结合改进粒子群算法、k-means算法的优势,提出基于改进粒子群优化（Particle Swarm Optimization,PSO）的k-means聚类算法,设置自调节惯性权重、云变异算子,根据数据集种群的进化程度,调整粒子群算法的全局搜索、局部搜索能力,追踪数据粒子的个体极值、全局极值,更新每个数据个体在解空间中的点位置、更新速度,并在数据种群进化到一定程度时进行变异操作,选择全局极值作为期望Ex来控制种群迭代次数,避免数据挖掘陷入早熟收敛、局部最优解的情况。