数据缺失及其处理方法综述

本文首先系统梳理了数据缺失的概念、产生原因及机制;然后对数据缺失问题常见的处理方法进行综述,比较不同处理方法的优劣以及各自的适应范围;最后详细介绍了数据填充效果评价的常用方法.得出结论:根据不同数据集的特点选择合适的处理方法,才能取得良好的处理效果;指出了随着大数据时代的到来,精准高效的处理海量的数据是数据缺失处理未来的发展方向.     

基于大数据的网络数据信息安全实时监测方法

网络数据信息安全监测是确保网络平台正常运行的重要措施。文章针对网络数据信息安全实时监测精度低、时间长等问题,提出了基于大数据的网络数据信息安全实时监测方法。其采用模糊等价处理方式,聚类处理网络数据信息中情景因素,对网络数据信息安全因素进行关联分析。通过聚类算法比对网络数据信息安全行为数据特征向量与已标记过的正常行为特征向量的关联程度,判定网络数据信息安全异常行为。在此基础上,基于大数据技术对网络数据信息安全状态进行实时监测。实验结果表明,所提方法的网络数据信息安全实时监测精度较高,能够有效缩短网络数据信息安全实时监测时间。     

云环境下基于群智能算法的大数据聚类挖掘技术

云计算从分布式存储和分布式计算两个方面为大数据处理提供了强力的支持,并逐渐成为大数据挖掘的主流平台。但是在处理云平台中的大规模数据集时典型聚类挖掘算法存在一定不足,因此,提出一种基于群智能算法的大数据K-means聚类挖掘算法。首先对云计算Hadoop框架的存储数据能力和采用的Map Reduce计算模型进行分析,然后采用群智能算法对传统数据挖掘K-means聚类算法进行改进,解决其容易陷入局部最优问题。实验结果表明,相比加权K-means聚类算法,提出的改进算法表现出更好的聚类精度和运行速度,可以适用于大规模数据的聚类挖掘。     

杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法

认知雷达波形设计往往依赖于精准的杂波先验信息,当先验信息数据存在缺失时,所构建的杂波模型会严重失配,进而影响雷达对杂波的抑制能力。该文针对杂波先验数据缺失条件下的雷达波形优化问题,建立完全随机缺失机制下的点状与块状缺失场景,设计恒模与相似性约束的波形优化模型,提出基于优先级填充-强化学习级联优化的雷达波形训练算法:即采用强化学习智能体与填充算法修复后的杂波环境相交互的级联方法,以最大化信杂噪比为优化目标,通过迭代训练得到雷达最佳波形参数配置策略。最后,仿真验证不同缺失概率条件下所提算法的优越性。结果表明:相比于传统非级联优化算法,该文所提算法均可获得更优的杂波抑制性能,有效提升雷达的探测能力。      

基于MapReduce的健康大数据并行挖掘算法研究

随着信息技术的发展,健康大数据呈指数级别剧增,但数据量过大使得较多有价值的数据被埋没,医疗服务的质量与效率难以提升。为解决上述问题,文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理,消除一些不利因素对数据的影响;再以预处理后的健康大数据为依据,获取初始簇中心,度量健康大数据与簇中心之间的距离,聚类处理健康大数据;最后,应用MapReduce制定健康大数据并行挖掘程序,执行制定程序即可完成健康大数据的并行挖掘。实验结果表明,所提算法的健康大数据挖掘效率最大值为94 GB/s,加速比最大值为4.5,相比于其他方法,该算法对健康大数据挖掘的性能更佳。     

大数据K-means聚类算法的研究与应用

文中对大数据聚类算法K-means算法及其优化进行研究,并主要针对确定聚类数目和初始中心给出了优化的算法。首先,利用平均误差平方和的指标来评估聚类结果的好坏,从而确定聚类的数目;其次,利用秩序化原始数据的方法进而实现有序选取初始中心;最终由结果分析看出,优化后算法相比于传统算法,聚类效果更好。     

基于云计算的大数据聚类挖掘算法研究

基于云计算的大数据聚类挖掘,需要结合改进粒子群算法、k-means算法的优势,提出基于改进粒子群优化（Particle Swarm Optimization,PSO）的k-means聚类算法,设置自调节惯性权重、云变异算子,根据数据集种群的进化程度,调整粒子群算法的全局搜索、局部搜索能力,追踪数据粒子的个体极值、全局极值,更新每个数据个体在解空间中的点位置、更新速度,并在数据种群进化到一定程度时进行变异操作,选择全局极值作为期望Ex来控制种群迭代次数,避免数据挖掘陷入早熟收敛、局部最优解的情况。     

基于改进K-means模糊聚类的区域健康大数据智能分析方法研究

区域健康数据的特点是其具有海量性和高维性,而使用传统K-means聚类方法无法应对高维度的数据处理,不但容易造成结果误差,且会使算法的执行效率较低、时间开销较大。针对上述问题,文中对传统K-means聚类方法进行了深入改进,在加入模糊项以保证其聚类效果的基础上,使用粗糙集理论对高维数据属性的权重值进行确定,通过对其数据属性数量进行简化,从而保证模型的精确度与执行效率。数值实验结果表明,文中所提算法在处理高维数据时,其准确度相较对比算法提升了约5%,算法的执行时间相较传统算法缩短了约50%,证明了该算法对高维数据进行聚类处理的有效性。     

大数据环境下基于狼群优化的聚类算法分析与研究

为了提高大数据环境下数据聚类的准确性,文中采用狼群优化算法实现数据聚类。对大数据集合进行狼群模拟训练,将数据结合中的多个数据采用狼群游走及围攻策略进行数据训练,不断更新数据在多维空间中的位置分布,根据数据所处位置与中心点的距离来判断数据所属类别,从而完成数据聚类。经过实验证明,相比于K-Means聚类算法和DBSCAN聚类算法,文中所提算法聚类优势明显。     

应用于大数据集的聚类新算法设计

聚类的根本在于对数据的划分与集合,数据可通过聚类算法对象的相似性与不同合集中对象的区别性来进行数据记录.近年来,由于数据库的信息量大量增长,在面对大规模数据集时,聚类分析的算法形式已经无法满足高内存,高CPU的时间限制,传统的数据算法正面临着"不高效"的严峻问题.本文旨在根据大规模数据集的背景,进一步分析聚类算法的优缺性,并针对其问题研究聚类新算法的设计方法.     

基于大数据的网络通信传输效率控制

当前,传统的网络通信传输效率控制方法收敛速度慢、传输效率低的问题逐渐显露出来,为此提出基于大数据的网络通信传输效率控制研究。在大数据分析下提出了网络通信传输效率控制方法,通过大数据的降噪处理技术清楚网络通信传输信道中存在的干扰信息,为网通通信系统提供良好的控制环境;运用蚂蚁算法来控制网络通信系统选择出传输的最佳路径,提高网络通信传输效率;经过试验证明了所提出的方法具有较高的实用性和可行性。     

基于多元回归KNN的油田缺失数据填充方法

为了提高油田开采的安全性和科学性,油田中装有各型数据传感器,但数据缺失导致传感器采集数据可用性显著降低。针对油田传感器大比例数据缺失填充问题,提出了一种基于多元回归KNN的缺失数据填充方法。该方法首先基于KNN利用传感器数据空间相关性预测缺失值,其次基于多元回归利用传感器数据时间相关性预测缺失值,最后将时空相关性预测结果通过样本决定系数进行整合。分别采用标准数据集和油田传感器数据集进行性能对比实验,结果验证了该方法对缺失数据填充的有效性和准确性。     

基于改进快速密度峰值聚类算法的电力大数据异常值检测分析

针对传统聚类算法对于大数据背景下大量电力大数据异常监测过程中存在的问题,提出在电力大数据异常值检测中的快速密度峰值聚类算法的改进.对传统基于密度峰值空间聚类方法进行分析,得到传统算法在使用过程中的问题.提出了快速密度峰值聚类算法的改进,对自适应参数与聚类中心自动的选择,通过标准化局部密度与距离对大数据异常值进行评测,能...     

无线网络MOOCs大数据聚类方法优化研究

MOOCs(massive open on linecourses)即大型开放式网络课程.是一种基于远程课程教学与无线网络和通信技术结合发展的新的在线网络课程,能给学生提供更大的学习空间.聚类分析是较为常见的学习分析和数据发现的方法,其基本原理是根据对象的属性特征让不同特征的对象形成各种类别.这种方法在MOOCs中有重要的作用和广泛的应用.无线网络数据量大而且比较冗杂,以往的将MOOCs大数据分类分析属性进行聚类的方法有很大的不精确因素.对无线网络MOOCs大数据快速准确聚类促进大数据的处理能力.对聚类方法的优化处理,能有效的促进相互交流学习和聚类综合性能的提高.     

基于DA多重插补法和电力物联网的电能数据缺失修复方法

针对电力物联网中电能数据量过多,缺失电能数据修复难度较大的问题,研究基于DA多重插补法和电力物联网的电能数据缺失修复方法。电力物联网利用感知层的电能数据采集终端采集电能数据,所采集电能数据利用通信层传送至应用层,应用层的电能数据缺失修复模块,利用EM插补算法计算电能数据缺失值的初始插补值;将所获取的电能数据插补值作为DA多重插补法的初始值,DA多重插补法利用局部加权回归模型,通过调整电能数据缺失值的预测误差,获取最终电能数据缺失修复结果。实验结果表明,该方法修复电力物联网电能数据的观测误差方差低于0.2,对于短期电能数据与长期电能数据,均具有良好的修复结果。     

交通监测毫米波雷达数据预处理方法研究

毫米波雷达交通监测场景中待检测目标较多、各目标间点迹特征接近,导致点迹凝聚精度低,对此, 文中提出一种改进的交通监测毫米波雷达数据预处理方法。首先通过短时多帧数据积累提高车辆目标点迹密度, 随后利用加权欧式距离度量点间距离以提高密集间隔目标的类间距离,并对点间距离分布进行曲线拟合实现聚类 算法参数的自适应求解,最后利用基于密度的噪声空间聚类(DBSCAN)算法对点迹进行凝聚处理。由雷达实测数据 进行实验验证,相较于传统方法,原始点迹数据经凝聚后跟踪得到车流量统计精度提高10. 97%,结果表明所提方法 能够对车辆点迹信息进行较为精确的凝聚,改善了毫米波雷达在交通监测领域的应用效果。     

移动综合网管数据缺失原因的分析及处理

1 前言 从事移动综合网管数据保障工作的人员每天上班的第一件事情就是迅速打开数据核查网页，检查前一天全省性能数据的完整情况。如果数据不完整，就要立即分析数据缺失原因并联系网管集成商和相关网元厂商进行补采。     

面向大规模日志数据的聚类算法研究

针对大规模日志数据的聚类问题,提出了DBk-means算法。该算法使用Hadoop对原始日志数据进行预处理,并结合了k-means和DBSCAN聚类算法各自的优势。实验结果表明,相比k-means算法进行聚类分析,文中使用DBk-means算法进行聚类,能够取得更好的聚类效果,正确率可以达到83%以上。