基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。     

基于物联网和超声导波的管道检测系统研究

针对当前城市管道检测系统实际应用时复杂的人工操作问题和管道工作环境信息的分析预警功能缺失问题,设计开发一套基于物联网和超声导波的城市管道检测系统。该系统将物联网、超声导波检测、信号处理等技术相融合,通过无线网络将数据传到云端数据处理中心并由数据处理中心分析管道检测信息,实现管道缺陷检测、环境信息采集以及预警等功能。实验仿真表明:该系统的缺陷定位精度达到了(能够满足)城市管道检测的要求,在减少人工操作的同时,能有效提供预警功能。     

基于聚类和自动编码机的缺失数据填充算法

当前的不完整数据处理算法填充缺失值时,精度低下。针对这个问题,提出一种基于CFS聚类和改进的自动编码模型的不完整数据填充算法。利用CFS聚类算法对不完整数据集进行聚类,对降噪自动编码模型进行改进,根据聚类结果,利用改进的自动编码模型对缺失数据进行填充。为了使得CFS聚类算法能够对不完整数据集进行聚类,提出一种部分距离策略,用于度量不完整数据对象之间的距离。实验结果表明提出的算法能够有效填充缺失数据。     

不完整大数据的分布式聚类填充算法

传统大数据填充算法是根据整个数据集对缺失数据进行填充,使得填充值容易受到不同类别数据的干扰,导致填充结果不精确。针对该问题,给出不完整数据的相似度度量方法,使用近邻传播( AP )算法对不完整数据进行聚类。采用云计算技术优化AP聚类算法,实现一种基于MapReduce的分布式聚类算法,根据算法聚类结果将同一类数据对象划分到相同簇中,并利用同一类对象的属性值对缺失值进行填充。实验结果表明,该算法能实现不完整大数据的聚类,同时加快聚类速度,提高缺失数据的填充精度。     

基于属性约简的物联网不完全数据填充算法

传统的数据填充算法采用统一方法对不完全数据进行填充,效率低下,不适合对物联网中大规模不完全数据进行填充,因此提出了一种基于属性约简不完全数据填充算法.利用属性约简区分数据的重要属性与非重要属性,分别采用不同的填充技术对两类属性进行填充,其中重要属性个数由用户根据实际需要设定.实验结果表明,该算法能够有效、快速地对物联网中大规模不完全数据进行填充.     

基于博弈论的无线传感网能量均衡模型

提出一种基于贝叶斯博弈的无线传感网能量均衡算法,该算法将每次数据转发过程分解为两个阶段的博弈。第一阶段博弈是指节点结合自身能量水平及参与博弈其他节点的战略,构造静态贝叶斯博弈模型,以最优化期望收益函数的解作为节点参与路由转发数据包的最优决策概率;第二阶段博弈是指源节点与邻居节点根据能量水平及相互战略,构造博弈模型,根据最大化期望收益函数的解,决定双方在博弈阶段的最优转发包数量。仿真实验结果表明,本文提出的算法能够有效地均衡网络的能量消耗,延长网络的生存时间。     

支持增量式更新的大数据特征学习模型

大数据具有高速变化特性,其内容与分布特征均处于动态变化之中,目前的前馈神经网络模型是一种静态学习模型,不支持增量式更新,难以实时学习动态变化的大数据特征。针对这个问题,提出一种支持增量式更新的大数据特征学习模型。通过设计一个优化目标函数对参数进行快速增量式更新,为了在更新过程中保持网络的原始知识,最小化平方误差函数。对于特征变化频繁的数据,通过增加隐藏层神经元数目网络对结构进行更新,使得更新后的网络能够实时学习动态变化大数据的特征。在对网络参数与结构更新之后,通过权重矩阵SVD分解对更新后的网络结构进行优化,删除冗余的网络连接,增强网络模型的泛化能力。实验结果表明提出的模型能够在尽可能保持网络模型原始知识的基础上,通过不断更新神经网络的参数与结构实时学习动态大数据的特征。     

基于属性重要性的不完备数据填充算法

现有的不完备数据填充算法对所有缺失数据采用统一方式填充,没有考虑数据的重要性,效率低,实时性差。因此,本文提出一种基于属性重要性的不完全数据填充算法。通过差分矩阵求得属性约简,根据约简区分重要属性和非重要属性,对于重要属性数据填充采用改进的马氏距离填充方法,而不重要属性数据填充采用相似度概率填充方法,保证了数据精确度的同时,提高了实时性,具有实用性。最后,实验部分采用数据家庭系统数据和UCI标准数据集分别对算法性能进行了分析,验证了该算法的优越性。     

基于物联网的桥梁压力信息采集系统

桥梁的压力信息采集是监测桥梁建筑健康状况监测的重要组成部分.针对传统桥梁建筑压力信息采集系统存在的缺陷,设计一套基于物联网桥梁建筑压力信息采集系统,该系统利用CAN总线将压力传感器采集到的信息传输到数据处理中心,以满足压力信息传输实时性的需求.在将压力信息存入到数据库之前,对不完整信息进行有效填充,为桥梁建筑专家提供有意义的压力信息.仿真实验表明,该系统能够实时采集桥梁建筑的压力信息并满足桥梁专家的需求.     

基于云计算的物联网数据挖掘模型

物联网中的数据具有数据量大、数据类型复杂、高度动态性与异构性、复杂时空特性等特点,为数据挖掘带来新的挑战。传统的数据挖掘方法无法直接应用于物联网之中。基于此,提出一种基于云计算的物联网数据挖掘模型,以云计算作为技术支持平台,在构建面向物联网的分布式时空数据库的基础上,搭建面向物联网海量数据的数据挖掘模型。通过分析表明该模型能够有效地完成物联网中的数据挖掘任务。