基于傅里叶变换和kNNI的周期性时序数据缺失值补全算法

在机器学习和数据挖掘过程中,数据缺失现象经常发生。对缺失值的有效补全是数据预处理的重要组成部分,也是后续分析挖掘工作的基础。最近邻填充算法(kNNI)因其易于实现、计算方便和局部填充效果好等特性而被广泛应用。但是,它并不涉及全局信息,因而当大段缺失值发生时,补全效果会有所降低,而对于具有周期成分的时序数据,其效果更是急剧下降。幸运的是,傅里叶变换能够解析出周期数据中的不同周期成分,并能在此基础上通过逆变换基本实现数据复原,只不过其局部复原能力较弱。因此,本文结合傅里叶变换对周期性数据的全局复原能力和kNNI对局部数据的补全能力,提出了基于傅里叶变换的kNNI缺失值补全算法(FkNNI)。通过对大量模拟数据的测试结果表明,该算法比单纯的kNNI算法的缺失值补全准确性有很大提升。

A Missing Value Imputation Algorithm for Periodic Time Series Data Based on kNNI and Fourier Transform