基于联合聚类的超立方体高维索引

高维数据集合的最近邻查询性能会受到"维数灾难"(curse of dimensionality)现象的影响。提出了一种基于联合聚类的HC2(hypercube on co-clustering)高维索引结构。首先通过联合聚类算法同时降低数据尺寸和维数,将高维数据集合聚成若干较低维数的类,然后采用超立方体结构对每个类进行空间区域描述。在基于"过滤-精炼"(filter and refine)的查询过程中,计算查询点与各个类之间的距离下界,实现对聚类的有效过滤。为了提高距离下界对真实距离的逼近能力,采用了一种基于统计优化的超立方体区域描述方法SOHC2(statistically optimized hypercube on co-clustering),能够更加有效地缩小搜索空间,提高查询性能。理论分析和实验结果都表明,SOHC2的查询性能明显优于其他索引方法,适合大规模高维数据的查询;与同类索引结构相比,查询速度能够提高3倍以上。