PQ是一种高效的高维向量压缩技术,通过将高维向量分块并对每个子向量独立量化,实现数据的高效压缩
创建需要压缩的原始高维数据点
将原始向量分为M个子向量
为每个子空间生成聚类中心
匹配每个子向量到最近的中心
组合索引形成最终压缩表示
随机生成的D维向量(每个元素代表一个维度的值):
将原始向量分为M个子向量,每个子向量维度为d = D/M:
为每个子空间生成包含K个中心的码本(每个中心是d维向量):
将每个子向量与对应码本中的中心匹配,找到最接近的中心索引:
组合所有子向量的索引,形成最终的压缩表示: