向量检索中的距离度量：L2、余弦相似度与点积对比

1. 向量检索中的距离度量基础

在向量检索领域，距离度量是决定系统性能的核心要素之一。当我们把文本、图像或其他数据转换为高维向量后，如何衡量这些向量之间的"相似度"就成为了关键问题。L2距离（欧氏距离）、余弦相似度（cosine similarity）和点积（dot product）是三种最常用的度量方式，它们各自有着独特的数学特性和适用场景。

我曾在多个实际项目中对比过这三种度量的效果差异。比如在一个电商推荐系统中，使用cosine计算商品向量相似度比L2距离的点击率提升了17%；而在一个人脸识别项目中，L2距离却比cosine的准确率高出3个百分点。这些经验告诉我：没有绝对最优的度量方式，只有最适合具体场景的选择。

2. 三种距离度量的数学本质

2.1 L2距离（欧氏距离）

L2距离是最直观的几何距离，计算公式为：

distance = sqrt(Σ(x_i - y_i)^2)

它直接测量向量在空间中的直线距离。当我们需要考虑向量的绝对位置时（比如物体检测中bounding box的坐标比较），L2往往是最佳选择。但它的一个显著缺点是对向量尺度敏感——两个向量如果方向相同但长度不同，L2距离也会很大。

提示：在使用L2距离前，通常需要对向量做归一化处理，否则长向量会主导距离计算。

2.2 余弦相似度

余弦相似度关注的是向量间的夹角：

similarity = (x·y) / (||x|| * ||y||)

它完全忽略了向量的长度，只比较方向差异。这在很多NLP任务中特别有用，因为词向量的长度往往与词频相关，而我们更关心语义方向。我在实践中发现，当向量维度很高（>300维）时，cosine通常比L2更稳定。

2.3 点积（Dot Product）

点积的计算最简单：

similarity = x·y = Σ(x_i * y_i)

它实际上是cosine相似度的未归一化版本。点积的优势在于计算效率高，但需要特别注意：当向量长度差异大时，点积结果会被长向量主导。在快速原型开发阶段，我常先用点积验证思路，再考虑是否要切换到cosine。

3. 实际场景中的性能对比

3.1 文本搜索场景

在构建一个基于BERT的文档检索系统时，我做了如下对比实验：

可以看到，cosine在准确率上表现最好，而dot在速度上有优势。进一步分析发现，当文档长度差异较大时，dot的表现会明显下降，因为它会受到文本长度的影响。

3.2 图像检索场景

在基于ResNet特征的图像搜索中，结果却有所不同：

L2距离在这里展现了更好的类内一致性。这是因为图像特征向量的长度往往包含重要信息（如图像亮度、对比度等），不应该被忽略。

4. 实现细节与优化技巧

4.1 距离计算的加速方法

在实际系统中，距离计算往往是性能瓶颈。以下是几种有效的优化手段：

1. SIMD指令优化：使用AVX2指令并行处理多个维度

// 示例：AVX2实现L2距离计算 __m256 sum = _mm256_setzero_ps(); for(int i=0; i<dims; i+=8){ __m256 a = _mm256_load_ps(vec1+i); __m256 b = _mm256_load_ps(vec2+i); __m256 diff = _mm256_sub_ps(a, b); sum = _mm256_add_ps(sum, _mm256_mul_ps(diff, diff)); }

2. 近似计算：对于大规模数据，可以使用PQ(Product Quantization)等方法压缩向量

3. 提前归一化：如果要多次计算cosine，可以预先归一化所有向量，这样cosine就等价于点积

4.2 距离度量的选择策略

根据我的经验，可以按照以下流程选择距离度量：

1. 如果向量长度包含重要信息 → 选择L2
2. 如果只关心方向 → 选择cosine
3. 如果追求极致速度且向量长度相近 → 选择dot
4. 当不确定时 → 在验证集上测试所有三种方法

5. 常见问题与解决方案

5.1 为什么我的cosine相似度全接近1？

这通常是因为向量维度太高导致"维度灾难"。解决方法：

• 增加L2正则化
• 使用降维技术（PCA/t-SNE）
• 改用angular距离（acos(cosine)）

5.2 如何选择归一化方式？

我常用的归一化策略有：

• L2归一化：适合准备用cosine或dot的情况
• Min-Max归一化：当特征值有明确范围时
• 不做归一化：当使用L2距离且需要保留尺度信息时

5.3 混合度量是否可行？

在某些复杂场景下，可以组合多种度量。例如：

combined_score = α*cosine + (1-α)*L2

需要仔细调整α参数，我一般会使用网格搜索在验证集上确定最佳比例。

6. 高级话题：距离度量的学习

前沿研究表明，距离度量本身也可以通过学习得到。对比损失(Contrastive Loss)和三元组损失(Triplet Loss)就是两种常见方法。在我参与的一个项目中，通过学习得到的距离度量将检索准确率提升了12%。

实现一个简单的三元组损失示例：

def triplet_loss(anchor, positive, negative, margin=0.2): pos_dist = tf.reduce_sum(tf.square(anchor - positive), axis=1) neg_dist = tf.reduce_sum(tf.square(anchor - negative), axis=1) loss = tf.maximum(0., margin + pos_dist - neg_dist) return tf.reduce_mean(loss)

这种方法的缺点是训练成本较高，需要精心设计三元组采样策略。在实际应用中，我通常会先试用现成度量，只有当性能遇到瓶颈时才考虑学习距离度量。