InfoNCE

定义 Definition

InfoNCE 是一种用于对比学习（contrastive learning）的目标函数/损失函数，常见于自监督表示学习中：它通过让“正样本对”（相关/同源的表示）更相似、让“负样本对”（不相关的表示）更不相似，来学习有用的特征表示。它也常被解释为对互信息（mutual information）下界的一种估计方式。（在不同论文中还有若干变体与等价形式。）

发音 Pronunciation (IPA)

/nfo n si i/

例句 Examples

We trained the model with the InfoNCE loss.
我们用 InfoNCE 损失来训练模型。

By maximizing agreement between augmented views via InfoNCE, the network learns representations that transfer well to downstream tasks.
通过用 InfoNCE 最大化增强视图之间的一致性，网络能学到在下游任务中迁移效果很好的表示。

词源 Etymology

InfoNCE 通常被解释为 Information Noise-Contrastive Estimation 的缩写：

• Info- 指“信息/互信息（information / mutual information）”的联系；
• NCE 来自 Noise-Contrastive Estimation（噪声对比估计），是一类用“真实数据 vs 噪声数据”的对比来做学习/估计的方法。
  在现代深度学习语境中，InfoNCE 多用于指代一类标准的对比损失形式，而不只是一种严格的统计估计程序。

相关词 Related Words

• Contrastive
• Self-Supervised
• Mutual
• Entropy
• Embedding
• Similarity
• Softmax
• Temperature
• Negative Sampling
• Triplet Loss

文学/作品引用 Notable Works

• Representation Learning with Contrastive Predictive Coding（van den Oord, Li, Vinyals，2018）提出并推广了 InfoNCE 作为核心训练目标之一。
• *A Simple Framework for Contrastive Learning of Visual Representations (SimCLR)*（Chen et al.，2020）广泛使用与 InfoNCE 同类的对比损失形式。
• *Momentum Contrast for Unsupervised Visual Representation Learning (MoCo)*（He et al.，2020）在对比学习框架中使用与 InfoNCE 密切相关的目标函数设计。