Some questions about the weight of contrastive loss about u2pl HOT 2 CLOSED

感谢您对我们工作的认可。

对比学习损失的权重设置为 0.1 的原因主要在于它的数量级较大。由于对比学习中温度超参设置为 0.5，在最好的情况下，正样本特征之间 cosine_similarity = 1，256 个负样本之间的 cosine_similarity = -1，此时经过 softmax 后，其概率分别为 0.1758 和 0.0032，导致它的损失为 1.74.

换言之，一个 “完美” 的模型，对比学习提供的 loss 将达到 1.74，对比 supervised loss 的量级 (后期可下降至 0.1)，我们设定权重为 0.1

from u2pl.

您可通过以下代码进行数量级的估算

import torch
import torch.nn.functional as F

a = -torch.ones((1, 257))
a[0, 0] = 1
b = F.softmax(a / 0.5, dim=0)
labels = torch.zeros((1,)).long()
print(b, F.cross_entropy(a / 0.5, labels))

from u2pl.