常见任务与损失函数对照表
| 任务类型 | 典型场景 | 推荐损失函数 | 数据格式 |
|---|---|---|---|
| 语义检索 | 问答系统、文档检索 | MultipleNegativesRankingLoss | (query, passage) 对 |
| 语义相似度 | STS、相关性评分 | CoSENTLoss | (sent1, sent2) + score |
| 文本分类 | NLI、关系分类 | SoftmaxLoss | (sent1, sent2) + class |
| 重复检测 | 去重、相似度二分类 | ContrastiveLoss | (sent1, sent2) + 0/1 |
| 三元组学习 | 有明确负例的检索 | TripletLoss | (anchor, pos, neg) |
| 无监督学习 | 领域适应、预训练 | DenoisingAutoEncoderLoss | (damaged, original) |
| 知识蒸馏 | 模型压缩 | MSELoss / MarginMSELoss | 教师模型嵌入 |
python展开代码# 检查你的数据格式
print(dataset.column_names)
# 如果只有两列文本,无标签 → MultipleNegativesRankingLoss
# 如果有两列文本 + score列 → CoSENTLoss
# 如果有两列文本 + label列(类别)→ SoftmaxLoss
MultipleNegativesRankingLossCoSENTLossSoftmaxLossCachedMultipleNegativesRankingLoss 增大批次CoSENTLoss 而非 CosineSimilarityLossOnlineContrastiveLoss 而非 ContrastiveLoss

本文作者:Dong
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改,但必须注明出处并提供原作者链接。 许可协议。转载请注明出处!