损失函数是什么，它为什么能够让AI知道自己错了多少

xiaofeng1 2026-09-12 13:51 1

我们考试的时候会有老师批改，知道我们错了多少。那么AI训练的时候有没有“老师”呢？有！这一位“老师”就是损失函数（Loss），包括训练的时候，我们也主要看Loss判断模型训练的怎么样。

损失函数是什么

Loss是通过一个数值告诉你模型错了多少。一般情况下Loss越大，模型预测的结果就离正确答案相差越远；Loss越小，模型预测的结果就离正确答案越近。比如小鱼干的价格是¥10/条，模型预测的价格是¥20/条，那么Loss就会比较大；如果模型预测的小鱼干价格是¥9/条，那么Loss就会比较小。

Loss有没有可能为0？

在数学上Loss有可能为0，比如小鱼干的价格是¥10/条，模型也预测为¥10/条，那么这一个模型的Loss就为0。但是计算机中显示的0不一定就是0，因为有时侯Loss可能是0.0000…1，这个数太小了，超出了浮点数可以表示的范围所以计算机把它当作了0，这一种情况叫做下溢。并且Loss为0不代表模型真的学会了，因为它有可能只是记住了训练集，变成了过拟合。

Loss有什么用

Loss用处可大了，具体流程是这样的：做出预测——计算Loss——通过反向传播计算梯度——通过优化器调整参数——再次预测。经过不断的训练Loss就慢慢下降，然后训练出一个好模型。

以前只有人类有老师，现在AI也有Loss啦！喵

最新回复 (14)

星渊清梦 09-12 13:53

1楼

奇怪，怎么下意识以为是aigc，细看了一下好像没什么破绽，唉，l站有内容的帖子不多了

感觉还是有一些不太对，这文章是ai特调的吗
xiaofeng1 楼主 09-12 13:54

2楼

不是不是，我是认真写的，没有AIGC，刚加入社区随便写点，以后会有更多优质内容
空喵 09-12 13:56

3楼

喵

佬友也喜欢喵嘛

喵
xiaofeng1 楼主 09-12 13:57

4楼

喵，当然啦，一样喜欢
Cmfff 09-12 13:57

5楼

毕竟是监督训练来的要对齐答案的 ^-^
Dc0115 09-12 14:01

6楼

举的例子是数值型的，比较容易理解。那如果都是步骤、都是文本，怎么评估 loss 值呢？用打分模型，按照约定的规则直接给出两段文本的 loss 值吗？
Galact 09-12 14:03

7楼

哇，我们学深度学习的时候倒是也学过这个，不过没找到一个合适的神经网络的话，loss比较难降下去吧
xiaofeng1 楼主 09-12 14:04

8楼

这个的话可以进行对比，比如图片识别模型，它输出的内容一般是甲物品百分之多少，乙物品百分之多少，然后假如他的正确答案是甲物品，它输出20%是甲物品，那么Loss就比较高
xiaofeng1 楼主 09-12 14:06

9楼

确实，Loss下降的原因还有很多
Yangkok 09-12 14:20

10楼

loss函数可以阅读吗？从来没发现
Nxty 09-12 15:00

11楼

恍惚间好像回到了十年前
伦敦道一晚 09-12 15:03

12楼

所以是 next token prediction 以及 reward 本质上就是根据前文预测后文以及偏向人类喜好的表达
xiaofeng1 楼主 09-12 15:04

13楼

这个站的初心就是为了构建一个好社区，所以我们也要为了互联网环境努力构建理想社区
Asimov 09-12 15:10

14楼

Loss是通过一个数值告诉你模型错了多少

严谨的来说不准确,比如自监督和无监督的场景一般不会说是错了多少.在VAE这种贝叶斯的场景下使用ELBO作为优化目标也不会说是错了多少,而是衡量分布的距离.