损失函数是在给模型打分，衡量真实值与预测值的差距，而训练模型的过程就是通过调整参数使得损失减小，也就是真实值与预测值的差距减小。

        对于回归任务，常用的损失函数——均方误差MSE

        这个损失函数非常容易理解，就是简单的计算真实值与预测值的差，通过平方可以放大偏差（惩罚），同时消除符号的影响。

        对于分类任务，常用的损失函数——交叉熵损失

        这里给出的公式是二分类的交叉熵损失，便于理解。

        首先 ，在二分类中，类别有0和1两种。这里巧妙地借用了 -log 函数，注意是带负号的。

        从分类的角度理解，一件事情发生的概率越小，那么它发生所带来的信息量就越大，完美符合这个函数图像。而对于二分类而言，当真实结果也就是 y 为 1 时，那么公式的后半部分就为 0 。而公式的前半部分代表着，预测值越大，也就是为1 的概率越大，说明预测对的可能性越大，损失越小。对于真实结果为 0 时， 那么公式的前半部分为就为 0 ，只需看公式的后半部分，预测值越大，代表为 1 的可能性越大，但真实为 0 ，说明预测错误的可能性越大， 对应的损失也就越大，这也是后面为什么用 1 减去预测值的原因。

        而真正的交叉熵损失是这样的

        道理一样，只是看着更复杂了一些。