10-选修-逻辑回归

Logistic Regression

Step1： Function set

模型就是这个样子，一个带有偏置的线性函数经过Sigmoid函数，经过sigmoid激活以后，输出的值被压缩到0-1，这是跟线性回归最大的特点

Step1： Goodness of Function（决定模型的好-坏）

有N个样本，要被分为两类，所以最终的类别不是第一类就是第二类，两者概率和加起来等于1，也就是loss函数中1-f（w，b）

逻辑回归的损失函数是交叉熵（Cross Entropy），衡量两个概率分布之间的差异。在这里，就是指真实概率分布和预测概率分布。在公示中y^表示真实值，f表示模型预测值

逻辑回归的损失函数为什么不跟线性回归的loss一样呢？看step2

Step3：Find the best Function

损失函数和其梯度下降公式

为什么loss函数不使用square error，在梯度下降时，如果真实值是1，但预测值为1和0时，只有预测值为1是符合的，而预测值为0时，会出现严重的问题，即真实值和预测值完全不符合，而w权重更新成0了，停止更新了。

可视化可以发现其梯度下降的问题，交叉熵可以更快的寻优，而平方误差下降缓慢，还有可能停滞

第一个是判别式，第二个是生成式，两者找到的w和b是不同的，因为第一个没做假设，而第二个做了高斯分布的假设

在考虑七个特征情况下，Discriminative优于Generative，genenrative脑补了概率假设

softmax——解决多分类问题

归一化，所有y_i的值相加起来等于概率1；指数化，取值在0-1；得到一个概率向量，通过argmax选择概率最大的类别作为其对应的类别。

特征转换就是把原始特征映射到一个新的空间，让数据在新的空间里更容易被分开

多层逻辑回归组合构成基本的神经网络，堆叠多层后，每一层都在对前一层的输出进行空间扭曲和重组，从而组合出极其复杂的非线性决策边界。