前面博客说的是logistic逻辑回归，这篇博客则是Softmax回归，可以说Softmax回归是logistic回归的一般化（因为logistic是二分类的），适用于K分类的问题。Softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。

概念函数
$$p(y=k|x;\theta )=\frac{e^{{\theta }_k^{T}x}}{{\sum }_{l=1}^k{e}^{{\theta }_k^{T}x}},k=1,2,...,K$$
如果分子和分母不用指数的形式，直接 ${\theta }_k^{T}x$作为分子，${\sum }_{l=1}^K{\theta }_l^{T}x$ 作为分母，结果也是0到1之间的概率，为什么还要用指数形式呢？
因为：e为底的指数函数，当自变量大小1时，因变量变化是特别剧烈的。如 ${\theta }_{1}x=100，{\theta }_{2}x=101$ ，此时变化比较小，如果变成指数形式，差异就会被放大很多，这是我们期望看到的。

原理
$$h_{\theta }(x)=\left[\begin{array}{c}p(y^{(i)}=1|x^{(i)};\theta )\\ p(y^{(i)}=2|x^{(i)};\theta )\\ ...\\ p(y^{(i)}=k|x^{(i)};\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^{(i)}}}⟹\theta =\left[\begin{array}{cccc}{\theta }_{11}& {\theta }_{12}& \cdots & {\theta }_{1n}\\ {\theta }_{21}& {\theta }_{22}& \cdots & {\theta }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\theta }_{k1}& {\theta }_{k2}& \cdots & {\theta }_{kn}\end{array}\right]$$

损失函数
我们根据逻辑回归的损失函数，稍微变化一下
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^{k}I(y^{(i)}=j)\ln \left(\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}\right)$$
$$I(y^{(i)}=j)=\{\begin{array}{l}1,y^{(i)}=j\\ 0,y^{(i)}\ne j\end{array}$$

假如有一条样本 $(x^{(i)},y^{(i)})$ 属于 $j$ 类，我们希望的是这条样本为此类别时 $(y^{(i)}=j)$ 的概率越大越好，即此时的 $\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}$ 越大越好，也就是 $\ln \left(\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}\right)$ 越大越好。总共m条样本，累加起来再除上m，最后再取相反数。
$\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}$ 取值是0~1，则 $\ln \left(\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}\right)$ 为负数，取相反数后， 的值为正，便得上面的J(θ)。
所以，我们期望的是 $J(\theta )$ 越小越好，所以我们可以令 $J(\theta )$ 为损失函数。

梯度下降法求解
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}-I(y^{(i)}=j)\ln \left(\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}\right)\\ & =\frac{\partial }{\partial {\theta }_j}-I(y^{(i)}=j)\ln \left({\theta }_j^T{x}^{(i)}-\ln \left(\sum _{l=1}^k{e}^{{\theta }_l^T{x}^{(i)}}\right)\right)\\ & =-I(y^{(i)}=j)\left(1-\frac{e^{{\theta }_k^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_k^T{x}^{(i)}}}\right)x^{(i)}\end{array}$$

所以对于批量或随机梯度下降有以下式子：
$$\begin{array}{rl}{\theta }_j& ={\theta }_j+\alpha \sum _{i=1}^{m}I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta ))x^{(i)}\\ {\theta }_j& ={\theta }_j+\alpha I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta ))x^{(i)}\end{array}$$

逻辑回归在真正的二分类中，效果还是可以的，但它不适合多分类，虽然softmax可以做，但实际应用中，对于多分类很少用softmax。但有两点需要注意

• softmax和其他多分类的求解方式很不一样。其他多分类要构建很多个模型，而softmax只构建一个。
• softmax属于各类别的概率都算出来，以最大的为标准，和深度学习最一个隐层的功能非常类似。所以深度学习最后一层是softmax