前言

因为没有深度学习的实践经历，很多理论的知识有些淡忘了，本系列旨在对深度学习过程中一些重难点知识再次梳理。

频率学派认知的线性回归问题——极大似然估计

极大似然估计

极大似然估计（Maximum Likelihood Estimation，MLE）是一种基于频率学派的参数估计方法，其核心思想是在所有可能的参数值中，找到一个使得已观测到的样本数据出现概率最大的参数值。
考虑一个概率模型，其概率密度函数表示为

$f(x; \theta)$

，其中

$\theta$

是需要估计的参数，

$x$

是观测到的样本数据。
给定样本集

$X = {x_1, x_2, ..., x_n}$

，似然函数

$L(\theta)$

定义为所有样本数据在参数

$\theta$

下出现的联合概率：

$$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$$

极大似然估计值

$\hat{\theta}$

是使似然函数

$L(\theta)$

最大化的

$\theta$

值：

$\hat{\theta} = \arg \max_\theta L(\theta)$

。为了简化求解过程，通常使用对数似然函数

$\ell(\theta) = \log L(\theta)$

，即：

$$\ell(\theta) = \sum_{i=1}^{n} \log f(x_i; \theta)$$

因此，求极大似然估计值

$\hat{\theta}$

也可以转化为最大化对数似然函数。

$$\hat{\theta} = \arg \max_\theta \ell(\theta)$$

最小二乘法和极大似然估计

最小二乘法（Least Sqaure Method, LSM）是线性回归中最常用的参数估计方法之一。它的目标是最小化预测值与实际观察值之间差异的平方和。对于模型

$y = Xw + \epsilon$

，其中

$y$

是因变量，

$X$

是设计矩阵，

$w$

是系数向量（为了简化问题，

$b$

可以合并到

$w$

中），

$\epsilon$

是误差项，最小二乘法通过求解以下优化问题来估计

$w$

：

$$\hat{w} = \arg\min_w \sum_{i=1}^{n}(y_i - x_i^Tw)^2$$

这可以通过求解正规方程（Normal Equation）

$X^TX\hat{w} = X^Ty$

来实现。最小二乘法的意义是不证自明的。
如前所述，极大似然估计是一种在给定观测数据的条件下，通过最大化似然函数来估计模型参数的方法。在线性回归模型中，如果假设误差项

$\epsilon$

遵循正态分布

$\epsilon \sim N(0, \sigma^2I)$

，那么对于给定的数据

$(x_i, y_i)$

，似然函数为：

$$L(w) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}exp\left(-\frac{(y_i - x_i^Tw)^2}{2\sigma^2}\right)$$

对数似然函数为：

$$\log L(w) = -\frac{n}{2}\log(2\pi) - n\log\sigma - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i - x_i^Tw)^2$$

最大化

$\log L(w)$

相当于最小化

$\sum_{i=1}^{n}(y_i - x_i^Tw)^2$

，这与最小二乘法的目标一致。
事实上，极大似然估计视角下线性回归更贴近一个传统认知上的优化问题。对于任何一个参数

$w$

，任意的

$x$

都会产生一个

$y$

的分布。由此，线性回归问题就变成了，我期待给定的参数

$w$

能让

$y$

十分可能从上述分布中采集出来，即一个极大似然问题。单纯的认知误差项是不符合直觉的，但倘若从分布去思考，二者的联系便豁然开朗了。然而，必须指出的是：机器学习和统计学习问题都在假定样本误差的前提下进行，某种意义上：采样误差最小的优化过程和极大似然估计是一致的。

Softmax函数和多分类问题

Softmax函数

线性回归通常用于预测连续值，但当我们想要处理分类问题时，可以利用Softmax函数将线性回归模型扩展到多分类问题。本文将介绍Softmax函数的基本概念、损失函数以及求导过程。Softmax函数是一个将任意实数向量转换为概率分布的函数。对于一个给定的实数向量

$o$

，Softmax函数定义为：

$$\text{Softmax}(o_i) = \frac{e^{o_i}}{\sum_{j} e^{o_j}}$$

其中，

$o_i$

是向量

$o$

中的第

$i$

个元素，分母是所有

$e^{o_j}$

的和，确保了所有输出值的和为1，从而构成一个概率分布。
在多类分类问题中，每个类别都有一个得分，这些得分通过Softmax函数转换为概率。模型的输出是一个概率分布，表示输入属于每个类别的概率。对于一个有

$K$

个类别的分类问题，模型输出为：

$$P(y=k|x) = \text{Softmax}(o_k) = \frac{e^{o_k}}{\sum_{j=1}^{K} e^{o_j}}$$

其中，

$o_k = w_k^T x + b_k$

是类别

$k$

的得分，

$w_k$

和

$b_k$

是模型参数。

损失函数

Softmax回归通常使用交叉熵损失函数（Cross-Entropy Loss），为每个样本定义如下：

$$L_i = - \sum_{k=1}^{K} y_{ik} \log(P(y=k|x_i))$$

其中，

$y_{ik}$

是一个指示变量，如果样本

$i$

属于类别

$k$

，则

$y_{ik}=1$

，否则为

$0$

。

$P(y=k|x_i)$

是模型预测样本

$i$

属于类别

$k$

的概率。
对于所有样本，损失函数是每个样本损失

$L_i$

的平均值。
下面，我们使用极大似然估计推到损失函数：
假设我们有一个数据集，其中包含

$n$

个独立同分布的样本，每个样本

$i$

属于

$K$

个类别中的一个。模型预测的概率

$P(y=k|x_i)$

表示给定输入

$x_i$

时，样本属于类别

$k$

的概率。 对于所有样本，似然函数

$L$

是模型对所有观测数据分类正确的联合概率：

$$L = \prod_{i=1}^{n} P(y=y_i|x_i)$$

在实践中，为了便于计算，通常对似然函数取对数得到对数似然函数：

$$\log L = \sum_{i=1}^{n} \log P(y=y_i|x_i)$$

在Softmax模型中，

$P(y=k|x_i)$

可以通过Softmax函数计算得到。因此，对数似然函数可以写为：

$$\log L = \sum_{i=1}^{n} \log \left( \frac{e^{o_{y_i}}}{\sum_{j=1}^{K} e^{o_j}} \right)$$

其中

$o_j = w_j^T x_i + b_j$

是类别

$j$

的得分。
定义损失函数：

$$l = -\sum_{i=1}^{n} y_{i} \log P(y=y_i|x_i)$$

损失函数的求导

现在，我们要对交叉熵损失函数关于softmax函数的输出

$o_j$

求导。假设对于一个样本

$i$

，真实类别是

$c$

，则

$y_i$

是一个one-hot向量，其中

$y_c = 1$

，而对其他类别

$j \neq c$

，

$y_j = 0$

。 损失函数关于

$o_j$

的偏导数计算如下：

$$\frac{\partial l}{\partial o_j} = \frac{\partial}{\partial o_j} \left(-\sum_{i=1}^{n} y_i \log P(y=y_i|x_i)\right)$$

由于

$y_i$

是one-hot编码，我们可以得到简化后的偏导数公式：

$$\frac{\partial l}{\partial o_j} = -y_j + softmax(o_{j})$$

事实上，就是softmax模型分配的概率和实际概率的差值。