第五章：Linear Regression (1) — 单元习题

总分：100分 | 建议用时：70分钟
范围：线性回归模型、基函数、正规方程、几何解释、评估指标

---

占位图

一、单项选择题（每题2分，共20题，40分）

1. 线性回归模型"线性"的含义是指对什么线性？
A. 对输入特征x线性
B. 对模型参数w线性
C. 对输出t线性
D. 对基函数线性

2. 线性回归中引入$x_0=1$的目的是？
A. 增加模型非线性
B. 将截距项$w_0$统一纳入向量化计算
C. 提高模型精度
D. 减少参数量

3. 以下哪个不是常见的基函数类型？
A. 多项式基函数 ${\varphi }_j(x)=x^j$
B. 高斯RBF基函数
C. ReLU激活函数
D. Sigmoid基函数

4. 基函数在深度学习之前的主要作用是什么？
A. 减少计算量
B. 手工设计特征→使简单线性模型能拟合复杂关系
C. 自动学习特征
D. 替代梯度下降

5. 使用5次多项式基函数相比简单线性模型通常能？
A. 提高训练MSE
B. 降低训练MSE
C. MSE不变
D. 无法确定

6. 线性回归的误差函数$E(w)=\frac{1}{2}\sum (t_n-y_n{)}^2$中系数$\frac{1}{2}$的作用是？
A. 使误差减半
B. 求导后消除平方的系数2，简化表达式
C. 提高数值精度
D. 没有实际意义

7. 误差函数$E(w)$关于$w$是什么类型的函数？
A. 线性函数
B. 二次函数（抛物线型）
C. 指数函数
D. 对数函数

8. 正规方程（Normal Equations）的矩阵形式是？
A. $\mathbb{X}\mathbf{w}=\mathbf{t}$
B. ${\mathbb{X}}^T\mathbb{X}\mathbf{w}={\mathbb{X}}^T\mathbf{t}$
C. $\mathbb{X}{\mathbb{X}}^T\mathbf{w}=\mathbf{t}$
D. $\mathbf{w}={\mathbb{X}}^T\mathbf{t}$

9. 线性回归的闭式解为？
A. ${\mathbf{w}}^{\ast }={\mathbb{X}}^T\mathbf{t}$
B. ${\mathbf{w}}^{\ast }=({\mathbb{X}}^T\mathbb{X}{)}^{-1}{\mathbb{X}}^T\mathbf{t}$
C. ${\mathbf{w}}^{\ast }={\mathbb{X}}^{-1}\mathbf{t}$
D. ${\mathbf{w}}^{\ast }=\mathbb{X}{\mathbb{X}}^T\mathbf{t}$

10. 从几何角度看，线性回归的最优预测$\mathbb{Y}$是什么？
A. $\mathbf{t}$沿$\mathbb{X}$列方向的任意投影
B. $\mathbf{t}$在$\mathbb{X}$列空间上的正交投影
C. $\mathbf{t}$本身
D. $\mathbb{X}$的任意线性组合

11. 残差向量$\vec{e}=\mathbf{t}-\mathbb{X}\mathbf{w}$与什么正交？
A. 与$\mathbf{t}$正交
B. 与$\mathbb{X}$的所有列正交
C. 与$\mathbf{w}$正交
D. 与自身正交

12. MSE（均方误差）的公式是？
A. $\frac{1}{N}\sum (t_n-y_n)$
B. $\frac{1}{N}\sum |t_n-y_n|$
C. $\frac{1}{N}\sum (t_n-y_n{)}^2$
D. $\sum (t_n-y_n{)}^2$

13. RMSE相比MSE的优势是？
A. 计算更快
B. 与原始数据单位相同，更易解释
C. 对大误差不敏感
D. 不需要真实标签

14. $R^2=0.85$意味着？
A. 模型预测了85%的数据点
B. 模型相比均值基线减少了85%的误差
C. 模型准确率为85%
D. 85%的参数是显著的

15. MAE相比MSE的优势是？
A. 可导性更好
B. 对异常值（outliers）更鲁棒
C. 计算更简单
D. 对大误差惩罚更大

16. 好的残差图应该呈现什么特征？
A. 有明显的上升趋势
B. 有明显的下降趋势
C. 点随机散布在0附近，无规律
D. 所有点都在0以上

17. 设计矩阵$\mathbb{X}$的大小是？
A. $D\times N$
B. $N\times D$
C. $N\times (D+1)$（含$x_0=1$的增广列）
D. $(D+1)\times N$

18. 正规方程有唯一解的条件是？
A. $\mathbb{X}$是方阵
B. ${\mathbb{X}}^T\mathbb{X}$可逆
C. 数据量N=1
D. 不需要任何条件

19. 线性回归中，若${\mathbb{X}}^T\mathbb{X}$不可逆，可能的原因是？
A. 特征之间存在完美多重共线性
B. 数据量太大
C. 使用了基函数
D. 目标值不是连续的

20. 以下哪项评估指标以百分比形式表示？
A. MSE
B. RMSE
C. R²
D. MAPE

---

二、判断题（每题2分，共15题，30分。正确打√，错误打×）

21. 线性回归模型$y=w_0+w_1{x}^2$不属于线性模型，因为$x^2$是非线性的。（ ）

22. 基函数${\varphi }_j(\mathbf{x})$可以是输入$\mathbf{x}$的非线性函数。（ ）

23. 深度学习兴起后，手工设计基函数的需求减少了，因为NN可以自动学习特征。（ ）

24. 增广输入$x_0=1$使截距$w_0$和其他参数可以统一用${\mathbf{w}}^T\mathbf{x}$表示。（ ）

25. 平方和误差函数$E(w)$是$w$的凸二次函数，只有一个全局最小值。（ ）

26. 正规方程${\mathbb{X}}^T\mathbb{X}\mathbf{w}={\mathbb{X}}^T\mathbf{t}$需要迭代优化才能求解。（ ）

27. 闭式解${\mathbf{w}}^{\ast }=({\mathbb{X}}^T\mathbb{X}{)}^{-1}{\mathbb{X}}^T\mathbf{t}$需要计算矩阵逆，当D很大时计算代价高。（ ）

28. 几何上，最小二乘解对应$\mathbf{t}$在$\text{span}(\mathbb{X})$上的正交投影。（ ）

29. RMSE和MSE本质上是同一个指标的不同表达形式。（ ）

30. $R^2$可以为负值。（ ）

31. MAE对大误差的惩罚比MSE更重。（ ）

32. 残差图出现U型趋势说明模型拟合良好。（ ）

33. 正规方程等价于梯度下降法求得的解。（ ）

34. MAPE不适用于目标值可能为零的情况。（ ）

35. 多项式基函数的阶数越高，模型在训练集上的MSE一定越低。（ ）

---

三、简答题（每题4分，共5题，20分）

36. 什么是基函数（Basis Function）？为什么在深度学习之前基函数很重要？请列举至少三种常见基函数类型。

37. 请写出线性回归的正规方程（Normal Equations）的推导逻辑：从误差函数到闭式解的完整思路。

38. 请从几何角度解释线性回归的最小二乘解：为什么最优预测是$\mathbf{t}$在$\text{span}(\mathbb{X})$上的正交投影？

39. 请对比MSE、RMSE、MAE和R²四种评估指标，说明各自的特点和适用场景。

40. 什么是好的残差图？残差图出现模式（如U型或漏斗型）分别说明模型可能存在什么问题？

---

四、计算题（每题5分，共2题，10分）

41. 给定3个数据点：$(x_1=1,t_1=2)$, $(x_2=2,t_2=3)$, $(x_3=3,t_3=5)$。使用简单线性模型$y=w_0+w_{1}x$：
(1) 写出设计矩阵$\mathbb{X}$和目标向量$\mathbf{t}$。
(2) 计算${\mathbb{X}}^T\mathbb{X}$和${\mathbb{X}}^T\mathbf{t}$。
(3) 使用正规方程求${\mathbf{w}}^{\ast }=[w_0^{\ast },w_1^{\ast }{]}^T$。

42. 某回归模型在4个测试样本上的预测值和真实值如下：

n	真实值 $t_n$	预测值 $y_n$
1	10	12
2	15	13
3	20	22
4	25	23

(1) 计算MSE。
(2) 计算RMSE。
(3) 已知$\bar{t}=17.5$，计算R²并解释其含义。

---

试卷结束，请认真检查。

第五章：Linear Regression (1) — 单元习题答案

---

一、单项选择题答案

题号	答案	解析
1	B	线性模型=对参数$w$线性；${\varphi }_j(x)$可以是非线性的
2	B	$x_0=1$→$w_0$统一为$w_0{x}_0$→向量化$y={\mathbf{w}}^T\mathbf{x}$
3	C	ReLU是NN激活函数；常见基函数：多项式/RBF/Sigmoid/正弦
4	B	DL之前手工设计特征→线性模型+好的特征=成功
5	B	多项式更灵活→更好地拟合数据→MSE更低
6	B	$\frac{\partial }{\partial w}\frac{1}{2}(t-y{)}^2=(t-y)\cdot (-1)\cdot \frac{\partial y}{\partial w}$，1/2消除导数中的2
7	B	平方和→$w$的二次函数→抛物线型→唯一全局最小值
8	B	正规方程：${\mathbb{X}}^T\mathbb{X}\mathbf{w}={\mathbb{X}}^T\mathbf{t}$
9	B	${\mathbf{w}}^{\ast }=({\mathbb{X}}^T\mathbb{X}{)}^{-1}{\mathbb{X}}^T\mathbf{t}$（闭式解，需${\mathbb{X}}^T\mathbb{X}$可逆）
10	B	最优预测=$\mathbf{t}$在$\text{span}(\mathbb{X})$上的正交投影
11	B	正交条件：${\mathbb{X}}^T\vec{e}=0$→残差与$\mathbb{X}$所有列正交
12	C	MSE=$\frac{1}{N}\sum (t_n-y_n{)}^2$
13	B	RMSE=$\sqrt{\text{MSE}}$，恢复到原始数据单位
14	B	R²=相比均值基线减少的误差比例→0.85=减少85%误差
15	B	MAE用绝对值→异常值不会被平方放大→更鲁棒
16	C	好残差图=随机散布0附近、方差恒定、无趋势
17	C	含$x_0=1$列→$N\times (D+1)$
18	B	${\mathbb{X}}^T\mathbb{X}$可逆→有唯一解；不可逆→无穷多解
19	A	完美多重共线性→${\mathbb{X}}^T\mathbb{X}$奇异→不可逆
20	D	MAPE=$\frac{1}{N}\sum

---

二、判断题答案

题号	答案	解析
21	×	对$w$线性→$y=w_0+w_1{x}^2$仍是线性模型（$x^2$可看作基函数$\varphi (x)=x^2$）
22	√	基函数可以是非线性的（如高斯RBF、Sigmoid）
23	√	NN自动学习特征=数据驱动的基函数
24	√	$x_0=1$使$w_0=w_0\cdot 1=w_0{x}_0$
25	√	二次函数=凸→唯一全局最小值
26	×	正规方程可直接求解（闭式解），不需迭代
27	√	矩阵求逆$O(D^3)$→高维时代价大→需梯度下降
28	√	最小二乘=正交投影→使残差向量长度最小
29	√	RMSE=$\sqrt{\text{MSE}}$，信息相同，单位不同
30	√	模型比均值预测还差→R²<0
31	×	MSE平方惩罚→对大误差更重；MAE线性惩罚→对大误差相对轻
32	×	U型趋势=模型欠拟合（有系统偏差未捕捉）
33	√	BGD求得的解=正规方程解（两者等价，都到全局最优）
34	√	目标值为0→除以0→MAPE无定义
35	√	阶数越高→越灵活→训练MSE单调不增（但可能过拟合）

---

三、简答题参考答案

36. 基函数

参考答案：

定义：基函数${\varphi }_j(\mathbf{x})$是对输入$\mathbf{x}$的固定非线性变换，将原始特征映射到新空间：
$$y(\mathbf{x},\mathbf{w})=w_0+\sum _{j=1}^{M-1}{w}_j{\varphi }_j(\mathbf{x})$$

深度学习之前的重要性：手工设计好的特征→简单线性模型就能拟合复杂关系。相当于"人工特征工程"。

三种常见基函数：

1. 多项式：${\varphi }_j(x)=x^j$
2. 高斯RBF：${\varphi }_j(x)=\exp (-\frac{(x-{\mu }_j{)}^2}{2{\sigma }^2})$
3. Sigmoid：${\varphi }_j(x)=\frac{1}{1+e^{-(x-{\mu }_j)/\sigma }}$

---

37. 正规方程推导逻辑

参考答案：

1. 误差函数：$E(\mathbf{w})=\frac{1}{2}\sum (t_n-{\mathbf{w}}^T{\mathbf{x}}_n{)}^2$（凸二次函数→唯一全局最小）
2. 求导置零：对$\mathbf{w}$求梯度→$\nabla E(\mathbf{w})=-{\mathbb{X}}^T(\mathbf{t}-\mathbb{X}\mathbf{w})=0$
3. 正规方程：${\mathbb{X}}^T\mathbb{X}\mathbf{w}={\mathbb{X}}^T\mathbf{t}$
4. 闭式解：若${\mathbb{X}}^T\mathbb{X}$可逆→${\mathbf{w}}^{\ast }=({\mathbb{X}}^T\mathbb{X}{)}^{-1}{\mathbb{X}}^T\mathbf{t}$

---

38. 几何解释

参考答案：

• 预测$\mathbb{Y}=\mathbb{X}\mathbf{w}$是$\mathbb{X}$各列的线性组合→必然在$\text{span}(\mathbb{X})$（列空间）中
• 真实$\mathbf{t}$通常不在$\text{span}(\mathbb{X})$中
• 最小化$\Vert \mathbf{t}-\mathbb{Y}{\Vert }^2$等价于在$\text{span}(\mathbb{X})$中找与$\mathbf{t}$最近的点
• 最短距离=正交投影：残差$\vec{e}=\mathbf{t}-\mathbb{X}{\mathbf{w}}^{\ast }$与$\mathbb{X}$所有列正交
• 正交条件${\mathbb{X}}^T(\mathbf{t}-\mathbb{X}{\mathbf{w}}^{\ast })=0$→导出正规方程

---

39. 四种评估指标对比

参考答案：

指标	公式	特点	适用场景
MSE	$\frac{1}{N}\sum (t_n-y_n{)}^2$	平方惩罚→大误差被放大	大误差需重点惩罚
RMSE	$\sqrt{MSE}$	同数据单位→直观解释	需要与目标值直接比较
MAE	$\frac{1}{N}\sum |t_n-y_n|$	线性惩罚→对异常值鲁棒	数据含异常值
R²	$1-\frac{S{S}_{res}}{S{S}_{tot}}$	相对均值基线的改进比例	评估模型相对基准的提升

---

40. 残差图分析

参考答案：

好的残差图：点随机散布在0附近、散布宽度大致恒定（同方差性）、无系统趋势。

模式识别：

• U型趋势：模型欠拟合，存在非线性关系未捕捉→考虑加基函数/更复杂模型
• 漏斗型（方差递增）：异方差性→预测值越大残差方差越大→考虑对数变换或加权最小二乘
• 明显非零均值：模型有系统性偏差→检查特征是否遗漏

---

四、计算题参考答案

41. 正规方程求解

(1) 设计矩阵与目标向量

含$x_0=1$的增广设计矩阵：
$$\mathbb{X}=\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right],\mathbf{t}=\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right]$$

(2) 计算

$${\mathbb{X}}^T\mathbb{X}=\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 3\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]=\left[\begin{array}{cc}3& 6\\ 6& 14\end{array}\right]$$

$${\mathbb{X}}^T\mathbf{t}=\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 3\end{array}\right]\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right]=\left[\begin{array}{c}10\\ 23\end{array}\right]$$

(3) 求解

$$({\mathbb{X}}^T\mathbb{X}{)}^{-1}=\frac{1}{3\cdot 14-6\cdot 6}\left[\begin{array}{cc}14& -6\\ -6& 3\end{array}\right]=\frac{1}{6}\left[\begin{array}{cc}14& -6\\ -6& 3\end{array}\right]$$

$${\mathbf{w}}^{\ast }=\frac{1}{6}\left[\begin{array}{cc}14& -6\\ -6& 3\end{array}\right]\left[\begin{array}{c}10\\ 23\end{array}\right]=\frac{1}{6}\left[\begin{array}{c}140-138\\ -60+69\end{array}\right]=\left[\begin{array}{c}\frac{2}{6}\\ \frac{9}{6}\end{array}\right]$$

$$w_0^{\ast }=\frac{1}{3}\approx 0.333,w_1^{\ast }=\frac{3}{2}=1.5$$

答：$y=0.333+1.5x$

---

42. MSE/RMSE/R²计算

(1) MSE

n	$t_n$	$y_n$	$(t_n-y_n{)}^2$
1	10	12	4
2	15	13	4
3	20	22	4
4	25	23	4

$$\text{MSE}=\frac{4+4+4+4}{4}=4.0$$

(2) RMSE

$$\text{RMSE}=\sqrt{4.0}=2.0$$

(3) R²

$S{S}_{res}=\sum (t_n-y_n{)}^2=16$

$S{S}_{tot}=\sum (t_n-\bar{t}{)}^2=(10-17.5{)}^2+(15-17.5{)}^2+(20-17.5{)}^2+(25-17.5{)}^2$ $=56.25+6.25+6.25+56.25=125$

$$R^2=1-\frac{16}{125}=1-0.128=0.872$$

含义：模型相比仅用均值(17.5)预测，减少了约87.2%的误差。R²接近1表明模型拟合较好。

---

答案编制完成时间：2026年6月28日