回归模型 · OLS · 残差与 R²
这是期末分值最高的单一主题(预测 18–22 分),而且题型最固定:给你一张表或一组汇总统计量,从 SS 一路算到结论。把本页的流程练熟,你就能稳拿高分。
一、这一周在讲什么
回归回答的问题是:X 变化一个单位,Y 平均变化多少?比如"每周多学习 1 小时,考试成绩平均提高多少分"。它比相关系数更进一步——相关系数只告诉你"有没有线性关系"(方向与强度),回归给你一个可以预测的方程。
1.1 回归模型与三条假设
| 假设 | 内容 | 含义 |
|---|---|---|
| A1 | 误差服从正态分布 | 小样本下 t 检验与 CI 才可靠 |
| A2 | 误差零均值、同方差(不随 x 变化) | 标准误估计无偏,t 检验有效 |
| A3 | 误差相互独立 | 否则标准误被低估、t 值虚高 |
1.2 三个方程必须分清
- 总体模型(含 \( \varepsilon \)):\( y_i=\beta_0+\beta_1 x_i+\varepsilon_i \)——真相,未知。
- 回归方程(条件均值):\( E[y_i\mid x_i]=\beta_0+\beta_1 x_i \)——平均意义上的关系。
- 估计回归方程(用样本):\( \hat{y}_i=b_0+b_1 x_i \)——我们算出来的。
1.3 系数怎么解释
- 斜率 \( b_1 \):X 每增加 1 单位,Y 平均变化 \( b_1 \) 单位。
- 截距 \( b_0 \):仅在 \( x=0 \) 有意义且落在观测范围内时才解释;否则答 "the intercept has no meaningful interpretation here"。
回归只说明同向/反向变动,背后可能存在 lurking variables(潜在变量)。课件例子:犯罪率与失业率,背后有贫困率、教育水平、警力配置。
二、核心公式与图形
三、考点清单与预测题型
| 题型 | 出现概率 | 分值 | 拿分要点 |
|---|---|---|---|
| 计算 从 SS 表算全套统计量 | 必考(主干题) | 8–10 | 按顺序算:\( b_1 \to b_0 \to \mathrm{SSR}\to R^2 \);每步写过程。 |
| 解释 斜率/截距含义、\( R^2 \) 含义 | 必考 | 3–4 | \( R^2 \) 要用百分比 + 剩余部分解释。 |
| 判断 能否推断因果 | 中等 | 2 | 不能;存在 lurking variables。 |
| 预测 给定 x 求 \( \hat{y} \) | 较高 | 1–2 | 代入方程;说明是否外推。 |
依据:课件标准原题(学习时间与成绩,n=10):\( \sum x=105,\ \sum y=701,\ SS_{xy}=519.5,\ SS_{xx}=264.5,\ \mathrm{SSE}=1568.56,\ \mathrm{SST}=2588.90 \);分值估计来自 考试情报 §六 的回归板块(18–22 分)。
四、典型例题精讲
例题 1 · 从零算到 R²(课件标准题) 10
10 名学生。汇总:\( \sum x=105,\ \sum y=701,\ SS_{xy}=519.5,\ SS_{xx}=264.5,\ \mathrm{SSE}=1568.56,\ \mathrm{SST}=2588.90 \)。估计回归方程并报告 \( R^2 \)。
点击展开:完整解答与评分点
\( \bar{x}=105/10=10.5 \),\( \bar{y}=701/10=70.1 \)。
\( b_1 = \dfrac{SS_{xy}}{SS_{xx}} = \dfrac{519.5}{264.5} = 1.9641 \)。
\( b_0 = \bar{y}-b_1\bar{x} = 70.1 - 1.9641(10.5) = 70.1 - 20.623 = 49.477 \)。
估计方程:\( \widehat{Score}_i = 49.477 + 1.9641\,Study_i \)。
解释:斜率 1.9641——每周多学习 1 小时,考试成绩平均提高约 1.96 个百分点。截距 49.477——完全不学习时的预期成绩约 49.48 分;因为 0 小时落在观测范围内,此截距有意义。
\( \mathrm{SSR} = \mathrm{SST}-\mathrm{SSE} = 2588.90-1568.56 = 1020.34 \);\( R^2 = 1020.34/2588.90 = 0.3941 \)。
\( R^2 \) 解释句:"Study time explains 39.41% of the variation in exam scores. The remaining 60.59% is due to factors not in the model (reading ability, sleep, work commitments, health, random variation)."
评分点(本题 10 分):① \( \bar{x} \)(1 分)|② \( \bar{y} \)(1 分)|③ \( b_1 \)(1 分)|④ \( b_0 \)(1 分)|⑤ 写出估计方程(1 分)|⑥ 斜率解释(1 分)|⑦ 截距解释 + 判断是否有意义(1 分)|⑧ 预测某个 x 的 \( \hat{y} \)(1 分)|⑨ \( \mathrm{SSR} \)(1 分)|⑩ \( R^2 \) 与百分比解释(1 分)。
例题 2 · 回归不能推断因果 2
承上题,能否据此断言"学习时间导致成绩提高"?
点击展开:解答与评分点
不能。回归只说明学习时间与成绩同向变动,存在潜在变量(lurking variables):如学习能力、睡眠、兼职负担、健康状态。要确立因果需要实验设计(随机分配)。
评分点:① 结论"不能"(1 分)|② 提到 lurking variables 并举例(1 分)。
五、易错点与考场技巧
| 易错点 | 正确做法 |
|---|---|
| \( SS_{xy} \) 与 \( SS_{xx} \) 代错位置 | \( b_1 = SS_{xy}/SS_{xx} \)(分子含两变量)。 |
| 用 \( \sum x^2 \) 公式时不做 \( n\bar{x}^2 \) 修正 | 除非题目明确给 \( \sum x^2 \),否则用离差表。 |
| SSR 与 SSE 混 | SSR = 被回归解释的;SSE = 剩下的。\( \mathrm{SST}=\mathrm{SSR}+\mathrm{SSE} \)。 |
| 认为 \( R^2 \) 只当斜率为正才为正 | \( R^2=r^2\ge0 \),与斜率符号无关。 |
| 截距无意义时硬解释 | 若 \( x=0 \) 不在观测范围内,写"intercept has no meaningful interpretation"。 |
回归题套路固定、分值最高,是性价比最高的题。拿到卷子先定位它,用 SS → b₁ → b₀ → SSR → R² 的固定顺序往下推,每步都写出来(评分点是分步给的)。
六、3 分钟自测
上一周:Week 9 · 配对与两比例|下一周:Week 11 · 回归推断(下)