Q Final Sprint墨大 BCom 大一 · 期末复习
Week 10 · 简单回归(一)(二)

回归模型 · OLS · 残差与 R²

这是期末分值最高的单一主题(预测 18–22 分),而且题型最固定:给你一张表或一组汇总统计量,从 SS 一路算到结论。把本页的流程练熟,你就能稳拿高分。

考点密度 ★★★★★ 预计分值 18–22 分(全卷最重) 建议用时 2 小时 套路最固定 · 最好拿分

一、这一周在讲什么

回归回答的问题是:X 变化一个单位,Y 平均变化多少?比如"每周多学习 1 小时,考试成绩平均提高多少分"。它比相关系数更进一步——相关系数只告诉你"有没有线性关系"(方向与强度),回归给你一个可以预测的方程。

1.1 回归模型与三条假设

总体回归模型 \[ y_i = \beta_0 + \beta_1 x_i + \varepsilon_i, \qquad \varepsilon_i \sim N(0,\sigma^2) \]
只有 Y 是随机变量,X 是固定的(非随机)。这是模型的基本结构。
假设内容含义
A1误差服从正态分布小样本下 t 检验与 CI 才可靠
A2误差零均值、同方差(不随 x 变化)标准误估计无偏,t 检验有效
A3误差相互独立否则标准误被低估、t 值虚高

1.2 三个方程必须分清

  • 总体模型(含 \( \varepsilon \)):\( y_i=\beta_0+\beta_1 x_i+\varepsilon_i \)——真相,未知。
  • 回归方程(条件均值):\( E[y_i\mid x_i]=\beta_0+\beta_1 x_i \)——平均意义上的关系。
  • 估计回归方程(用样本):\( \hat{y}_i=b_0+b_1 x_i \)——我们算出来的。

1.3 系数怎么解释

  • 斜率 \( b_1 \):X 每增加 1 单位,Y 平均变化 \( b_1 \) 单位。
  • 截距 \( b_0 \):仅在 \( x=0 \) 有意义且落在观测范围内时才解释;否则答 "the intercept has no meaningful interpretation here"。
⚠️
回归不能确立因果

回归只说明同向/反向变动,背后可能存在 lurking variables(潜在变量)。课件例子:犯罪率与失业率,背后有贫困率、教育水平、警力配置。

二、核心公式与图形

离差平方和与最小二乘系数 \[ SS_{xx}=\sum_{i=1}^{n}(x_i-\bar{x})^2,\quad SS_{yy}=\sum_{i=1}^{n}(y_i-\bar{y})^2,\quad SS_{xy}=\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) \] \[ b_1 = \frac{SS_{xy}}{SS_{xx}}, \qquad b_0 = \bar{y}-b_1\bar{x} \]
也可以写成 \( SS_{xx}=\sum x_i^2 - n\bar{x}^2 \) 的形式,但考试题目若给了 \( \sum x, \sum y, \sum xy, \sum x^2 \),两种算法都给分;用离差表更稳。
变异分解与 R² \[ \mathrm{SST}=\sum (y_i-\bar{y})^2,\quad \mathrm{SSR}=\sum (\hat{y}_i-\bar{y})^2,\quad \mathrm{SSE}=\sum e_i^2, \qquad \mathrm{SST}=\mathrm{SSR}+\mathrm{SSE} \] \[ R^2 = \frac{\mathrm{SSR}}{\mathrm{SST}} = 1-\frac{\mathrm{SSE}}{\mathrm{SST}} = r^2, \qquad 0\le R^2\le 1 \]
记忆法:SSR 是 "Regression" 解释掉的,SSE 是 "Error" 剩下的。\( R^2 \) 与斜率符号无关——\( b_1 \) 为负时 \( R^2 \) 仍为正。
残差与相关系数 \[ e_i = y_i-\hat{y}_i, \qquad \sum_i e_i = 0 \ \text{(OLS 残差之和恒为 0)} \] \[ r = \frac{SS_{xy}}{\sqrt{SS_{xx}\,SS_{yy}}}, \qquad -1\le r\le 1 \]
x(学习小时) y ŷ = b₀ + b₁x eᵢ = yᵢ − ŷᵢ(残差)
图 1:最小二乘法。拟合线使所有残差平方和最小;橙色虚线是残差。

三、考点清单与预测题型

题型出现概率分值拿分要点
计算 从 SS 表算全套统计量必考(主干题)8–10按顺序算:\( b_1 \to b_0 \to \mathrm{SSR}\to R^2 \);每步写过程。
解释 斜率/截距含义、\( R^2 \) 含义必考3–4\( R^2 \) 要用百分比 + 剩余部分解释。
判断 能否推断因果中等2不能;存在 lurking variables。
预测 给定 x 求 \( \hat{y} \)较高1–2代入方程;说明是否外推。

依据:课件标准原题(学习时间与成绩,n=10):\( \sum x=105,\ \sum y=701,\ SS_{xy}=519.5,\ SS_{xx}=264.5,\ \mathrm{SSE}=1568.56,\ \mathrm{SST}=2588.90 \);分值估计来自 考试情报 §六 的回归板块(18–22 分)。

四、典型例题精讲

例题 1 · 从零算到 R²(课件标准题) 10

10 名学生。汇总:\( \sum x=105,\ \sum y=701,\ SS_{xy}=519.5,\ SS_{xx}=264.5,\ \mathrm{SSE}=1568.56,\ \mathrm{SST}=2588.90 \)。估计回归方程并报告 \( R^2 \)。

点击展开:完整解答与评分点

\( \bar{x}=105/10=10.5 \),\( \bar{y}=701/10=70.1 \)。

\( b_1 = \dfrac{SS_{xy}}{SS_{xx}} = \dfrac{519.5}{264.5} = 1.9641 \)。

\( b_0 = \bar{y}-b_1\bar{x} = 70.1 - 1.9641(10.5) = 70.1 - 20.623 = 49.477 \)。

估计方程:\( \widehat{Score}_i = 49.477 + 1.9641\,Study_i \)。

解释:斜率 1.9641——每周多学习 1 小时,考试成绩平均提高约 1.96 个百分点。截距 49.477——完全不学习时的预期成绩约 49.48 分;因为 0 小时落在观测范围内,此截距有意义。

\( \mathrm{SSR} = \mathrm{SST}-\mathrm{SSE} = 2588.90-1568.56 = 1020.34 \);\( R^2 = 1020.34/2588.90 = 0.3941 \)。

\( R^2 \) 解释句:"Study time explains 39.41% of the variation in exam scores. The remaining 60.59% is due to factors not in the model (reading ability, sleep, work commitments, health, random variation)."

评分点(本题 10 分):① \( \bar{x} \)(1 分)|② \( \bar{y} \)(1 分)|③ \( b_1 \)(1 分)|④ \( b_0 \)(1 分)|⑤ 写出估计方程(1 分)|⑥ 斜率解释(1 分)|⑦ 截距解释 + 判断是否有意义(1 分)|⑧ 预测某个 x 的 \( \hat{y} \)(1 分)|⑨ \( \mathrm{SSR} \)(1 分)|⑩ \( R^2 \) 与百分比解释(1 分)。

例题 2 · 回归不能推断因果 2

承上题,能否据此断言"学习时间导致成绩提高"?

点击展开:解答与评分点

不能。回归只说明学习时间与成绩同向变动,存在潜在变量(lurking variables):如学习能力、睡眠、兼职负担、健康状态。要确立因果需要实验设计(随机分配)。

评分点:① 结论"不能"(1 分)|② 提到 lurking variables 并举例(1 分)。

五、易错点与考场技巧

易错点正确做法
\( SS_{xy} \) 与 \( SS_{xx} \) 代错位置\( b_1 = SS_{xy}/SS_{xx} \)(分子含两变量)。
用 \( \sum x^2 \) 公式时不做 \( n\bar{x}^2 \) 修正除非题目明确给 \( \sum x^2 \),否则用离差表。
SSR 与 SSE 混SSR = 被回归解释的;SSE = 剩下的。\( \mathrm{SST}=\mathrm{SSR}+\mathrm{SSE} \)。
认为 \( R^2 \) 只当斜率为正才为正\( R^2=r^2\ge0 \),与斜率符号无关。
截距无意义时硬解释若 \( x=0 \) 不在观测范围内,写"intercept has no meaningful interpretation"。
💡
考场技巧:把回归题留到最后做?不——先做

回归题套路固定、分值最高,是性价比最高的题。拿到卷子先定位它,用 SS → b₁ → b₀ → SSR → R² 的固定顺序往下推,每步都写出来(评分点是分步给的)。

六、3 分钟自测

自测 1已知 \( SS_{xy}=519.5,\ SS_{xx}=264.5 \)。斜率 \( b_1 \) 是?
A0.509
B519.5 × 264.5
C1.9641
D-1.9641
自测 2若 \( \mathrm{SST}=2588.90 \)、\( \mathrm{SSE}=1568.56 \),则 \( R^2 \) 是?
A0.606
B0.394
C0.659
D1.650
自测 3关于回归残差,哪句话正确?
AOLS 残差之和恒为 0(\( \sum e_i=0 \))
B残差之和等于 SST
C残差越大说明拟合越好
D残差就是 \( y_i-\bar{y} \)

上一周:Week 9 · 配对与两比例|下一周:Week 11 · 回归推断(下)