最小二乘法可以让你只需要估计一次就能得到各个右手边变量对左手边变量的“纯”影响。

假设你的模型是y=X\beta+\epsilon且满足最小二乘法的所有假设。如果你把X里的“点”（这里一“点”指一列）分成两组，X_1 , X_2的话，那么当你要估计y=X_{1}\beta_{1}+X_{2}\beta_{2}+\epsilon里的\beta_2（X_2对y“纯”的影响）时，你可以有两种做法：

  1. 先用最小二乘法估计y=X_1 \alpha + u_1，计算出残差\hat{u}_1——这一步把y中可以被X_1解释的那部分“去掉”了。然后再用最小二乘法去估计X_2 = X_1 \gamma + u_2，计算出残差\hat{u}_2——这一步把X_2中可以被X_1解释的那部分“去掉”了。最后再用一次最小二乘法去估计\hat{u}_1 = \hat{u}_2 \tilde{\beta}_2 + \varepsilon，得到X_2对y的“纯”影响\hat{\tilde{\beta}}_2。
  2. 直接用一次最小二乘法去估计你的模型，得到\hat{\beta}_2。

而其实通过这两种方法得到的\hat{\tilde{\beta}}_2 = \hat{\beta}_2，\hat{\varepsilon} = \hat{\epsilon}：这就是 Frisch-Waugh-Lovell 定理。它是最小二乘法之所以经久不衰的最最最根本的原因之一。

— 完 —

本文作者：知乎用户（登录查看详情）

【知乎日报】
你都看到这啦，快来点我嘛 Σ(▼□▼メ)

此问题还有 20 个回答，查看全部。
延伸阅读：
最小二乘法和梯度下降法的区别？
如何理解线性代数？

分享到