以下是关于最小二乘法(Ordinary Least Squares, OLS)估计的理论推导与证明的详细解析,内容涵盖基本假设、一元/多元线性回归的推导、统计性质及几何解释等内容。 1. 最小二乘法的核心思想与基本假设 核心思想:通过最小化残差平方和(RSS)求解模型参数: (1) 其中 \mathbf{y} 为观测值向量,\mathbf{X} 为设计矩阵,\boldsymbol{\beta} 为待估参数向量。 经典线性回归模型(CLR)的假设: 线性关系:y_i = \mathbf{…