多元线性回归

主要分享计量的多元线性回归模型及离差形式系数的求解过程，在学习完多元线性回归之后一时兴起用了一个小时在本子上写出了公式的推导，回到宿舍后为了方便npy看花费了两个小时转成了数学公式（主要是自己写的公式区分度不高，mathpix看了落泪），排版的过程中顿觉markdown的苍白无力，latex的交叉引用是真的好用，但因为种种原因最后还是选择了markdown作为自己写笔记的主要工具，好像也没有什么办法，毕竟不可能事事尽善尽美。

模型

类似的，将所有样本的观测值写在一起有:

于是可以得到多元线性回归方程的矩阵表示形式:

接着对上述模型进行OLS估计: OLS 估供:

对系数求偏导有:

进一步化简有:

接着化简会得到：

两边乘一个逆矩阵可以解得:

离差形式

首先证明残差和

。根据式

可以得到:

书上这里是直接写成了矩阵形式，稍微有一点抽象，这里就不做说明了。 于是可以得到残差的平均值为0，接下来求解多元线性回归模型的离差形式。

其中有:

由(8)-(10)得离差形式:

这里将

和

写成

和前边的符号区分开。 将n组数据拼在一起，于是离差形式可以写为:

注意这里的

为

型 接着解出离差形式的系数值: 首先由式8可以得到:

又因为

可以得到:

严格来说这里的

和

并不同型,思路是将

离差化，这里就不再赘述了。 记离差化的矩阵为

，因为第一行值为0，所以这里略去第一行，简单记为

,于是就有

。然后开始处理13式。首先乘向量

将残差项消去。