第1章 线性回归模型
考察多个自变量对一个因变量的影响。比如，施肥量、土质与农业产量的关系，受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等。以双变量为例。x1、x2对y存在影响，同时x1和x2之间也存在相关关系。如图所示。
X1 y X2
1.1 模型设定
假定变量yt与k个变量xt j, j = 1, … , k，存在线性关系。多元线性回归模型表示为，
yt??0??1x1t????kxkt?ut 1.1
其中yt是被解释变量（因变量），xj t是解释变量（自变量），ut是随机误差项，?i, i = 0, 1, … , k是回归参数（通常未知）。这说明xj t, j = 1, … , k, 是yt的重要解释变量。ut代表其他影响yt变化的随机因素。
给定一个样本（yt , xt1, xt2 ,…, xt k），t = 1, 2, …, T，上述模型表示为，
?1x11?y1????1x12y2???????????????yT?(T?1)?1x1T?xj1?xk1???xj2?xk2????????xjT?xkT????0??u1??????u1????2? 1.2 ???????????k?uT?(T?1)??(k?1)?1T?(k?1)令
?1?y1????1y2 y???, X???????????1y?T?(T?1)?x11x12?x1T????xj1xj2?xjT????xk1??xk2?
???xkT??T?(k?1)??0??u1??????u21 β???, u???
????????????uT?(T?1)?k?(k?1?)1则(3.3) 式可以写为，
y = X? + u 1.3
1.2 参数估计
1.2.1 参数的点估计
1． 最小二乘法（OLS） 设残差平方和用Q表示，
?)'(y?Xβ?)?'u?=(y?y?)'(y?y?)?(y?XβQ=u?'X'y?y'Xβ??β?'X'Xβ? 1.4 ?y'y?β??β?'X'Xβ??y'y?2y'Xβ?'X'y是一个标量，所以有β?'X'y?y'Xβ?。求Q对β?'的一阶偏导数，并令其为上式中，因为β零，
?Q??0 1.5 ??2X'y?2X'Xβ??β化简得，
? X'y?X'Xβ假定1 解释变量之间线性无关。
Rank(X'X) = Rank(X) = K＋1 1.6
其中Rank(?)表示矩阵的秩。即解释变量之间彼此线性无关。
?， 如果假定1成立，可以直接得到β的最小二乘估计量β??(X'X)?1X'y 1.7 β?表示y的拟合值，u?表示残差项。拟合值和残差项经常表示为另外一种??Xβ??y?Xβy形式：
??X?X'X???X'y?Py 1.8 y??y?y??y?Py?[I?X?X'X???X']yu????[I?X?X'X???X'](Xβ?u)????Xβ?u?Xβ?X?X'X???X'u????[I?X?X'X???X']u????Mu 1.9
其中，P?X?X'X???X'，称为映射矩阵。Py表示y对X回归的拟合值。M?I?X?X'X???X'，称为零化子矩阵。My表示y对X的残差项。因此，y总是可以表示为y=Py+My。
可以证明，P和M都是对称幂等矩阵，即 M = M '，P = P '
M2 = M ' M = M '，P 2 = P ' P = P ' 1.10
且有
PX=X， MX=0 1.11
M+P=I，PM=0
?)?0，即X'u?'X'u?'u??0。进而可得Y??β??0。即 由正规方程组可得X'(y?Xβ(Py)'My?y'P'My?y'PMy?0
1.2.2 FML定理
接下来我们介绍OLS估计量的一个重要性质，即FML定理（Frisch and Waugh(1933)、Lovell (1963)）。这一定理体现了线性回归模型参数的经济含义。在虚拟变量等问题的处理中重要的应用。
将所有的解释变量拆分为两部分。模型表述为：
y?X1β1?X2β2?u 1.12
残差平方和为：
????Xβ?'(y?XβQ?(y?X1β11?X2β2)122)??Xβ????? 1.13 ?y'y?y'(X1β122)?(X1β1?X2β2)'(X1β1?X2β2)??Xβ????????y'y?y'(X1β122)?(β1'X1'X1β1?2β2'X2'X1β1?X2β2β2'X2')对应的正规方程组为：
??Q??X'Xβ??0???????????X1'y?2X1'X1β1122??β??1 1.14 ??Q???X'Xβ??0?????????X2'y?2X2'X2β2211????β2由（1）式可得：
??(X'X)?1X'y?(X'X)?1X'Xβ?β111111122 1.15
?)?(X'X)?1X'(y?Xβ11122??(X'X)?1X'y。即当X2与X1正交时，模型由此可以看出，如果X1'X2?0，则β1111y?X1β1?X2β2?u与y?X1β1?u的参数估计量是完全相同的。
将（2.21）式带入正规方程（2）可得到解：
???X'[I?X?X'X???X']X??1?X'[I?X?X'X???X']y?β211111111222??X2'M1X2??1?X2'M1y? 1.16
其中，M1表示X1的零化矩阵，根据零化矩阵的性质，
??(X'MX)?1(X'My)β212122?(X2'M1'M1X2)?1(X2'M1'M1y) 1.17 ?21'u?21)?1(u?21'u?y1)?(u?21?M1X2表示X2对X1回归的残差项，u?y1?M1y表示y对X1回归的残差项。其中，u由此得到如下定理。
Frisch-Waugh定理：y?X1β1?X2β2?u与M1y?(M1X2)β2?v得到相同的估计量和残差。 即，y对X1、X2的回归方程中，X2的参数估计量等价于y对X1回归的残差项对X2对X1回归的残差项进行回归得到的参数估计量，二者的残差也是相同的。
这一定理表明，多元回归模型y?X1β1?X2β2?u中，回归参数β2体现了“排除”（partial out）X1影响后的“净”影响。因此，β2也称作“偏回归系数”，体现了X2对y的净影响，称之为“偏影响”（partial effect）。也正是由于回归参数β2体现了排除X1影响后的“净”影响，因
此把X1称作“控制变量”。也就是说，虽然实际经济环境中，我们几乎不能控制X1的变化。但在多元回归模型中，β2已经把X1的影响排除掉了，因此β2理解为“当其他条件不变的情况下”，X2对y的边际影响。
对于如下结构关系：
X1 X2 y
如果回归模型y??0??1x1??1x2?u，参数?1的估计量不会显著，因为将x2的影响排除后，x1对y不存在任何影响。 1.2.3
参数估计量的分布特征
设真实的DGP为
y = X?0 + u
其中，?0为真实的参数。如果模型设定准确的话，即
y = X? + u
我们来看参数估计量的统计特征。对于模型错误设定的情况，请参见本章“模型的设定分析”部分。
1． 一致性
?。如果plimθ??θ，则称θ?具有一致性。一致性意味设模型的参数为θ，估计量为θnnn着随着样本量的增加，参数估计量可以无限接近真实参数，即估计量的分布为真实参数那一点。也就是说，随着样本量的增加，我们可以对真实参数作出越来越精确的推断。一致性是对参数估计量的最低要求。如果估计误差与样本量没有关系，那么很难建立真实参数与参数估计量之间的关系。
??(X'X)?1(X'y)?β?(X'X)?1(X'u)?β?(N?1X'X)?1(N?1X'u) 1.18 β由假定Rank(X)=K和大数定律，样本均值的概率极限等于总体均值，可得：
Plim(N?1X'X)?E(X'X)?APlim(NX'u)?E(X'u)?0?1 1.19
又由Slustky定理，Plim(N?1X'X)?1?A?1。由此可得
??β?A?10?β 1.20 Plimβ?的无偏性 2． β?的随机性来源于u的随机性，因此，将β?写为关于u的表达式。 β??(X'X)?1X'y?(X'X)?1X'(Xβ?u)?β?(X'X)?1X'u 1.21 β00?是随机向量u的线性组合。 即β?的期望为： 如果X为确定性变量，则β?)?β?E[(X'X)?1X'u]?β?(X'X)?1X'E(u)?0 1.22 E(β00?是?的线性无偏估计量。 因此，β但将X做为确定性变量过于简单。大多数情况下，X与y一样，具有明显的随机特征。 假定2 u关于X的条件期望为0。E[u|X]=0。 假定2也称作X具有严格外生性。具有两个基本含义。
第一个含义是，u的无条件均值也为0。这一特征可以通过迭代期望公式直接导出。
E(u|X) = 0 ? E(u) = E[E(u| X)] = 0 1.23
第二个含义是，u与X以及X的任何函数正交，不相关。
E?g(X)u??E?E?g(X)u|X???E?g(X)E(u|X)??0 1.24
Cov(g(X), u) = E{[g(X)-E(g(X))][u- E(u)]}= E[(X-E(X))u] =E{ [g(X)-E(g(X))]u }= E{ g(X)u –E[g(X)u] } = E[g(X)u]- E[g(X)]E(u) = 0
当g(X)= X时，u与X正交，u与X不相关。
E(Xu| X)= XE(u| X) = 0, E(Xu) = E[E(Xu|X)] = E(X) E(u| X) = 0 Cov(X, u) = E[(X-E(X))(u- E(u))]= E[(X-E(X))u]= E[Xu]- E(X)E(u) = 0 ?的条件期望为： β?|X)?β?E[(X'X)?1X'u|X]?β?(X'X)?1X'E(u|X)?β 1.25 E(β000?的无条件期望为： 当然，β?)?E?E(β?|X)|X??β 1.26 E(β0???是?0的线性无偏估计量，具有无偏性。 因此，β与之相关的另外一个较弱的假定是，ut关于Xt的条件期望为0。E[ut|Xt]=0。
?的有效性 3． β假定3 随机误差项向量u是同方差、无序列相关的。即协方差矩阵为：
?100???22?0?0?
Var (u|X) = ? I = ? 1.27
?001???OLS估计量的方差矩阵为：
?|X)?E[(β??β)(β??β)'|X]Var(β00?????????????????E[(X'X)?1X'uu'X(X'X)?1|X]? 1.28 ??????????????????2(X'X)?1其中，? 2 (X 'X)-1第i行第j列的元素表示第i个参数估计量和和第j个参数估计量的协方差。当i=j时（即对角线上的元素），表示第i个（包括常数项）参数估计量的标准差。 高斯马尔科夫定理：在假定1~3成立的条件下，OLS估计量是最有效的线性无偏估计
?|X)?var(β?|X)。 ?是OLS估计量，β?为其他无偏估计量，那么var(β量。即：设β?)?var(β?)。将线性回归模型中OLS估计量称之为最根据迭代期望公式，可以得到var(β
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库Chapter1 线性回归模型的OLS估计在线全文阅读。
相关推荐：