对一元回归模型
$Y_i=\beta_0+\beta_1 X_i+\mu_i$
若异方差情况为Var( $\mu_i$)= $\sigma_i^2\not = \sigma^2$

• 估计量有偏吗？
  我们知道
  $\tilde \beta_1=\frac{\sum x_iy_i}{\sum x_i^2}=\frac{\sum x_i(\beta_1 X_i+\mu_i)}{\sum x_i^2}\\=\beta_1+\frac{\sum x_i\mu_i}{\sum x_i^2}$
  那么
  $E(\tilde \beta_1)=\beta_1+\sum\frac{x_i}{\sum x_i^2}E(\mu_i)=\beta_1$

• 方差怎样变化呢？
  ${\rm Var}(\tilde \beta_1)={\rm Var}(\frac{\sum x_i\mu_i}{\sum x_i^2})\\\quad\\=\sum (\frac{x_i}{\sum x_i^2})^2 {\rm Var}(\mu_i)+\sum _{i\not =j}\frac{x_i}{\sum x_i^2}\frac{x_j}{\sum x_j^2}{\rm Cov}(\mu_i,\mu_j)\\\quad\\=\frac{\sum x_i^2\sigma^2}{(\sum x_i^2)^2}$

• 加权最小二乘法的估计量
  对原模型除以权重 $\sigma_i$:
  $\frac{Y_i}{\sigma_i}=\beta_0\frac{1}{\sigma_i}+\beta_1\frac{X_i}{\sigma_i}+\frac{\mu_i}{\sigma_i}$
  对以上模型用OLS估计就是加权最小二乘。
  容易看出变换后的模型是同方差的。
  记变换后的样本函数为
  $\frac{Y_i}{\sigma_i}=\beta_0^*\frac{1}{\sigma_i}+\beta_1^*\frac{X_i}{\sigma_i}+e_i^*$
  最小化: $\sum (e_i^*)^2=\sum\frac{1}{\sigma^2}(Y_i-\beta_0^*-\beta_i^*X_i)^2$
  $\rm FOC$：
  $\beta_0^*\sum w_i+\beta_1^*\sum w_i X_i=\sum w_iY_i\\ \beta_0^*\sum w_i X_i+\beta_1^*\sum w_iX_i^2=\sum w_iX_iY_i$
  解得
  $\beta_1^*=\frac{\sum w_i\sum w_iX_iY_i-\sum w_iX_i \sum w_i Y_i}{\sum w_i\sum w_iX_i^2-(\sum w_iX_i)^2}$

其中 $w_i=1 /\sigma_i^2$。
进一步，令
$\overline X^*=\frac{\sum w_i X_i}{\sum w_i},\overline Y^*=\frac{\sum w_i Y_i}{\sum w_i}\\ y_i=Y_i-\overline Y^*,x_i=X_i-\overline X^*$
则估计式可简化为
$\beta_1^*=\frac{\sum w_ix_i^*y_i^*}{\sum w_i(x_i^*)^2}$