高斯馬爾科夫假設中零均值假定與解釋變數和隨機誤差項不相關假定可否互相推倒?

時間 2021-12-26 12:39:31

1樓:郭小天

零均值假設可以推出解釋變數和隨機誤差項不相關,但解釋變數和隨機誤差項不相關並不能推出零均值。零均值是解釋變數和隨機誤差項不相關的充分不必要條件。

我們就用最簡單的一元線性回歸來解釋:

現有 個樣本點: ,線性回歸模型寫成以下形式:

其中零均值假設更準確的說法

當然如果上面的條件零均值成立的話,非條件的零均值性質也同樣成立:

原因是用到了Tower Property,即 ,因此 .

同樣,當(條件)零均值成立的話,解釋變數與隨機誤差項不相關也一定成立,因為

其中 ,同樣用到了Tower Property。

但是,如果反過來已知 ,(條件)零均值的性質是無法推出來的。

所以隨機誤差項的零均值、同方差、序列不相關這一假設和另外三個假設(模型沒有設定偏誤,解釋變數為確定性變數而非隨機變數,解釋變數的樣本足夠多樣且樣本方差的極限為非零的有限常數)並稱為高斯-馬爾可夫假設,其中並不包括解釋變數與隨機誤差項不相關。但是因為這條實在是太重要了,所以一般也把它看作線性回歸的經典假設之一。

同時它也是經典面試題之一。我的觀察是很多面試者被問到線性回歸的經典假設有哪些時,只會照本宣科,並沒有真正理解。而那些能夠清楚地解釋並作出推導(哪怕是在面試官的引導提示下)的人,其專業素養往往不會太差,儘管題目本身並沒有什麼難度。

高斯馬爾科夫假定可以得到樣本回歸的最優情況線性無偏引數估計,幾時會出現不可靠,才要加正態性分布?

吃瓜的觀望者 不需要加入正態分佈假設,只需要球形擾動項即可,樓上老哥回答的非常好了,我稍微補充一點。BLUE這個概念是來形容估計量優越性的,但是回顧一下數理統計,我們在數理統計中衡量無偏估計量優越性時往往說這個估計量是UMVUE,UMVUE是最優的,而BLUE是乙個弱於UMVUE的概念。擾動項的真實...

如何通俗地解釋馬爾科夫鏈

韋捷 馬爾可夫鏈的定義其實比較簡單,它假設某一時刻狀態轉移的概率只依賴於這個狀態的前乙個狀態。這種情況下,我們只需要求出任意兩個狀態的轉移概率,我們的馬爾可夫鏈模型就出來了。光看上面的定義看不懂的話也正常,這裡面有幾個是概念對理解這個定義是比較關鍵的,分別是狀態 狀態轉移和狀態轉移的概率,怎麼理解它...

連續型隱馬爾科夫(HMM),EM演算法迭代過程中,出現協方差矩陣非對稱正定的錯誤,使得迭代無法進行下去?

Seldon 可能由於計算誤差,協方差矩陣不再保持對稱且正定 Positive definite 此時就不能對協方差矩陣做Cholesky分解。在嵌入式系統運算中常碰到這個問題。我所知道的乙個解決辦法是 對於乙個非正定的矩陣,可以通過計算其 最近 的對稱正半定 Positive Semi defin...