為什麼線性回歸中 要將自變數設定為非隨機變數?伍德里奇的導論好像是設為非隨機變數的 本人學渣求解釋?

時間 2021-05-11 08:10:18

1樓:田超

關鍵在於研究者要明確所研究的系統或物件是什麼?

如果研究自變數x對因變數的影響,研究的物件就是y,研究的系統就是y的生成過程。

自變數X本應是乙個隨機變數,本身也有乙個資料生成系統P(X | \theta),但是,當一組x=(x1,x2,...,xn)已經生成後,相當於x已經是隨機變數X的乙個realization。這個realization已經是確定的值,而不是乙個隨機變數。

當觀測到x後,下一步才是研究x對y的影響。此時,研究系統為y的生成過程,y為研究物件。y也有自己的乙個資料生成系統P(Y| \psi),所以,y為乙個隨機變數。

因此,x為隨機變數還是非隨機變數,在於研究者要研究的系統是什麼,研究物件是什麼。

2樓:

從技術上看,這樣做使得Y只是ε乙個隨機變數的函式,從而其分布很明確,便於操作;如果引入其他的,特別是自變數這種現實意義很明確、有樣本、不便假設的隨機變數,Y的分布這個問題就變得很複雜。繼而β的估計量的分布也變得很複雜。

從回歸模型本身的思想上看,他就是很簡單的乙個,受到干擾的因果關係。它認為在總體中,Y就是由這幾個因變數決定的,只不過決定的過程中受到乙個隨機因素的干擾。所以從這個思想來看,自變數本身就不隨機。

我指定乙個人的性別、父母身高以後,他的身高就是這麼高(加乙個隨機干擾)。

3樓:Keven Howe

沒關係,你也可以考慮X,Y是隨機變數時候的情形。既然是隨機變數,那麼它們就應該有乙個聯合概率分布,用mle也可以求出來。比如這個最簡單的一元回歸:

, 有乙個聯合分布,不妨假設服從正太 ,那麼給定 時y的條件分布是一維正太分布,其中條件均值為 ,條件方差為 ,其中 、

那麼此時估計引數就轉化為估計已知條件分布 下的引數估計問題,用MLE求出的結果與X,Y非隨機時候的結果一樣: ,

相關係數 可以用

來估計,恰好 ,所以用X,Y固定非隨機回歸時候的R^2也能衡量隨機時的模型擬合。

所以隨機、非隨機在如上模型設定下估計結果是一樣的,中間省略了部分推導,自己去看

C.R.Rao,H.

outenberg,Shalabh,C.Heumann. Linear Models and Generalizations:

Least Squares and Alternatives[M].Springer, 30-31.吧

4樓:Simon Wang

非隨機變數非常省事,這樣就不用讓你們接觸條件期望的相關概念了,但是一般來說,解釋變數是被看做是隨機變數的。乙個最可能接觸到為什麼解釋變數被看做非隨機變數是有必要的現象是內生性問題,如果解釋變數是非隨機變數,那就不存在內生性問題了,但是內生性問題會影響引數估計的一致性。小碩一枚手動幫你 @慧航

伍德里奇書上說 在回歸中多增加乙個自變數後,R方絕不會減小,通常會增大。 數學上怎麼解釋?

朱恩偉 線性回歸可以理解為最小化殘差平方和 SSR。從最優化的角度看,把額外增加的自變數前係數約束為 0,則 SSR 和沒有增加該自變數時的 SSR 相同 去掉這個約束,新的 SSR 肯定不大於原 SSR。又知,R方 1 SSR SST,所以自變數增加後,R方一定增加。公式推導見 為什麼回歸平方和一...

線性回歸中,殘差的和為什麼等於0?這個假設的依據是什麼?

Hmnsker 依據就是OLS估計的求解過程中滿足的這個關係。注意單變數時候對 求兩個偏導後產生的正規方程組 注意我們的OLS估計 是滿足上面的方程組的,而第乙個就是我們的殘差和為0,第二個就說明 從而進一步有 其實直接看多元下的正規方程 想想這個內部其實和一元一樣的,其實第乙個約束就是 因此殘差和...

為什麼線性回歸叫做 回歸 ?

這個問題也困擾我很久,我覺得身高那個均值回歸的例子沒有完全解答我和答主的疑惑,下面說說我個人的理解吧。我們可以對比回歸模型和投影模型兩種基本的計量模型,他們的估計方法都是線性擬合,估計量的表示式也是等價的,為什麼乙個叫 回歸 乙個叫 投影 呢?原因在於回歸模型在最小二乘的目標函式中是以條件期望作為因...