大資料時代對統計學和經濟學有何影響?

時間 2021-05-09 20:10:20

1樓:在下的美式不加糖

影響還是挺大的,好的方面是獲得資料的難度降低不少,很多之前苦於沒有資料不能做的選題,現在有可能通過購買資料來實現了。但同時也帶來了乙個很大的問題,資料越詳實,給人感覺真實性就越高,但真實性高不代表反應的問題就客觀,選擇性偏差問題在大資料下會顯得特別突出,這就對研究者的社會理解能力提出了更高的要求,田野調研也就顯得更加重要。

光看資料做的研究,越來越容易犯「常識性」錯誤。

2樓:HarryYang

對統計來說,我目前的處理了一些資料後感覺:越來越不知道怎麼去評價乙個結果,是對還是不對。

傳統統計中處理的資料,變數個數少。由於蒐集變數成本很高,每個變數都是研究者感興趣的變數。此時,我們用線性模型,或者用lasso都會比較有自信,得到的結果也可以用p-value去驗證。

而在大資料下(限定在高維統計下),由於變數蒐集很廉價(網際網路瀏覽/消費資料),或者變數本身就很多(高度相關的基因),lasso這一類的方法就很容易失敗。此時,僅僅改變penalty的種類,就導致完全不一樣的結果。

例如這是Fan and Lv在2023年的一篇文章,裡面分析基因資料。我們發現,在基因個數還不是特別多的情況下,SCAD和MCP這兩種非常類似的penalty在變數選擇上沒有一致性,甚至,幾乎這兩個penalty選出來的變數是不相交的,互不相同。

另外乙個更嚴重的問題是,我們如果把這些選出來的變數,放入回歸模型求其MLE解,我們也會發現很多變數的回歸係數其實不顯著。自然,讓使用者懷疑lasso這一類方法是否是合理設計的。(當然,在給定條件下,這一類的方法在數學上被證明正確。

然而,給定的這些條件,在現實中難以被驗證。)

個人認為,高維下,不同統計方法匯出的結果很難比較,或找到某個準則去衡量其置信度。

3樓:

根據知友提醒,我修改一下我的說法。大資料和網際網路時代之前的傳統統計學是矛盾的。大資料只是當代統計學的乙個分支而已。

大資料和統計是矛盾的。統計的意義在於通過樣本推測整體,但大資料就是整體。

統計學和計量經濟學有什麼區別?

彼爾德 計量經濟學只是統計學乙個很小的部分吧,雖然可能涉及到的基礎知識差不多。計量經濟學最大的特點 1 線性 回歸 2 估計 因果影響 3 解決內生性。怎樣通過僅觀察歷史,來做出跟實驗一樣精準的推斷。我本科老師說他招研究生面試的問題就是對計量經濟學的理解,答案就是 內生性 三個字,說只要答道這三個字...

健康(衛生)經濟學與生物統計學異同?

這就是兩個完全不同的方向。生物統計是統計學,衛生經濟是經濟學。比較統計學和經濟學的異同沒有什麼意義。有很多人會覺得這兩個學科很像的原因是很像經濟學模型都涉及到統計方法,但其實經濟學的統計學方法用的跟生物統計有區別。做生統出來就是當統計師,解決的是統計方法問題。學衛生經濟,出來做的更多的是成本效用分析...

統計學專業未來從事大資料方向有優勢嗎?

小棠與落花風 要想發展潛力大一點,程式設計能力必須自我額外提公升。只會調包是不夠的。統計學的優勢是在於數理基礎,可以更好地看到資料背後的本質。但是降資料核心外化還需要程式設計加持。我也在提公升程式設計能力中,共勉吧! TtutT 有個p的優勢 入行以後,你會發現真正的優勢是sql,洗資料的速度,調包...