1樓：Liber
對比理解：回歸 vs 分類
機器學習模型的輸出是離散值時（例如布林值0-1），那麼我們將其稱為分類模型；如果輸出是連續值，那麼我們將其稱為回歸模型。
2樓：斫去桂婆娑
其實樓上有個講豆子的回答很正確。
回歸，regression，原本是生物學裡面的乙個概念。意思是，生物遺傳的結果一定是趨於平均水平。
試想這麼乙個情景：
如果女性身高一公尺六，同樣和一公尺六的男性繁衍後代。
那麼後代的身高可能是一公尺七。（1.1*1.6）那麼這個後代再和另乙個一公尺七的異性繁衍後代。
那麼第三代的身高可能達到一公尺八。
問題在於，如果同樣的方式重複下去。第N代的身高豈不是會突破三公尺？
但事實上這不可能( Д`)
這樣的身高優勢並不會一直疊加，後代的身高會趨近於同輩人身高的平均值。
生物學把這種現象叫做回歸。
由於在計量經濟學或者統計學中，資料的變化趨勢類似於這種生物學的回歸。因此被稱為回歸分析。
3樓：Rainsley
回歸分析，譯自於「regression」。
這門課最早源自於乙個神奇的生物遺傳現象：如果父母雙親都比較高一些，那麼生出的子女身高會低於父母的平均身高；反之，如果父母雙親都比較矮一些，那麼生出的子女身高要高於父母平均身高。
這兩種情況都體現著一種規律，生物內部遺傳的話，身高總歸是乙個穩定值，當父母本身就高時，為了保持這種穩定，生出的子女通過調節，不至於一直長高；同樣的，父母本身不高，生出的子女為了不至於越長越矮，通過遺傳的調節，會高於父母平均身高，這本身就是一種「回歸」。
在我們大家熟知的「線性回歸分析」中，我們的目的就是對於一堆散點，我們想找一條直線來擬合這個規律，希望它可以穿過盡可能的點。也就是希望它盡可能靠近這條直線，類似於希望我們人類的身高穩定於某個數值，而生物內部的遺傳已經決定了這個機制，所以大自然很神奇啊！
4樓：黑裡莫黑
回歸一開始是生物學的名詞，後來做了親子身高統計引進統計學。那個親子身高統計結果顯示人的後代的身高會逐漸趨於乙個值，總體上不會太高也不會太矮，不會兩極分化，這就稱為回歸。按照本人的理解應該是回歸總體均值的意思。
5樓：多多
理論上來說，回歸就是在某些損失函式下，建立響應變數的期望與協變數之間的關係，本質上是乙個優化問題。實際操作過程中，回歸就是擬合函式。
這個過程是建立在，我們收集到的資料是」已有」的模型的例項，這樣乙個假設下。把」已有」這個詞換個統計大牛們喜歡的高階說法就是Oracle，是不是有了宗教的感覺了……
統計教材裡出現最多的就是線性模型，這主要是因為其簡單明瞭。你也可以換基換link function來實現非多項式回歸和非線性回歸。對於p>n的情況，你也可以考慮加懲罰項來做稀疏估計。
線性模型可能不是最好的，但卻是最容易推廣的。
那麼回到該問題，什麼是回歸？回歸就是人們希望從現有資料中去揣摩造物主的小心思，去擬合那些誰也不知道具體形式但又確實影響實際的」神喻」。就我個人而言，回歸就是在不確定性中尋求確定性，在混亂中追求有序，這一點與概率論和統計的出發點是一致的。
6樓：EricG
「回歸」在日常用語中是乙個動詞，比如「回歸自然」、「回歸自我」。
統計中的「回歸」也可以理解成乙個動詞。
我們對兩個變數 和 在總體（整個樣本空間）中的關係進行猜測，假設二者之間的真實關係滿足 ；將其畫在圖上就是一條截距為 、斜率為 的直線。
然後我們每次從總體中抽取一組樣本，利用最小二乘法就可以得到引數 、 的估計值 、 。估計值 、 一般非常接近真實值、 ，但不與之完全重合。如果抽樣足夠隨機，樣本量也足夠大，引數的估計值 、 就不斷地向真實值 、 靠攏。
這個過程就可以看作是一種「回歸」，是引數的「估計值」向其「真實值」的回歸。
7樓：靜學社-學無止境
回歸分析的定義有很多，我個人認為比較好的乙個定義是：回歸分析統計方法研究變數之間的關係並對其構建模型。
「回歸分析」是一種統計分析方法，「回歸」這個詞大家別想多了，它就是乙個代號而已，千萬不要從「回歸」的字面意思去理解。
統計學中每個分析方法一般會給它起乙個名字，比如「t檢驗」，「卡方檢驗」。很顯然，「回歸分析」這個名字應該是借用了高爾頓的「Regression」這個詞。
很多教材提到回歸，就會提到高爾頓研究的父子身高這個事。大家注意了，教材說的是回歸一詞的起源，而並沒有說現代的回歸分析是高爾頓的那個事。很多同學沒看明白教材在說什麼，就自以為是的以為現代的回歸和高爾頓的那個事是一回事。
古話說的好，書要多讀幾遍，要不然你不知道書裡在說什麼！
不要在「回歸」這兩個字上咬文嚼字，它就是乙個名稱，乙個代號。
回歸方法非常多，每一種回歸方法，重要的是要理解它的原理是什麼，這才是最重要的事。
8樓：cxj1c407
「回歸分析「有乙個基本假設，就是夾雜了偶然因素的具體事件如果量足夠多的話，是可以描摹出事件背後的確定規律的。之所以叫」回歸「，感覺有逆向的含義，隱含了正向的觀察是由規律加偶然因素出大量具體事件和結果，」回歸"則有由具體結果反推規律的意思。
9樓：「已登出」
可參考《The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century》-by Salsburg
中文版《女士品茶-20世紀統計怎樣變革了科學》
10樓：文柬
（無限）接近向量的數值跟標準值之間的關係的比較分析，regression的英文意思象形地講，就是回到原點，但是實踐中的資料常常不可能達到理想資料值，因此，分析並對比這兩類資料之間的關係的工作應運而生。
11樓：dreamer
高爾頓在研究父母和子代身高關係時，觀察得出的父母平均身高比子女平均身高矮一英吋，資料分布近似線性方程。他發現，在實際中，父母身高更高或更矮時，子女實際身高並不是比父母身高高一英吋，而是父母過矮的，子女比父母身高高不止一英吋，父母過高的，子女比父母身高還矮一點，也就是更接近平均身高。所以他認為自然界有一種約束力，使得身高的分布不會向高矮兩個極端發展，而是趨於回到中心，所以稱為回歸。
12樓：Ian-Icebear
吳恩達的機器學習公開課有講，很形象
13樓：棹歌
就補充一點…資料不是回歸「平均數」，而是回歸 Expected value（期望值）。
【基本上，只有distr是normal、uniform之類的比較「常規」的狀態的時候（雖然也是比較常見於課堂/簡單的問題），Expected Value = Mean】
在統計學的角度來看，Expected Value是乙個關於input資料的方程，是乙個「stat」，而非僅僅乙個數字。
14樓：Jones 瓊斯兄
很多人寫的一堆看不懂的...
回歸的解釋有必要講得這麼深嗎？
就一句話：資料向平均值靠攏...
注：期望值是隨機試驗在同樣的機會下重複多次的結果計算出的等同「期望」的平均值。這裡的平均值指的是期望的平均值。
15樓：Jokercarry
回歸就像找工作，你自己（資料）和公司（模型）契合度達到最高；又像往不同瓶子（模型）裡裝不同的東西（資料），裝不裝得下多久能裝滿，最終找乙個最適合的（時間最短又裝得下，可能還有其他條件）；或者像，找物件？
16樓：我是觀察員
回歸分析，這是統計課程裡的一門。無奈解釋起來太學術。我講講我的體會吧。
首先，這個世界上很多事情是隨機的，無序的，不可確定的。其次，我們的思維也是跳躍的，不可控的。所以，這個世界上，可能有模型，可能有資料這麼一說，於是就都變成了學問。
反倒讓我們忘了最樸素的思考方式才最容易讓我們去理解真理。
在上回歸這麼課的時候，我想起了炒菜的體驗。假設你炒西紅柿雞蛋，要放鹽等調料才覺得好吃，你放了一小撮，不夠，再加點，結果多了；那就加點水，味道淡了。你感覺有點太淡了，那就再加點鹽，直到你炒好了菜，你加鹽的過程才結束。
對你來說是美味吧？這就是回歸的感覺。
乙個模型和資料因為回歸的存在，可能達到了一種理想化的擬合狀態。這麼說來，回歸就是一種分析手段而已。只於你炒的菜合h不合胃口，那就要看你的水平了。
以上解釋包含了， Rao關於 certainty 和 uncertainty的解釋；也包含了GPS-Galton, Pearson, Spearman 等人的研究經驗；以及SPSS 軟體中的back, forward, stepwise 的基本解釋。也包括炒了乙個美味的西紅柿雞蛋的生活體驗。 希望你喜歡。。
17樓：劉華孝
舉幾個例子，拿身高來說，姚明的後代可能不會有姚明高了，潘長江的後代應該高過他。拿智商來說，愛因斯坦的後代智商應該不會高過愛因斯坦。拿財富來說，比爾蓋茨的後代可能不會再是世界首富了，世界上最窮的人的後代可能也不會再是最窮的了。
大自然的任何可以測量的現象（身高，體重，智商，財富，天賦）都有乙個平均值，所謂回歸就是不斷向平均值回歸。平均值就像有萬有引力那樣，不斷讓極端值的後代更接近平均值。
18樓：
Galton: Regression towards mediocrity，直譯為回歸平庸。
Galton發現如果父母特別高，子女多較父母矮而較普通人高，是為回歸平庸。統計上的原理可以用正相關二維正態分佈的條件期望來解釋。
19樓：袁袁袁
出自高爾頓種豆子的實驗，通過大量資料統計，他發現個體小的豆子往往傾向於產生比其更大的子代，而個體大的豆子則傾向於產生比其小的子代，然後高爾頓認為這是由於新個體在向這種豆子的平均尺寸「回歸」，大概的意思就是事物總是傾向於朝著某種「平均」發展，也可以說是回歸於事物本來的面目
20樓：Keven Howe
C.R.Rao等在Linear Models and Generalizations:
Least Squares and Alternatives中解釋道 the literature meaning of REGRESSION is " to move in the backward direction"，看以下兩個陳述：
S1: model generates data orS2: data generates model.
Rao認為很明顯陳述S1才是對的，因為模型實際上本來就是存在的只不過我們不知道(model exists in nature but is unknown to the experimenter)，先有模型所以我們知道X就能得到Y：
先有模型 =》有了X就有Y（S1）
而「回歸」的意思就是我們通過收集X與Y來確定實際上存在的關係模型：
收集X與Y =》確定模型（S2）
與S1相比，S2就是乙個「回到」模型的過程，所以就叫做「regression」。當然我認為「回歸」也有一種回到平均水平的意思：
E(y)= b0 + b1x
尼采的永劫回歸什麼意思？
比良津名 首先，這個詞就是字面意思 所有的事物，都在無限的迴圈。到了無限久的將來，宇宙歸於寂滅，在內含的力量作用下，又重新啟用。所有的事物都以與上乙個輪迴相同的秩序，重新排列組合。沒有例外。就連此時此刻看著螢幕的你也會再次重演。到了今天，尼采的永劫回歸要分兩個角度來看，第一是存在主義角度，第二是宇宙...
數學中的 分析 是什麼意思？
饒展 極限和無限描述的是過程，而不是狀態。任何乙個具體的狀態，都有發展的過程，你找到任何乙個角度，都可以無盡的拆分梳理這個過程，所以數學中的 分析 就是要把握森林中的每一棵樹木，甚至每一棵樹木的前世今生和平行空間，這和日常語言中講的 提綱挈領 是完全不同的。 Ethan Cheng 我們平日裡說分析...
方差分析和回歸分析的異同是什麼？
你再說一遍 MLR主要擬合線性關係 方差分析是分析每種因素對因變數的影響程度 符號區分 再補一張筆記 和方差分析處的公式有一點區別 指路課本版本 Psycho.杜先生 簡單來說。1 殊途同歸，方差分析處理的自變數的是稱名資料，回歸處理的是 自變數 等距或等比資料。2 方差分析處理的是實驗資料，回歸處...