機器學習中，所謂的對映到高維空間的作用是什麼

1樓：數學的花火

是因為資料高維空間下比低維空間更容易線性可分。比如神經網路，輸入層3維，第乙個隱藏層對映到48維，就是一種公升維。還有svm的核方法，也是對映到高維。

2樓：justaname

只要維度超過了資料量，所有資料都是線性可分的。（特徵夠多，資料就非常容易變得可分）

如果資料遵從某個規律，按照某種和這個規律相關的方法適當公升維後資料會變得可分。

上圖中，由於資料是以半徑的某個閾值為界分割的，增加乙個維度（也許是半徑）後能找到乙個線性平面把資料分開

當然實際應用中，svm的話，一般會用特定幾個被證明比較好用的公升維的kernel，處理之後資料也許不是線性可分的，但確實會變得稀疏，svm本身的軟邊界能夠把大部分資料分開。

3樓：科技樹

將資料中緊密的pattern對映為高維空間中稀疏的點或線，原因是在低維空間裡的不同類別邊界線相較於高維空間裡離散的簇或麵的邊界線更難表徵。高維空間裡線性分類器就能解決的問題，在低維空間裡需要非線性分類器才能解決。這也是為什麼在對映的過程中，我們會用到非線性對映層，ReLU，hardtanh等。

實際上機器學習分類問題的解決方法都是由特徵學習以及分類器兩部分組成，特徵學習這一部分主要功能是選擇以及表徵特徵，使得分類器能夠更好的訓練學到的特徵。特徵學習和分類器的訓練是相互影響的，特徵對映部分對映的越高維越離散，學到的分類器就越離散。

除此以外，只有autoencoder是學習更緊密的特徵，其餘的網路結構都是希望學習更稀疏的特徵。