統計學習中的VC維是什麼意思?

時間 2021-05-31 08:45:21

1樓:

先上最直接的定義

對於乙個指示函式集,如果存在h個資料樣本能夠被函式集中的函式按所有可能的種形式分開 ,則稱函式集能夠把h個資料樣本打散(shatter)。函式集的VC維就是能打散的最大資料樣本數目h。若對任意數目的資料樣本都有函式能將它們shatter,則函式集的VC維為無窮大。

[1]VC維在機器學習中的意義還是很大的,它是統計學習理論用來衡量函式集效能的一種指標——VC維越大,則學習過程越複雜。

不過目前還沒有通用的關於任意函式集VC維的計算理論,只知道一些特殊函式集的VC維。

參考文獻

[1]白鵬 ... [等. 支援向量機理論及工程應用例項[M]. 西安電子科技大學出版社, 2008.

2樓:丁力

把它簡單理解成為模型的複雜度和靈活度,VC維越高的模型,能夠表徵的函式就越廣泛,當然學習過程中由於資料的不足容易造成過擬合。

3樓:

VC dimension is a bridge connecting regression and classification problem. As for detail, when u estimate the in-sample error u need to specify the effective number of parameters bu VC theory provides a general measure of complexity and gives a bounds on the optimism.

深度學習中saturation是什麼意思?

泰克尼客 就是指梯度接近於0 例如sigmoid函式的值接近於0或1時,函式曲線平緩,梯度接近於0 的狀態,這會導致採用梯度下降法求最值時,速度偏緩。解決方法是更換損失函式和啟用函式的組合。例如cross entropy sigmoid,logloss softmax。其實質都是在數學層面上,這種組...

深度學習中的retrain是什麼意思?

1 Previous Models為訓練好的模型即Model Trainer的訓練結果。通常在實驗室環境中完成乙個模型並驗證其能發布到線上使用後,通過模型儲存扔到生產環境的這裡提供給線上系統使用。這裡就是你說的 訓練網路之後好像要載入模型 2 Model Trainer,模型訓練。只要訓練集準備好,...

深度學習中的mask到底是什麼意思?

Frank 基本定義 用選定的影象 圖形或物體,對待處理的影象 全部或區域性 進行遮擋,來控制影象處理的區域或處理過程。用於覆蓋的特定影象或物體稱為掩模或模板。光學影象處理中,掩模可以為膠片 濾光片等。數字影象處理中,掩模為二維矩陣陣列,有時也用多值影象。數字影象處理中,影象掩模主要用於 提取感興趣...