過擬合的模型能不能使用?

時間 2021-06-07 20:49:33

1樓:人形Machine

過擬合的定義不應該是:「隨著模型複雜度上公升,樣本內驗證分數不斷攀高,樣本外驗證分數開始下降,模型複雜度超過了實際需要」嗎。什麼鬼

2樓:螞蟻不線上

在我的理解中,評估模型最有意義的是模型在真實資料集的效果,需要資料集劃分來模擬真實資料集.

我習慣是, 按照時間劃分為訓練集\驗證集\測試集.測試集和前兩者跨期,即在前兩者的表現期之後,比如測試集時間節點是5月末,表現期為3個月,前兩者時間節點是2月末.最好如果同一主體在不同期會生成不同樣本的話,將主體提前隨機隔離開.

訓練集\驗證集則是同一期的資料集隨機劃分,保證特徵和標籤的對照關係是一致的.

僅使用驗證集的效果作為調參的依據,測試集僅參與最後評估.重要的是驗證集與測試集的差.只要這個差很小,就說明模型泛化效能很小.

訓練集與驗證集的差,一般無需理會,畢竟模型總會學習到區域性特徵,如果覺得大,去除部分特徵再試試就好了.

最後,推薦使用lightgbm或xgboost.調參推薦貝葉斯調參hyperopt

年檢這樣能不能過?

蘇州凌雲 先說說在中國哪些是合法改裝?1.顏色改變改色是最直觀的改裝,現在只需更改顏色後10日內去車管所登記即可,但是切記消防專用紅色,工程搶險專用黃色和國家行政執法專用的上白下藍,這三種顏色是國家專用色,普通私家車可不能改上去。2.外觀貼紙一般在車尾貼個小貼紙都是不需要登記的,車身拉花 貼膜等也屬...

任意個不同引數的正態分佈的組合能不能擬合任意分布?

jwars 廣義上來說,是不可以的,因為乙個隨機變數的取值區域未必是實值或 的,在非Polish空間,乃至非Haussdorf空間上的隨機變數自然不能用歐式空間的隨機變數去擬合。狹義上,若指的是對任意實值隨機變數 首先定義擬合分布 對任意分布函式 對一族基正態分佈的分布函式 存在一列無窮維向量 有 ...

如果不能使用網路,就地過年你會怎麼過?

沈青石 臘八粥,喝幾天,轉眼就到二十三 二十三,糖瓜粘 二十四,掃房子 二十五,磨豆腐 二十六,去割肉 二十七,殺年雞 二十八,把面發 二十九,去灌酒 大年三十捏扁食 灰色的光 有班加的話就加班,沒班加的話就打籃球。錢是解決各種需求的根本,打籃球對於乙個喜歡打球的人來說就是最大的快樂。這兩樣都能讓時...