邏輯斯蒂回歸能否解決非線性分類問題?

時間 2021-06-02 11:57:13

1樓:

說句題外的,很多資料沒有我們想象的那麼複雜

比如手寫數字識別。我以前一直覺得這種問題要解決應該至少會用人工特徵提取(做做sift啥的)或者神經網路或者kernel machines或者最近鄰這些表達能力比較強的方法。後來發現用邏輯斯蒂回歸直接硬搞也能把錯誤率控制到7.

5%左右

在mnist資料集上。輸入就是784個畫素點灰度值。然後線性的方法分對了92%。想想感覺挺有意思的。

2樓:王贇 Maigo

可以,只要使用kernel trick。

不過,通常使用的kernel都是隱式的,也就是找不到顯式地把資料從低維對映到高維的函式,而只能計算高維空間中資料點的內積。在這種情況下,logistic regression模型就不能再表示成的形式(primal form),而只能表示成的形式(dual form)。忽略那個的話,primal form的模型的引數只有,只需要乙個資料點那麼多的儲存量;而dual form的模型不僅要儲存各個,還要儲存訓練資料本身,這個儲存量就大了。

SVM也是具有上面兩種形式的。不過,與logistic regression相比,它的dual form是稀疏的——只有支援向量的才非零,才需要儲存相應的。所以,在非線性可分的情況下,SVM用得更多。

3樓:

自己組合特徵唄,廣義線性模型是說不會自動去組合特徵,模型是死的,人是活的啊,你自己根據業務特點,處理一下唄,完全無腦化了還要你幹啥啊……

4樓:

當然可以,可以使用kernel進行變數轉換,然後再去擬合lr

但是和svm是不一樣的,svm使用kernel不容易過擬合,而lr更容易過擬合。因為在lr裡面vc dimension是隨變數數線性增長的,而在svm中vc dimension隨變數數對數級增長

5樓:楊超

只用原始特徵不能

對特徵做非線性變換比如kernel 當然可以但那就不是lr了或者乙個神經網路最後一層看成是lr 前面看成是提特徵

lr的應用場景主要是特徵很多的情況下比如特徵是上億維的一些場景

如何優化邏輯回歸 logistic regression ?

NC少年AI 確定如何衡量模型的效果。即要優化的目標。根據具體的應用場景,比如說AUC。測試集上的AUC提高,說明模型有優化。問題中已經限定為LR,優化模型的思路 想辦法獲得或構造更多的資料,無論評估模型還是訓練,都會更加可靠。根據業務知識,挖掘更多有價值的Feature,即特徵工程。加入正則化項,...

Bigbang2023年能否全員回歸,能否重造巔峰?

凝嬋 可能性0.1 而且我感覺連權志龍都拖不動了 出的幾檔子事情太多了 而且目前為止還沒有登頂男團能在過了兵役期還能重回巔峰的 退伍回來之後回歸音源肯定是不錯 畢竟還有權志龍和Teddy包攬製作 但是銷量基本上不去了 粉絲流失太多了 一樁一樁的事接踵而來 對他們打擊太大了 不可能了,我們從三種粉絲那...

斯卡蒂和銀灰都是物攻面板怪。為什麼斯卡蒂天天被乳而銀灰依然被稱為幻神

拉赫 這不是廢話嗎 銀灰開真銀斬的時候基本不會接敵要麼就是怪還沒過來就已經乾死了,要麼就是有人幫忙阻擋 抗傷害,真銀斬後排 側翼輸出,斯卡蒂怎麼搞?就那1格距離,並且只打乙個 dylan xuan 打個不太恰當的比方。面板上戰列艦比航母 不包括艦載機 強那麼多,為什麼戰列艦被淘汰了。一邊是快樂虎鯨一...