CART演算法中某一特徵被使用後還能被重複使用嗎?

時間 2021-06-06 01:36:32

1樓:Honfung.Wong

非常細節的好問題, 這個回答已經說得很細緻,不知道為什麼不能直接 at 到答主,放個鏈結吧,CART演算法中某一特徵被使用後還能被重複使用嗎? - Evan的回答 - 知乎

我還想補充一點,所謂的機器學習、深度學習演算法,都是在已有資訊(known information)基礎上,利用數學工具,發掘出新的資訊(新息,new information)的過程。具體到樹模型能否多次使用同乙個特徵,取決於這個特徵是否依然可能存在新息——如果認為新息未被發掘完,那接下來依然可以使用,如果已經發掘完畢,那就不再使用。

還有一點要注意,在離散變數下 ID3 和 C4.5 是多叉樹,這就不存在繼續使用的問題,因為某個特徵被一次性使用完了,不可能存在新息;而離散變數下的 CART 是二叉樹,那麼同一特徵很有可能被多次使用,當然每次的分割點是不同的(新息就體現在這裡)。在連續變數下,ID3 由於提出較早,並不能處理這類資料;C4.

5 對連續變數的中點做輪詢後二分,也就是二叉樹而不是多叉樹,可以多次使用同一特徵;CART 和 C4.5 的處理類似,也是二叉樹,同樣可以重複使用同一特徵。

特徵工程在深度學習演算法設計中的地位是什麼?

dragonfly 我認為特徵工程在其中有兩種體現。一種體現在模型結構的設計,很多模型結構就是為了建模某些特徵,像DIN CAN等 另一種體現在模型的輸入,受限於模型表達能力,有些特徵可能難以建模,這時候我們還是手工產出特徵輸入模型。深度學習時代提效三板斧 加特徵 擴資料 改結構。在很多成熟的業務場...

paxos演算法中,如果有兩個值被Accept了,其中乙個形成了多數派,另外乙個值怎麼處理?

樂樂Joker 沒什麼不一致的問題。只要多數派接受了某個值v,值v就被視為chosen。因為不管你少數派手上的值是什麼,都能通過後續prepare 學習 到v。至於少數派怎麼同步v,新起一輪paxos流程,把 學習 到的v覆蓋掉少數派裡的值即可。 thinker 當把p2發給兩個acceptor去p...

是否在演算法中引入突變性讓演算法跟DNA一樣自我進化?

泰勒柯西暴打拉格朗日 計算智慧型這個領域有不少仿生的演算法,包括和題主描述的內容很接近的 演化演算法 這些演算法大都只是一種擇優的策略,給演算法乙個擇優的函式和一群初始的種群,演算法將初始種群變異 繁殖,然後選擇出最優秀的個體。就好像人養豬的一樣,把瘦的豬都殺了吃了,留下肥的豬配種,一代代優生優育下...