能否將深度學習和傳統機器學習相結合,先用標籤訓練深度神經網路,將最後一層輸出特徵作為如svm的輸入?

時間 2021-05-08 06:17:23

1樓:李東坡

當然可以。參考大家的回答,這裡總結一下。神經網路可以看做乙個特徵抽取器,至於得到的特徵後續如何處理,需要看自己的業務需求。

如果資料量充足,完全可以使用端到端的方式,利用矩陣運算的優勢,神經網路可以取得令人滿意的效果。如果資料量不足,特徵提取後使用機器學習方法,一般不會得到太差的結果,而深度學習可能由於資料過少,並未收斂到乙個比較不錯的值。

2樓:小夕

『最後一層輸出特徵作為如svm的輸入』:說明你得神經網路沒訓好,或者不夠深。理論上神經網路可以擬合一切非線性函式(組合),直接接乙個MLP不香麼?

3樓:DeePR

可以的,R-CNN就是這樣做的。最後一層輸入的其實就相當於對影象提取的特徵,除了直接送入svm,還可以加一些先驗特徵一起送入svm。

4樓:Eternity

這個問題實際上在很早之前就已經有使用了,這裡就是把深度學習當作乙個特徵提取器。2023年的RCNN做目標檢測,用CNN提取滑窗內影象的特徵,使用SVM對該特徵進行分類。

實際上之後的很多任務/工作,都是拿深度學習做特徵提取器,或者就是所謂的backbone,後面不再用傳統機器學習的方法,改成一些與任務相關的深度學習方法。

5樓:悟冥

當然可以啦,這麼操作,其實可以理解成,DL幫助你將RawData做了複雜的特徵工程,而特徵工程其實是Model領域非常重要的內容哈

6樓:「已登出」

1.能不能?

回答:能,在影象音訊圖網路上都有人這麼做。

2.效果怎麼樣?

答:在帶label的資料充足的情況下,不管是NN+svm還是NN+xgboost,都不如最後一層為FC的純NN。

在帶label資料佔比比較小的時候,NN提取特徵結合傳統機器學習方法的下限比純NN的高。

7樓:百思視界

可以。但是從general的表現上看,end-to-end模型表現更好一些,深度學習方法比傳統方法好一些。最好根據你的具體問題選擇合適的方案。

8樓:

很有意思的問題。

深度學習和傳統方法相結合一直是學術界積極探索的方向,比如把SVM中large margin的思想引入到神經網路訓練中。

這看似很直觀其實實現起來卻比較不容易,主要是因為神經網路分層的非線性使得我們沒有辦法得到margin的顯示表達,自然也就很難想SVM一樣將其引入訓練目標函式。

早期的思路的確是通過將最後一層全聯接連帶cross-entropy損失函式換成乙個SVM來實現,具體可參考Deep learning using linear support vector machines。然而這樣保證的只是神經網路隱含層即特徵空間的margin而非原樣本空間的margin。而後者才是直接影響機器學習泛化性和魯棒性的因素。

近年來有許多的研究工作都在探索如何直接或間接的影響深度神經網路樣本空間的margin,比如Google的Large margin deep networks for classification,各種關於深度神經網路的certification/verification,以及我們近年來的幾個工作:

Deep Defense: Training DNNs with Improved Adversarial Robustness

Adversarial Margin Maximization Networks

9樓:

1,能2,效果不好

能提這種問題只有兩種可能:

1,不是這一方向的(我希望是這種,畢竟隔行如隔山,不過話說回來,RCNN的影響力已經這麼低了嗎?)

2,懶得連文獻都不願意查的

10樓:田翔宇

把神經網路看成特徵性對映的過程,其本身就是最後一層之前在做特徵對映,最後一層是乙個線性分類器。

所以神經網路本身就是這麼做的,SVM無非是換乙個啟用函式和損失。

11樓:

我曾經用這種方法解決降維與變數缺失問題,畢竟nn直接用0替代缺失值問題不大,不過nn的輸入與輸出都是x,然後用某乙個中間層的輸出當作新特徵放進了決策樹,效果提公升不錯,但前提是nn要訓練好。

12樓:Century See

當然可以了,深度學習有時候又被稱作表示學習,所謂表示學習,就是通過網路結構學習到了特徵的表示,不僅僅是最後一層特徵可以作為傳統機器學習方法的輸入,中間層也完全可以作為傳統機器學習的輸入,因為這些層都可以看作是特徵的表示

13樓:David

這樣做沒有意義,已經將原始輸入資料轉換到一種空間向量表示,說明模型預訓練的結果已經符合向量分類的要求,那最後用全鏈結或者其他簡單的網路就可以進行分類,使用SVM不一定能夠比深度網路好,再說了機器學習的目的是降低系統複雜度,但是預訓練都已經用上了,還又反過來總SVM來進行分類,這不是大牛拉小車的經典行為呢?個人覺得沒有這樣做的必要!

14樓:

可以的深度學習的過程本質上是乙個特徵表示學習的過程。從淺層到深層的乙個過程,神經網路就是不斷的去抽取和融合特徵。其實你也可以看cnn網路,它是多個卷積模組與全連線層的組合過程。

而這裡,多個卷積塊,它起到的作用就是提取樣本特徵。全連線層就可以看成是傳統機器學習的過程(邏輯回歸)。

做深度學習方面的研究,需要學習傳統機器學習 計算機視覺方面的知識嗎?如果需要,需要掌握到什麼程度?

星辰大海 再補充乙個例子,殘差收縮網路。殘差收縮網路把訊號降噪中常見的軟閾值函式,和Squeeze and excitation network結合起來,以處理雜訊較多的訊號。 周亦博 傳統機器學習是肯定需要的。因為首先要明白的就是深度學習不是萬能的,所有機器學習模型的準則就是模型的複雜度必須要和資...

學習深度學習是否要先學習機器學習?

作為乙個在數學系學統計做過機器學習,工作後搞深度學習的人,我可以很負責任的告訴你,不需要 理論上來說,深度學習確實是機器學習的一部分。十年前,深度學習其實還叫 ANN,是存活在機器學習裡的一小部分 別噴,我知道現在主流是 CNN,跟ANN不同 但是實際上,深度學習是乙個用計算機算力暴力求解問題的函式...

深度學習與機器學習的關係是什麼?

瘋貓子 沒有一種技術的發展是孤立的。開局一張圖 深度學習是機器學習的乙個重要分支,深度學習和機器學習的關係屬於繼承和發展的關係,其實不單單是這一分支如此,幾乎所有的演算法分支都是早期技術的重組 繼承 發展而來。如上圖所示,我大致把這些技術的繼承發展關係用導圖的方式進行展示,圖中沒有標註顏色的都是發展...