請問具體什麼是遷移學習?

時間 2021-06-01 16:50:17

1樓:

遷移學習是一種思想,而不是一種方法。具體而言是將某個領域或任務上學習到的知識或模式應用到不同但相關的領域或問題中。這這種思想下,根據問題不同、領域之間的資料分布假設不同,會有不同的方法。

網路權重遷移是Parameter-based transfer learning的一類方法,常用於邊緣分布不一致情況下的影象問題,以共享的引數提取相似特徵。

由於近年神經網路和深度學習大行其道,因此基於NN的遷移聲音掩蓋了許多其他經典的遷移學習研究。早期的遷移學習可以看看Dataset shift概念,以及楊強的09年綜述 ,如果只是想關注基於NN的遷移,那請參考樓上@Chuang的回答吧。

2樓:Chuang

遷移學習(Transfer learning) 顧名思義就是把已訓練好的模型(預訓練模型)引數遷移到新的模型來幫助新模型訓練。考慮到大部分資料或任務都是存在相關性的,所以通過遷移學習我們可以將已經學到的模型引數(也可理解為模型學到的知識)通過某種方式來分享給新模型從而加快並優化模型的學習效率不用像大多數網路那樣從零學習。

其中,實現遷移學習有以下三種手段:

Transfer Learning:凍結預訓練模型的全部卷積層,只訓練自己定製的全連線層。

Extract Feature Vector:先計算出預訓練模型的卷積層對所有訓練和測試資料的特徵向量,然後拋開預訓練模型,只訓練自己定製的簡配版全連線網路。

Fine-tuning:凍結預訓練模型的部分卷積層(通常是靠近輸入的多數卷積層,因為這些層保留了大量底層資訊)甚至不凍結任何網路層,訓練剩下的卷積層(通常是靠近輸出的部分卷積層)和全連線層。

3樓:dreamkily

你這個是模型的finetune,具體可參考https://github.com/jindongwang/transferlearning

王博士的github

在進行遷移學習的時候,是怎樣確定需要凍結哪些層的呢?

彥傑HakunaMatata 怎麼實現凍結某些層引數上文有童鞋回答就不再贅言至於哪些層需要凍結哪些不用一般還是實驗性的沒有一般性的結論可以參考NIPS2014 How transferrable are deep neural networks 還有清華龍明盛團隊的 Beyond sharing w...

請問學習日語歌對學習日語是否有幫助?具體到哪個方面?

Spieluhr 聽歌可以用來沒事時加深一些單詞的印象。但是裡面有很多為了押韻寫的東西不一定是正確的用法和讀音。有的歌在給你混一段英語。當然多聽點沒壞處,別光聽。 咕嚕是只貓 我覺得重點在於對日語的語感和熟悉度吧 我經常聽日語歌,有段時間甚至可以說是只聽日語歌 一開始接觸日語也是因為喜歡聽日語歌所以...

請問發明專利的初審具體是做什麼?

中理通商標專利代理 初審審核的是主體和檔案,檔案全主體沒問題的話初審一般都會過的,初審的專利沒有任何法律效益,只有過了實質審查授權之後才會受到法律的保護。實質審查審查的才是技術和創新,一般的專利初審都會過,除非檔案不全或者是格式性錯誤違反專利法。 權盾智財權 在進行專利申請的時候,申請的流程不同也是...