遷移學習有緩解過擬合問題的作用麼？

1樓：勇敢的前行者

有緩解過擬合的作用，從資料角度來看，利用了已有領域的知識，結合新領域的資料樣本特點；從網路結構上看，可以增加新的結構，從損失函式上看可以改造損失函式，進行依次學習，聯合學習，或交替學習

2樓：

如果是面向多工的，那麼客觀上會帶來一些緩解過擬合的效應。因為這時候實際我們是在尋求這些任務的均值。而求均值是會帶來一些魯棒性的。

3樓：王晉東不在家

遷移學習在本質上是解決樣本不足、資料分布發生改變的問題的。

過擬合是由於模型訓練太長、太過強大，在當前資料上效果太好以致於不能泛化到新資料了。

所以直接來看，遷移學習並不是用來過擬合問題的。

但是遷移學習方法有很多類：

Domain adaptation，將舊domain的模型遷移到新的不同分布的domain上

Domain generalization，在現有的domain上訓練乙個對任何可能新產生的domain都有較好學習能力的模型

Multi-task learning，多個任務多個目標同時學習

Cross-domain learning / multi-domain learning，多個domain共同學習乙個對所有domain都好的模型

Adversarial training，對抗式地訓練網路使之對新domain有著較好的學習能力

所以深入來看，domain generalization, cross-domain learning, adversarial training等都是可以提高模型的泛化能力的，自然也就在一定程度上避免了過擬合。

4樓：雞肉萌藍Arnold

遷移學習是通過挖掘不同任務（tasks）之間的聯絡，解決小樣本學習（few-shoot）的問題，在這其中應該沒有考慮到過擬合。但今年ICML有一篇文章就是講帶正則化的MAML，可能有一些借鑑意義。

5樓：aykro

可以這麼認為，遷移學習的方法之一是獲得源任務和目標任務共同的特徵，所獲取的共同特徵對源任務和目標任務都能產生作用，那麼就從源任務泛化到目標任務，所以這種情況下認為有泛化作用，即緩解了過擬合。

6樓：zhang wei

遷移學習的提出不是為了解決過擬合的問題，而是用來解決小樣本問題和樣本標記資訊不足的問題。具體如下：

在遷移學習中，有目標域資料和源域資料。其中，源域資料是可以獲得的大量有標記資料，目標域資料一般是少量的。遷移學習中，首先利用源域資料訓練網路，然後利用目標域資料微調網路；或者將源域資料訓練的網路的某些層引數直接遷移到目標域資料對應的網路。

另外，最近乙個熱門的研究方向就是域適應。在域適應中，會約束源域資料和目標域資料網路的某一層（一般是頂層）的特徵相似性（這個相似性約束一方面可以直接利用馬氏距離直接實現，或者通過GAN來實現域間轉換從而使目標域特徵像源域特徵靠近），從而來完成目標域資料網路的訓練。

希望以上回答對樓主有幫助。