如何理解few shot learning中的n way k shot？

1樓：

以分類問題為例：

few shot問題的定義是對於某乙個資料集，訓練集中每乙個類別的樣本數量都很少，比如一共有10個類，每個類別只有5個樣本。

那麼如何訓練乙個神經網路來對這個資料集進行分類呢？乙個直接的做法就是，就像常規的分類模型一樣，用這50個樣本進行訓練（10個類別，每個類別5個樣本），那麼這麼做會導致過擬合，在測試集上效果不佳（這是我猜的）。

那另乙個做法就是，不直接進行分類，而是提取這50個樣本的特徵，每當對乙個測試樣本進行分類時，就先提取這個測試樣本的特徵，然後和50個已知標籤的樣本計算距離（比如歐式距離），哪個距離最近就認為這個測試樣本是哪個類別。這個屬於10way 5shot。

mini-iamgenet的訓練集只是用來提取特徵，相當於乙個預訓練網路。我覺得相當於降低了few shot問題的難度，但是應該還是屬於few shot的範疇。

2樓：小小何先生

如下圖所示，傳統的影象分類任務是基於左邊的給定訓練資料，獲得model，然後在右邊的資料集上測試model的好壞。

而對於小樣本問題，其訓練資料和測試資料如下所示：

我們擁有的是大量的上方這些類別資料，也就是對於training中的airplane、automobile等，我們有很多類資料，而對於下方Testing中像dog、frog等新的分類問題，類別資料就很少了。

N-way K-shot是few shot learning中乙個非常基礎的概念。N-way K-shot：從Meta-dataset中隨機抽取N類樣本，(更簡單的說法就是Support set中的類別數量，其label的組成通常稱之為label set)，每類樣本隨機抽取K+1個例項。

其中每類樣本中抽取K個例項組成Support set，剩下的例項組成Test set(通常為了區分真正的testing，將其稱之為Query Set)。

在特殊情況下:

K=1，稱之為One-Shot Learning。

K=0，稱之為Zero-Shot Learning。

3樓：20200406

反覆構造episode的過程不能理解成最終抽取了多少資料，按理說將所有base類的資料都遍歷一遍構成幾萬甚至更多個都很合理，MAML就是這樣的出發點，增強模型的泛化性。問題在這，普通分類任務在訓練集訓在測試集測，而小樣本在base類上訓，在novel類上測，可以認為是一種遷移。再回想下小樣本的定義，就是假如有的類只有幾個樣本（注意下這個問題，主要是嚴格保證在novel類上是N-way，K-shot），怎麼正確分類？

這也就導致了乙個問題（理論上的問題，實際上有很多預訓練有效），沒法結合遷移用大網路預訓練的權重進行初始化，因為即使你在base類上微調的很好，在novel類上過擬合也會很嚴重，所以match-net就想出來你問的訓練策略，構造episode，大家都統一訓練和測試的標準，紙面上的說法是訓練和測試一致性原則，novel類上不是都小樣本嗎，我這base類也按照小樣本進行訓練，這樣構造的模型在特徵提取這不就能適應只有幾個訓練樣本的情形了嗎？所以，這個問題你不用理解那麼複雜，小樣本是novel類上的定義，並不妨礙base類的訓練過程，反正我novel類就等著base類訓完我再測，隨便你base類怎麼折騰，只要保證novel類的query對應上support就行了。也有方法用base類樣本扔進去一鍋端，然後再測novel類，也可行，只要你模型能提取出來有效的特徵就是良好的meta模型，怪方法也未嘗不可

4樓：石頭在煉丹

way可以理解為類別，shot理解為每個類別的樣本數，這裡還有個概念是查詢集和支撐集，不同集合的shot可以不一樣，但way是一樣的，否則也不能拉近查詢集與支撐集的距離！few shot的方法很多，基於度量方法是比較常見的，效果也相對不錯，比如原型網路！除此之外還有元學習方法！

如何理解few shot learning中的n way k shot？

如何理解 TCP IP, SPDY, WebSocket 三者之間的關係？

如何理解functional programming裡的currying與partial application

如何理解 It make A one of Canada s most popular cities to live in ？

其他用戶還看了：