LSTM中的num step與batch size的區別?

時間 2021-06-02 08:00:17

1樓:

舉個栗子:

在自然語言處理中,一句話是由很多個詞(假設一句話已經分詞)組成;

1.然後在訓練的時候,把所有的句子擷取為相同的長度,如果某乙個句子長度大於長度L,則截斷;如果句子長度小於L,則填充0,補充長度至L

2.如果訓練的時候,每次迭代的時候只有一句話,那麼梯度下降的時候,可能較為隨意;但是如果整個資料集一起訓練,一是訓練時間較長,二是自然語言處理的時候資料量很大,會導致記憶體溢位等,所以一般是sample batch_size的句子做一次迭代。

3.會到第一點,則每次輸入的資料大小應該是 [batchsize, sequence_length]的矩陣,這裡的sequencelength就是上文中樓主提到的num_step。

2樓:天雨粟

舉個例子,我有1000個人,每個人有12條記錄,分別代表乙個人過去12個月每個月花的錢。我訓練模型時,發現一次性選1000個人訓練記憶體會溢位,所以我一次給記憶體裡載入100個人,那麼我訓練一輪模型就要載入10次資料。

那麼100就是batch size,12就是num step,1000乘12就是你所有的樣本。

3樓:托比昂

num_step和batch_size的概念不僅在LSTM中,在深度學習中經常可以見到

batch_size是做一次梯度下降,也就是乙個step內所使用的資料量

那麼好,既然下降一次使用的資料量是batchs_size,那麼對整個資料集迭代一遍,需要做多少次梯度下降呢,這個值就是nums_tep,因此num_step=(資料集樣本數量) / batch_size

所以題主的第二個問題,很明顯兩者是相等的

2018英雄聯盟總決賽中,IG與FNC的BP對抗會是怎麼樣的?

就是愛你 中路是刀妹妖姬,打野是趙信,這幾個數必搶嚯ban的其實igbp思路很清晰,中野前三手拿妖姬刀妹其中乙個,ban乙個,打野拿趙信青鋼影,後兩ban上單,給shy爹後手counter位,下路穩住的組合就行了 fnc想贏必須想清楚中上野的單打單,操作是打不贏的,下路是他們的突破口,但是歐城的心態...

遊戲王歷代漫畫與動漫中,反派b格最高的是誰?總體排名如何?

以人格魅力塑造和實力為基準做排名 zone 扎克 老千 羊頭 波曼 zone的人格魅力和塑造不用多少,實力除了蟹哥出廢品弓手這個決構問題的槽點外表現力很足,第一梯隊沒跑 扎克,可以說設定 塑造的人物,設定相當用心不管是能聽到精靈聲音的反面例子還是墮落過程都有的可聊,但劇中沒有深入,理論上車輪戰1v1...

請教一下,既然拼音中b讀 p ,h讀 x ,那麼 x 與 h , p 與 b 在發音上有什麼不同

已登出 巴 的聲母是 p 嘴巴 的 巴 的聲母是 b 嚴格來說,漢語拼音b是弱子音 b 而不是強子音 p b 是 b 的清化音,根據國際音標的定義,b p 然而,雖然奧地利德語b和法語p都是清子音,但是前者讀得比較軟,後者讀得比較用力。所以用 b 表示弱子音,p 表示強子音 忘了說 h 和 x 了。...