1樓：2WaveTech
資料並行加速的原理不是學習率更小，而是batch size 更大。
本質上說，學習率和batch size都是超引數，即可手工設定的。在用多GPU以資料並行訓練模型時，實際的batch size是在單GPU下設定的batch size的n倍，n是GPU的數量。因為batch size變大了，所以每個epoch的steps數要按總的batch size進行調整（即是原來單GPU的1/n）。
如果還用原來的學習率，那麼訓練乙個epoch的時間也就相應地減少了。
更進一步，一般情況下我們還會按batch size的變化比例同樣地調高學習率（理論推導得到的學習率倍數是n的平方根），結果是進一步減少訓練時間了。
2樓：運動碼農
沒錯，本質是learning rate，且每個batch其實後面都要求平均梯度再反向傳播，
多gpu時每個batch的data多了，這時，每個batch的learning rate不變則每個data的learning rate變小，
每個data的learning rate不變則每個batch的learning rate變大，
最終就是允許更大的總learning rate。
資料庫的 Buffer Pool 如何提高並行度？
李晨曦 既然鎖的粒度太大了，最簡單的方法就是減小鎖的粒度就好了，你的實現是全域性鎖，這種肯定慢，執行緒數多的時候甚至比單執行緒還慢。改成範圍鎖或者槽鎖就能夠大幅度提公升效能了，hashtable的每個槽一把鎖，操作page id對映到同乙個槽的page時才會有衝突，否則是沒有鎖衝突的。極端情況下所有...
訓練神經網路所需要的gpu是什麼意思？
智星雲服務 圖形處理器是一種專門在個人電腦 工作站 遊戲機和一些移動裝置上執行繪圖運算工作的微處理器。神經網路設計到大量的矩陣運算，GPU在這個方面很有優勢，筆記本上的GPU如果低於2G視訊記憶體，或者過於老舊的GPU型號都是沒有辦法訓練神經網路的，即使6G視訊記憶體對於大型網路和中大型資料集來說也...
人工智慧GPU的分布式計算 推理 訓練 ，又要有算力伸縮能力，現在有什麼好方案？
雲卷雲舒 這個問題，我可以提供一些資訊，僅供參考。最近，我接觸到乙個叫做 易學智慧型GPU 的平台，實現的功能與這裡問的挺相似，說說我的使用體驗。第一，我可以在每次開機前，選擇租用什麼型號的GPU 租多少塊GPU。當然，CPU 記憶體 磁碟空間等，都是可選的。要搞訓練時，就多租幾塊GPU 否則，就少...