如何評估神經網路演算法的計算量,從而來確定需要多少GPU的投入?

時間 2021-05-30 00:07:30

1樓:

GPU的投入有兩方面:

視訊記憶體GPU計算量

視訊記憶體占用=模型所佔的視訊記憶體+乙個batch的訓練資料占用的視訊記憶體模型視訊記憶體占用可以通過計算模型中的矩陣大小乘以單個元素所佔位元組計算。

訓練資料的視訊記憶體占用也可用類似方法計算。

計算量的單位是flop,也就是乙個乘法和加法,例如計算兩個n維向量的內積一共就需要n個flops。

所以通過這兩個維度就可以大致估計模型訓練所耗費的資源了。

2樓:YZ8888

深度學習難道不應該給定計算資源,達到最好效果嗎?按照樓主的問題,如果可以估算,並且估算出來需要10000個gpu, 樓主怎麼辦?

具體來說,感覺和記憶體視訊記憶體關係比較大,通過資料量和全部記憶體視訊記憶體來估算一下

3樓:Max Lv

作為大致的估計,可以參見 Jeff Dean 的 Large Scale Deep Learning with TensorFlow http://www.

slideshare.net/JenAman/

large-scale-deep-learning-with-tensorflow

現在的神經網路演算法能夠模擬的最複雜的生物腦是哪種?

孫天祥 不過話說回來,也可以從某些角度對比一下人工神經網路 ANN 和生物神經網路。例如從神經元的個數來看,ANN遠少於人腦,甚至比青蛙腦的數量級還要小不少。不過從每個神經元連線的神經元個數來看,可能和人腦差不太多。另外,現在有cnn rnn等等,用於處理不同任務,但在生物腦中,應該是一套演算法,有...

使用神經網路破譯一般的加密演算法是否可行?

樸素的貝葉斯 能提這個問題說明了神經網路在 01判別 多類分類 單值回歸 多值生成 等場景下,在常見資料集上的能力已經達到或超越了人類的智慧型水平。從而使得人們誤以為它可以在 智慧型問答 邏輯推理 啟發計算 破譯破解 等領域攻克重要困難。神經網路算是乙個複雜度為O 1 的函式,對於RSA這種基於大素...

卷積神經網路的特徵是如何學習的?

Mario 你好,剛剛答辯完。老師也提了同樣的問題,卷積是如何提取特徵的?答 從傳統影象特徵提取方法來看,卷積核其實就是很多個不同的濾波器,傳統的濾波器是人工設定的,用來提取指定的特徵,比如gabor,canny等。而卷積神經網路中的卷積核是網路隨機初始化之後再通過梯度下降演算法來進行更新,根據你指...