1樓：
加速演算法了解的不多，說乙個小白在應用上（屢試不爽，尤其是自己寫的訓練指令碼）容易犯的錯誤
訓練啟動之後，nvidia-smi你就盯著後面 volatile gpu-util看
windows的話也可以看任務管理器 - 效能
要是波動特別大，尤其是linux環境經常性的0%
說明你的訓練速度瓶頸可能在 CPU 那塊
看看資料讀取、預處理耗時，檢查下記憶體
如果是多卡可以放寬一點，因為bp是在單卡上計算的，而且會有卡間通訊時間
你想，要是你的顯示卡只有50%時間在工作，剩下的時間在等CPU喂資料
就相當於你差不多浪費了25%-40%的時間，你把前面這塊處理好了可以提至少50%
2樓：
Song Han之前提出過乙個Deep Gradient Compression方法，但是沒有真實實現。
arxiv.org/pdf/1808.0435
7.pdf
3樓：董國豪
大力出奇蹟嘛，所以加大batch size是最常用的方法，把batchsize設到2048，4096，甚至更高。既可以加速訓練，又可以提公升模型精度（因為batchsize越大，理論上每個batch越接近資料集的真實分布）。
深度學習檢測指令碼外掛程式是否有大規模應用的價值？
zthh At GDC 2018,see how Valve uses deep learning to fight cheating in CS GO 樸素的貝葉斯 依賴深度學習，實質上是人類懶惰的體現。深度學習使得再簡單的問題，人們也不願意動腦子去做。人們期盼自己的顯示卡能給出十億個引數，恰巧能...
大規模lr訓練中，超引數除了暴力嘗試，是否有更好的優化方法？
用scikit learn裡的random search就行了。可以參考2012年的Random Search for Hyper Parameter Optimization 裡面對比了其他的一些自動調參法包括grid search，low discrepancy序列等等。作者還在文末吐槽說明明有...
為什麼能破壞硬體的病毒沒有大規模出現並流行開來？
前幾年在乙個執行dos的工控系統上發現NYB病毒，隱藏在MBR。特徵是個每五秒向特定扇區寫一次，午夜0點整系統有磁碟IO動作的話，就讓系統宕機。會感染所有接入系統的磁碟的MBR以傳播自身。由於每5秒寫一次磁碟，我們的磁碟嚴格來說不是磁碟，是IDE上的NAND Flash，因此上很快就報銷了 徐耀忠 ...