1樓：Sunday
你可以多試試，就有經驗了
我的經驗時Adam一般都在10-3到10-5了，
最初幾步為了保障收斂，可以先從小的開始，然後再從10-3衰減下去
2樓：curry
初始學習率太大很可能直接從那個坑里跑出去了，會發散。學習率和模型的泛化誤差也是具有U型曲線關係，學習率過高和過低都會導致泛化誤差很大，所以建議還是自己調來找到乙個最合適的學習率啦，其他引數到是可以用自動調參找一下
3樓：Jusper Lee
你可以試一下，這些都是不斷嘗試得出的結果。但是按照經驗一般不會設定0.5這麼大的學習率。
但是這個只是經驗，你可以根據不同的任務進行選擇。選擇0.5可能收斂的比較慢，也可能陷入區域性最小值點。
4樓：純潔的小火車
多試試吧，找到適合你自己的學習率。
Adam雖然可以自動調整學習率，可是初始學習率過大，很可能直接收斂到很差的區域性最小值點，而後面的學習因為學習率已經被降低，就再也跳不出去了。所以不宜過大。一般的框架中，預設學習率1e-3。
5樓：小鄭
學習率設定大，從意外理論上說無法收斂到最好，會出現以下兩種情況：
1.開始導數大，未達到區域性最小值，然後跳過區域性最小值，引數無更新，收斂然而效果不好，無法達到區域性最優解
2.設定太大，引數會直接跳過區域性最小值導致無法收斂，導數過大，導致損失無限大
ps:看過乙個總結，adam最優學習率為3e-4
哪些住宅可以不設定水幫浦結合器？
作強消防 根據 消防給水及消火栓系統技術規範 GB50974 2014條文5.4.1 下列場所的室內消火栓給水系統應設定消防水幫浦接合器 1.高層民用建築 2.設有消防給水的住宅 超過五層的其他多層民用建築。由此可知，沒有設定消防給水的住宅 單多層住宅可以不設定消防水幫浦接合器，另外，設定乾式消防豎...
可以如何改進 ATM 機的 UX 設計，以優化使用體驗和提高操作效率？
劉bob 沒啥好優化的，現在已經很好了，沒必要為了一時的排隊吐槽對現實的不滿優化以後，你能確保老百姓買單麼？或者說增加幾台ATM就能解決基本問題麼？排隊往往不是UX的問題，是使用者個人出了意外導致的，忘記帶卡，忘記密碼，輸入錯誤，對於忘記密碼，忘記密碼根本無解，對於輸入錯誤也很難避免，畢竟處於安全考...
從零開始學飛行器氣動外形優化有什麼可以推薦的書嗎？
杜昂 Shawn 的回答基礎上 就優化方法可以分為1.梯度優化，2.非梯度優化。如果要處理成百上千設計變數，後者是不合適的。我們只有1乙個選項了。a.最直觀的梯度求解方法是有限差分。但是步長太大會導致精度下降，步長太小又有數值不穩定問題，而且演算法複雜度為O N b.為解決精度的問題，Complex...