1樓：星衡科技
實用策略：warm up+余弦退火
warm up：訓練初期由於離目標較遠，一般需要選擇大的學習率，但是使用過大的學習率容易導致不穩定性。所以可以做乙個學習率熱身階段，在開始的時候先使用乙個較小的學習率，然後當訓練過程穩定的時候再把學習率調回去。
比如說在熱身階段，將學習率從0調到初始學習率。
余弦退火：按照余弦函式將學習速率從初始值降低到0。假設批次總數為T（忽略預熱階段），然後在批次t，學習率η_t 計算如下：
上圖為warm up+余弦退火策略示意圖。
2樓：
比較常見的是初始固定learning rate，然後每隔一定epochs後降低learning rate，accuracy基本是在learning rate改變後進行突變的感覺。比如這個：
from KaimingHe/deep-residual-networks
以及ResNeXt：
from facebookresearch/ResNeXt個人覺得這種調節learning rate的方法雖然簡單基本，但確實很實用
在機器學習裡，經常聽到訓練模型，模型到底是個什麼東西呢，有沒有大佬給個通俗一點的解答？？
劉dl 輸入 X，張量 Y，實際標籤 模型 y pred f X,W 訓練模型是指 迭代擬合出乙個W，使得y pred很接近Y 付鵬 簡單說，模型是公式的引數。機器學習模型，就是按照指定的公式算數。假設我們有如下的邏輯回歸模型 式中，是輸入，是要學習的引數，那麼 三個數字就組成了模型，對於新的資料，...
為什麼在部分機器學習中訓練模型時使用GPU的效果比CPU更好？
千佛山彭于晏 哈哈哈，看完樓上的答案簡單總結一下。GPU是為渲染操作設計的，渲染的過程就是一些圖形點 幾何點位置和顏色值的計算。這些計算的形式就是一些四維向量和矩陣的運算。而我們在訓練模型引數的時候，進行的就是這樣的計算。所以GPU很適合加速我們的訓練過程。 shulang lei 假如是3x4的陣...
機器學習模型在工業界的應用？
哈哈哈 參照另乙個回答 基於神經網路的現實中的應用？哈哈哈的回答 知乎 基於神經網路的現實中的應用？機器學習大多是應用在影象 語音和文字，也能用於旋轉機械故障診斷。在本質上，旋轉機械故障診斷是乙個分類的問題。例如，常見的機械故障包括軸承滾動體故障 外圈道故障 內圈道故障，齒根裂紋 齒麵點蝕 缺齒故障...