1樓：神楽阪茉奈
神經網路的退火演算法就是最優化裡面的模擬退火演算法。
神經網路的BP演算法用的是梯度下降法在權值空間裡面尋找乙個最優解，但是梯度下降法會有區域性最優解的情況。為了解決這個問題引入動量項或者模擬退火
其實相當多的最優化的技術已經用在了不同的神經網路訓練演算法裡面。擬牛頓法、共軛梯度法、廣義逆直接擬合（你要相信我沒有在黑ELM）、模擬退火、動量項、步長衰減、自適應步長（模擬的簡諧運動），好多方法都已經運用在實際裡面了。
不過，模擬退火一般不怎麼樣，誰知道呢，反正工業界是很少用的，工業界的主流還是步長衰減加動量項
2樓：
不知道神經網路裡的退火是什麼，不知道和sa像不像，科普一下sa吧，不對勿噴qwq
sa（模擬退火）是一種啟發性演算法，用於尋找乙個問題的最優解或較優解
引用經典的兔子。
有一些兔子想要找到世界上最高的地方
爬山演算法（貪心）：兔子們總往高處跑，一段時間後，兔子們到達了乙個比較高的山峰
模擬退火：兔子們喝醉了，滿世界亂跑，隨著兔子們的酒勁漸漸過去，兔子們想起了原本的目標，開始往高處跑，最終有一些兔子達到了比較高的山峰
用程式化語言描述的話，設當前狀態為x，估值函式為f(x)
爬山演算法：
1、取下乙個狀態y
2、如果f(y)>f(x)，將當前狀態轉變為狀態y
3、goto 1
模擬退火：
1、設當前溫度為t
2、取下乙個狀態y
3、如果f(y)>f(x)，將當前狀態轉變為狀態y，否則有exp((f(x)-f(y))/t)的概率接受（不接受就丟掉狀態y）
4、t=t*c c是乙個冷卻常數
5、goto 2
簡單來說，就是
·溫度高時，比較大的概率接受乙個較差的解
·溫度低時，更傾向於接受區域性最優解就醬
神經網路中Belief Net和標準的神經網路有什麼區別？
金天 這個已經深埋地下的問題今天在下挖出來回答一番,拂去歲月的塵埃這個問題還是值得一答,也值得大家一讚.我的思考 1.DBN本質是RBM一層層的堆疊,那麼問題在於RBM與標準傳統簡單的神經網路有毛線區別呢?我們知道RBM可見層與隱藏層之間是全連線的,而hidden和hidden之間是沒有連線的,這個...
卷積神經網路和BP神經網路的關係？
乙個維度的BP神經網路就相當於CNN中的全連線了，無非是多幾個全連線，CNN是二維，二維如果搞成全連線就導致運算量巨大，所以有了權重共享，大大減少了運算量，CNN卷積的思想肯定也源於BP神經網路就，在影象上做二維卷積的CNN發出炫目的光芒下，BP神經網路就已經快被人們遺忘了，但是不管CNN再怎麼發展...
遺傳演算法，模擬退火演算法，粒子群演算法，神經網路等智慧型演算法的作用？
哈哈哈 神經網路可以用於旋轉機械的故障診斷。這是因為，故障診斷本質上是一種分類任務，而神經網路最擅長的就是分類。常見故障型別 殘差收縮網路 1 2 就是一種專門用於故障診斷的神經網路。深度殘差收縮網路 同時，如上圖所示，由於殘差收縮網路整合了軟閾值化，因而適合強雜訊資料的特徵學習 3 軟閾值化，其中...