誰了解Stochastic Coordinate Descent演算法,這個演算法的步長更新問題?

時間 2021-05-29 23:08:02

1樓:Martin Tan

雖然樓主沒有說明背景,我大概能猜出來怎麼回事。

這個式子顯然不是普通CD的步長。問題應該在於這個優化問題應該有x每個分量都不小於0的約束。

max中右邊一項實際上就是個梯度下降,1/beta相當於步長。而左邊一項相當於乙個projection,它保證了迭代後的點滿足x_j>=0的約束。

2樓:Sam Wang

是選擇在這個coordinate上能走的最長的長度。也就是目標函式在選定coordinate後,把其他coordinate看做constant,在選定coordinate上求能updata的最大值。

經典的SCD或Online Learning方法一般設步長引數(learning rate)為1/t, 這樣能保證如果起點在最優點附近時收斂到最優點,詳細見Bottou和Murata的文章

當然也有通過每步學習learning rate, 即learning of learning rate, 詳見Amari的文章

誰了解這首歌「El pueblo unido jam s ser vencido」?

扎姆Zam 個人譯配 起來,歌唱 一起走向勝利 團結之聲 已經在向前進 與我並肩同行 你會看見 我們的歌聲像紅旗一樣飄揚 在紅色的曙光 新的生活 很快就要到來 起來,戰鬥 人民走向勝利 新的生活 變的更加美好 不要忘記 勝利就在眼前 一聲呼喊 千百萬不願做奴隸的人們 發出自由呼喊 召喚我們無懼向前進...

誰了解KCL的digital culture and society MA?

有錄網UKUOFFER KCL的Digital Culture and Society算是個跨學科的專業,要研究數字技術對當代文化和社會的發展及其影響,詳談數位化發展如何重塑各種社會政治和經濟領域,例如文化傳播,身份認知,經濟金融等。主課偏重於學術研究,選修課涉及實踐應用,同學有機會參與團隊專案,可...

運輸管理系統誰比較了解?

Nick 現在做TMS的公司很多,你是要採購運輸管理系統還是問開發的問題?這兩個維度回答會完全不一樣,具體可以問下上海唯智資訊,他們做了很多年了,經驗比較豐富 Johnson 現如今市場上,對於運輸管理系統有很多的軟體,但也要看你的需求才能有相應的推薦。對於要求較多的可定製內容,推薦還是唯智的tms...