隨機優化 魯棒優化和分布魯棒優化有什麼聯絡和區別?

時間 2021-05-08 05:29:13

1樓:黃土西風

Rahimian, H. and S. Mehrotra.

「Distributionally Robust Optimization: A Review.」 ArXiv abs/1908.

05659 (2019).

Distributionally Robust Optimization: A Review

2樓:

優化問題有四大類:傳統確定優化問題,隨機規劃問題,魯棒優化,分布魯棒優化

相對於傳統確定規劃而言,也就是引數都是確定的,比如加工時間確定,運送時間確定,實際生活中,這些值往往是有波動的,就有了不確定優化。

不確定優化一般分為隨機規劃和魯棒優化:前者假定引數服從乙個分布,一般來說會以期望值為優化目標;後者假定分布未知但是現實中的資料中可以獲得一些資訊,比如引數出現的所有情況,這就是離散的魯棒優化,或者是每個引數的取值區間,這就是區間魯棒優化,而魯棒優化的目標,可以根據需要的保守程度來制定,如果問題涉及安全,那我們肯定是要不出現任何事故,類似這樣的就可以制定絕對目標,優化最差的情況,如果是其他的不需要如此保守的,或許可以制定最優化最大後悔值,等等。

分布魯棒優化是比較新的研究方向,研究難度相對來說也是大一點點的,結合了隨機規劃和魯棒優化,假定引數有多個取值情況,而每乙個取值又服從乙個分布。

新手入門不確定規劃,建議從魯棒優化的區間型別開始著手。

分布式 隨機優化領域的研究如何開展?

青虫 如果是Decentralized Optimization的話可以看看最近的一篇綜述 Nedi,Angelia,Alex Olshevsky,and Michael G.Rabbat.Network topology and communication computation tradeoff...

分布式深度學習訓練中的通訊優化有哪些主流的研究方向?

顏深根 從系統實現上來分,可以分為PS和Allreduce兩個大的方向。對精度是否有影響來分,可以分為同步通訊和非同步通訊。從通訊的內容上來分,可以分為稠密通訊和稀疏通訊。這裡面每乙個方向都會有很多可以優化的方法。比如從通訊底層,可以採用普通TCP IP協議,也可以採用RDMA。PS可以採用單個Se...

R語言中有哪些最優化的包?有隨機梯度下降法的包麼?

R有乙個 sgd package sgd Stochastic gradient descent Description Run stochastic gradient descent in order to optimize the induced loss function given a mo...