最近比較火的parameter server是什麼?

時間 2021-05-09 08:10:31

1樓:張雨石

之前讀過limu的parameter server, MSRA的adam和google的tensorflow。 個人感覺tensorflow的擴充套件性已經足夠好了。

parameter_server架構 - 雨石 - 部落格頻道 - CSDN.NET

Adam:大規模分布式機器學習框架 - 雨石 - 部落格頻道 - CSDN.NET

tensorflow架構 - 雨石 - 部落格頻道 - CSDN.NET

2樓:仙道菜

寫了一篇專門講解parameter server 的文章,感興趣的同學可以移步去看:【深度學習&分布式】Parameter Server 詳解

誇一下parameter server :

1. Efficient communication:

由於是非同步的通訊,因此,不需要停下來等一些機器執行完乙個iteration(除非有必要),這大大減少了延時。為機器學習任務做了一些優化(後續會細講),能夠大大減少網路流量和開銷;

2. Flexible consistency models:

寬鬆的一致性要求進一步減少了同步的成本和延時。parameter server 允許演算法設計者根據自身的情況來做演算法收斂速度和系統效能之間的trade-off。

3. Elastic Scalability:

使用了乙個分布式hash表使得新的server節點可以隨時動態的插入到集合中;因此,新增乙個節點不需要重新執行系統。

4. Fault Tolerance and Durability:

我們都知道,節點故障是不可避免的,特別是在大規模商用伺服器集群中。從非災難性機器故障中恢復,只需要1秒,而且不需要中斷計算。Vector clocks 保證了經歷故障之後還是能執行良好;

5. Ease of Use

全域性共享的引數可以被表示成各種形式:vector,matrices 或者相應的sparse型別,這大大方便了機器學習演算法的開發。並且提供的線性代數的資料型別都具有高效能的多執行緒庫。

3樓:Garvin Li

剛好我最近寫了parameter server的文章,有興趣可以看下,【分布式計算】MapReduce的替代者-Parameter Server

最近有什麼比較火的約會軟體?

從頭再來 覓咻每個使用者都很真實,而且主動性都很強,在這裡交友不怕你交不到朋友!最重要的是在這裡脫單是非常的容易的,只要你稍微幽默風趣,就能吸引到超級多的小哥哥小姐姐。網戀奔現啥的基本不再話下。 酷山海 軟飯圈啊!最近這個社交軟體特別火,我認識的人大部分都在用,裡面都是真人認證的,不用擔心被騙,這個...

最近想見你比較火,我想問哈,這個火是真的好看,比較有點子,還是炒作,跟親愛的同屬?

2倍快進看到倒數第二集,還是對結局不感興趣的水平9.2絕對虛高,各種因素導致的 沒有對比就沒有傷害,隨便列舉這個分段別的劇,新白娘子傳奇 9.1 白夜追兇 9.0 仙劍1 9.0 甄嬛傳 9.2 潛伏 9.4 權利的遊戲1 9.4 紙牌屋 9.2 9號秘事 9.0 勝者即正義 9.3 訊號 9.2 ...

最近比較火的社交電商平台是哪幾家?

上石藝術 過去十年中國電子行業發展迅速,移動支付技術的發展促使移動端電商行業日漸成熟,消費者已經養成網購消費習慣,客觀上為社交電商發展奠定良好基礎,其次我們國家相關機構陸續出台相關政策鼓勵社交電商行業發展,所以未來社交電商發展潛力巨大。同時,相比較於傳統電商社交電商模式依託社交流量平台以及熟人網路傳...