如何評價谷歌開源的 TensorFlow 簡化庫 JAX?

時間 2021-05-06 07:41:01

1樓:

如果沒有tensorflow或者pytorch,JAX絕對是對這個問題的最好抽象和實現——可惜有了tensorflow和pytorch之後,JAX抽象出來的設計和解決的問題成了極少數的1%的先鋒設計者們真正關心的問題,而99%的人只關心「如何用乙個full stack框架快速搭建起來乙個distributed¶llel的、能證明概念或者直接部署到production上的模型」。

還是那句話,當年Autograd時期如果整個社群覺醒了,就壓根沒有tensorflow、pytorch什麼事兒了——可惜他們太後知後覺了。

2樓:

這個問題不是2023年的麼。。。怎麼又炒起來了。。。

JAX:Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more

PyTorch:沒錯,正是在下。

都已經搞了兩年了,現在結果就見分曉了吧。這東西沒人用的。大家還是用PyTorch。

3樓:駱梁宸

最近的兩個資料點:

T5 把 Transformer 在 JAX 上實現了,觀感比 T2T 和 fairseq 好很多;

昨天 Research Conference 過來了幾個 Brain Zurich 的同事來這邊開會順道跟我聊合作,提到他們正在把 large scale ImageNet training 的 code 遷移到 JAX 上,對實現新 optimizer 很友好問我有沒有興趣在 training scheme 設計上幫忙。

最近聽到的這些實現過的 engineer 的說法基本是類似的:經過調研比 TF 優勢更大。

在小規模和效能要求不高的實驗上大家應該還會繼續選擇 PyTorch,但大規模/支援TPU 場景下應該有不錯的前途。

p.s. 逐漸越來越理解 TensorFlow/PyTorch 這兩種設計各自的優劣了。JAX 能融會貫通取精華去糟粕的話還蠻值得看好的。

4樓:袁進輝

如果說tensorflow 是主打lazy, 偏functional 的思想,但實現的臃腫面目可憎;pytorch 則主打eager, 偏imperative 程式設計,但核心簡單,可視為支援gpu的numpy, 加上乙個autograd。JAX 像是這倆框架的混合體,取了tensorflow的functional和PyTorch的精簡,即支援gpu的 numpy, 具有autograd功能,非常追求函式式程式設計的思想,強調無狀態,immutable,加上JIT修飾符後就是lazy,可以使用xla對計算流程進行靜態分析和優化。當然JAX不帶jit也可像pytorch那種命令式程式設計和eager執行。

JAX有可能和PyTorch競爭。

如何評價谷歌開源的 Mesh TensorFlow?

靈魂機器 Mesh Tensorflow的靈感來自於目前廣泛使用的資料並行 data parallelism data parallelism可以看做是把tensors和operations 在 batch這個維度上進行分割。Mesh Tensorflow則順勢把這個點子推廣到所有維度。Mesh T...

如何評價google新發布的tensorflow的新版本1 5 0?

預編譯包只支援CUDA9 害我還得編譯乙個CUDA8的湊合用,Pascal卡懶得更新了 這兩天在改分布式的程式,剛好發現1.5加了replicate model fn跟現有的estimator搭配,最新的master分支裡面又加了TowerOptimizer,不用以前那種手動reduce每個towe...

如何看待谷歌在 10 月 6 日開源的 SLAM 演算法 cartographer?

Gazebo裡面搭建的迷宮 下面是最常用的三種建圖方式來建圖,當然使用的是同樣的機械人模型。建圖時候都有注意技巧性,盡量慢穩周全,然後挑選每種方式下建圖的最好結果。cartographer另乙個明顯優勢 它還可以繼續建圖,這個面對環境變化問題非常實用了。 速感科技 正如作者所說,Cartograhp...