1樓:
如果沒有tensorflow或者pytorch,JAX絕對是對這個問題的最好抽象和實現——可惜有了tensorflow和pytorch之後,JAX抽象出來的設計和解決的問題成了極少數的1%的先鋒設計者們真正關心的問題,而99%的人只關心「如何用乙個full stack框架快速搭建起來乙個distributed¶llel的、能證明概念或者直接部署到production上的模型」。
還是那句話,當年Autograd時期如果整個社群覺醒了,就壓根沒有tensorflow、pytorch什麼事兒了——可惜他們太後知後覺了。
2樓:
這個問題不是2023年的麼。。。怎麼又炒起來了。。。
JAX:Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more
PyTorch:沒錯,正是在下。
都已經搞了兩年了,現在結果就見分曉了吧。這東西沒人用的。大家還是用PyTorch。
3樓:駱梁宸
最近的兩個資料點:
T5 把 Transformer 在 JAX 上實現了,觀感比 T2T 和 fairseq 好很多;
昨天 Research Conference 過來了幾個 Brain Zurich 的同事來這邊開會順道跟我聊合作,提到他們正在把 large scale ImageNet training 的 code 遷移到 JAX 上,對實現新 optimizer 很友好問我有沒有興趣在 training scheme 設計上幫忙。
最近聽到的這些實現過的 engineer 的說法基本是類似的:經過調研比 TF 優勢更大。
在小規模和效能要求不高的實驗上大家應該還會繼續選擇 PyTorch,但大規模/支援TPU 場景下應該有不錯的前途。
p.s. 逐漸越來越理解 TensorFlow/PyTorch 這兩種設計各自的優劣了。JAX 能融會貫通取精華去糟粕的話還蠻值得看好的。
4樓:袁進輝
如果說tensorflow 是主打lazy, 偏functional 的思想,但實現的臃腫面目可憎;pytorch 則主打eager, 偏imperative 程式設計,但核心簡單,可視為支援gpu的numpy, 加上乙個autograd。JAX 像是這倆框架的混合體,取了tensorflow的functional和PyTorch的精簡,即支援gpu的 numpy, 具有autograd功能,非常追求函式式程式設計的思想,強調無狀態,immutable,加上JIT修飾符後就是lazy,可以使用xla對計算流程進行靜態分析和優化。當然JAX不帶jit也可像pytorch那種命令式程式設計和eager執行。
JAX有可能和PyTorch競爭。
如何評價谷歌開源的 Mesh TensorFlow?
靈魂機器 Mesh Tensorflow的靈感來自於目前廣泛使用的資料並行 data parallelism data parallelism可以看做是把tensors和operations 在 batch這個維度上進行分割。Mesh Tensorflow則順勢把這個點子推廣到所有維度。Mesh T...
如何評價google新發布的tensorflow的新版本1 5 0?
預編譯包只支援CUDA9 害我還得編譯乙個CUDA8的湊合用,Pascal卡懶得更新了 這兩天在改分布式的程式,剛好發現1.5加了replicate model fn跟現有的estimator搭配,最新的master分支裡面又加了TowerOptimizer,不用以前那種手動reduce每個towe...
如何看待谷歌在 10 月 6 日開源的 SLAM 演算法 cartographer?
Gazebo裡面搭建的迷宮 下面是最常用的三種建圖方式來建圖,當然使用的是同樣的機械人模型。建圖時候都有注意技巧性,盡量慢穩周全,然後挑選每種方式下建圖的最好結果。cartographer另乙個明顯優勢 它還可以繼續建圖,這個面對環境變化問題非常實用了。 速感科技 正如作者所說,Cartograhp...