如何評價谷歌開源的 Mesh TensorFlow?

時間 2021-05-09 20:34:31

1樓:靈魂機器

Mesh-Tensorflow的靈感來自於目前廣泛使用的資料並行(data parallelism), data parallelism可以看做是把tensors和operations 在 batch這個維度上進行分割。 Mesh-Tensorflow則順勢把這個點子推廣到所有維度。

Mesh-Tensorflow 看定義了一套DSL語法,用於描述模型的維度和布局,你用它重寫你的整個Model後,它自動幫你把模型和資料分割到多個TPU上。Mesh-Tensorflow看起來很複雜和精巧,比 recomputation, pipeline parallelism 等技巧要更複雜更自動化,那它是否就能解決問題呢?我覺得它侵入性比普通的庫(例如GPipe)更強,你需要用Mesh-Tensorflow的語法重寫你的整個模型,仔細思考維度,說實話,這個精神負擔挺重的(想起了C++)。

況且,它目前還沒有實現並行的卷積操作,因此對於CNN網路並沒有卵用,暫時只適合 Language Model 這個領域.

如何評價谷歌開源的 TensorFlow 簡化庫 JAX?

如果沒有tensorflow或者pytorch,JAX絕對是對這個問題的最好抽象和實現 可惜有了tensorflow和pytorch之後,JAX抽象出來的設計和解決的問題成了極少數的1 的先鋒設計者們真正關心的問題,而99 的人只關心 如何用乙個full stack框架快速搭建起來乙個distrib...

如何看待谷歌在 10 月 6 日開源的 SLAM 演算法 cartographer?

Gazebo裡面搭建的迷宮 下面是最常用的三種建圖方式來建圖,當然使用的是同樣的機械人模型。建圖時候都有注意技巧性,盡量慢穩周全,然後挑選每種方式下建圖的最好結果。cartographer另乙個明顯優勢 它還可以繼續建圖,這個面對環境變化問題非常實用了。 速感科技 正如作者所說,Cartograhp...

如何評價谷歌大腦的EfficientNet?

發乙個自己用tensorflow2.0實現的EfficientNet calmisential EfficientNet TensorFlow2 Kerr.Wu 在自己的task 醫療影像 上做了一下finetune,用的是官方release的B5的引數 B6B7目前沒放出來,from scratc...