Spark Flink的Dataflow與Tensorflow的Dataflow從本質上有什麼區別?

時間 2021-06-07 13:13:33

1樓:Djvu

忍不住說一下個人看法:沒有區別。

DAG畢竟只是一種數學上的表達模式。(至於為什麼是DAG,而不是tree或者graph之前我的回答裡面有乙個看法)

lz看到這兩者的區別,只不過是看到的抽象層次不一樣。TensorFlow裡面的圖更加像 spark的dataFrame/sql這一層的,這個裡面都有很多fuse。至於為什麼這兩個層比較類似,是因為大家都是傾向於描述一件事,而不太關注實現細節(深度學習演算法實現很多都靠layer和module)

到了RDD這一層,因為這一層最開始是面向Hadoop程式設計師圈子的,所以更加focus在細節上,反正你什麼都可以在map/reduce函式裡面處理。

那RDD這一層能實現fuse嗎?也是可以的。使用者繼承乙個RDD,在控制平面改寫getDependencies,在資料面改寫compute就行。具體場景下能得到成百上千的提公升。

拓展一下,那深度學習和大資料能否都融合,比如spark是否可以幹深度學習,或者tf能否幹大資料?其實都可以,反正大家都有一部分支援,主要還是在於對狀態管理,優化compute/io的目標上不同。在DAG這種表示實屬一樣。

安卓是怎麼實現data分割槽與內部儲存並存的?

兄弟,感覺你這是許可權問題啊,和系統分割槽啥的,完全沒有關係啊!如果想搞機的話就root,還有真沒看清楚你的操作,能告訴我,你操作了啥嗎? 紳士喵 你有一點搞錯了,data 分割槽的乙個資料夾就不能有自己的檔案系統了?data 難道不是根目錄的乙個資料夾?不過 sdcard 的確有一些特殊,mnt ...

女生玩data2被罵,語言極其惡毒,並且對方揚言要舉報我,我該怎麼辦?

zotk 給你說幾種方法 1.閉麥。Tab在他名字後邊有小圖示 2.開語音說話,說明自己是新手,一般知道是妹子就不會罵了 當然這不是我的偏見,而是實際 如果對面還罵,那麼 懟回去 拉動隊友幫助 返回第一大條 3.找人帶你一起打,減少乙個人想入孤獨的處境競技類遊戲都是這樣,打的好就有刷權,雖然罵人是不...

好的好的好的好的好的好的好的?

首席鏟屎官 早熟的果子大都青澀。個人經歷分享 經歷過高中戀愛,也經歷過大學戀愛,最終在研究生期間尋找到了最合適的人和最穩定的相處模式。男生這種行為不論是出於羞澀,還是有其他陰謀詭計,都說明,他還不是乙個成熟的個體,不是乙個好的選項。 追憶似水流年 先來潑點冷水吧,說點你不想聽的事實 1 乙個男生經常...