spark和deeplearning的關係,想做大資料處理分析,是該專注於學spark還是深度學習呢?

時間 2021-05-06 03:37:29

1樓:

這得看題主將來是想找更偏重演算法還是更偏重系統開發的工作?當然兩者都擅長是最好了,但是Spark好像不太適合deep learning,題主可以嘗試一下別的框架,例如tensorflow,caffe。ps,我覺得你應該聽你導師的,逃!!!

2樓:

沒啥關係。Spark只是乙個框架而已,在上面跑什麼都可以。

把Spark和DL結合起來的專案不少,基本都是基於Parameter Server架構,worker算了gradient然後傳到driver去aggregate。不過感覺沒啥人用,只是玩兒玩兒。

Deeplearning4j on Spark

3樓:強哥

spark是個分布式計算系統,用以解決大規模資料計算問題,熟練掌握它以後可以做架構師,而深度學習是個演算法框架,可以做到資料的特徵的自動提取,常用於影象處理、語音識別、文字識別等領域,熟練掌握可以做演算法工程師

4樓:

一條一條說吧。

0)學習spark 按我的理解不需要hadoop 基礎吧,只需要理解Map-Reduce 程式設計模型就行啦(順便了解一下函式式程式設計思想吧)。

1)Spark只是乙個分布式機器學習工具,而處理你當前的問題Spark不一定是最好的工具,我覺得還是根據自己要處理的問題選擇合適的工具吧,碰到釘子找錘子,而不是拿著錘子去試能不能訂某個釘子。

2)Spark 不等於大資料分析,大資料分析還包含很多其他的東西。根據題主的描述,題主的實驗室可能更偏向機器學習一點吧(當然也可能偏系統方向,這個我不確定),所以我覺得題主還是專注到機器學習上吧,當你遇到大規模資料的時候,自然需要了解和使用一些常見的計算框架,到時候再學也來的急,這些工具很多,不侷限於Spark. 最後,如果本身比較感興趣,先學學Spark 還是可以的。

技多不壓身啊。

5樓:龔禹pangolulu

Yahoo剛開源了CaffeOnSpark,可以了解一下http://

還有就是題主為什麼一定要在Spark上搞深度學習呢?

MapReduce和Spark主要解決哪些方面的問題?

框架不一樣 Tasks 並行化 MapReduce Map 把上傳到hdfs的檔案一行一行拆分,然後你coding一對key value pair,傳送給不同worker nodes,Reduce 進行統一key的歸納操作 Data 並行化 Spark mapreduce和spark都是分布式計算框...

Hadoop和Spark有什麼區別

姬不鬧 對比不恰當。應該去關注hove和spark的區別。不完整的比喻,hadoop是鐵軌,上面跑綠皮車hive和跑高鐵spark有區別。而不應該問鐵軌和高鐵有什麼區別。 windofjava 誕生的先後順序,hadoop屬於第一代開源大資料處理平台,而spark屬於第二代 屬於下一代的spark肯...

hadoop和大資料的關係?和spark的關係?

我要來裝b了 hadoop生態提供了一些解決大資料問題的元件 分布式儲存系統HDFS 提供高可靠性,高擴充套件性,高吞吐率的資料儲存服務 分布式計算框架MapReduce 高容錯,高擴充套件 資源管理系統YARN 資源管理,任務排程 還有其他亂七八糟的什麼zookeeper hbase ambari...