有了MapReduce等框架學習並行程式設計還有必要嗎?

時間 2021-05-29 23:18:14

1樓:Davidsun

MapReduce 和並行程式設計解決的是不同層面的問題,有沒有必要看需求。

MapReduce 解決的問題是當資料量巨大時,如何把乙個業務流程拆分成標準化的步驟,每一步都包含了 map/shuffle/reduce 三個環節。這樣做能夠讓整個業務流程由很多 worker 執行(注意,這些 worker 可以跑在一台物理計算機上,也可以跑在多台物理計算機上)。

並行程式設計解決的問題是如何有效地運用多執行緒模型,比如,在 MapReduce 當中,一台物理計算機可以啟動多個 worker。應該說,並行程式設計是 MapReduce 的基礎,否則 worker 和 master 之間都無法 communicate。

當有了 MapReduce 後,很多平行計算的問題都可以用框架搞定,所以不了解並行程式設計的人也可以寫 MapReduce。當然,again,有沒有必要學並行程式設計看需求。

2樓:春祈Simpray

剛看到這個問題。。。舉個簡單的例子吧:

現在超算的算力中,大部分都是由顯示卡等加速卡提供的,而非CPU。所以單純的MapReduce還無法發揮超算的能力,需要配合OpenCL與CUDA等。

3樓:胡辛遙

我個人理解MapReduce現在主要是用於離線的大資料計算。一般來說程式不是特別好寫和除錯,所以現在有一些開源軟體來封裝其細節,比如Hive和Pig等等。我們還需要處理實時的分布式計算。

4樓:Eleforest

map/reduce只是一種分布式變成框架,是問題的解決方式。而你問題中提到的並行程式設計,更多是一種計算方式或者說計算理論。MR和並行程式設計是兩個範疇的問題,因此沒法對比,我的看法是,有了MR與學習並行程式設計實際上沒有關係

5樓:李傑輝

當然有,MapReduce的思想很簡單卻很強大,但是MapReduce不是萬能的。而且MapReduce是屬於分布式計算,並不等同於平行計算

有框架眼鏡 所謂等像鏡片 可以解決兩眼度數相差很大的問題麼?

等像鏡片是真的,我不是這個專業的,就隨便在京東閱讀上找了一本屈光矯正和驗光的書都有寫等像鏡片,不曉得為什麼這麼多所謂的驗光師不知道這種技術。我在濟南這邊,幾乎所有的眼鏡店都不知道這個技術,只有眼科醫生的視光師和視光科的醫生了解這種技術並對其效果有清晰的認識。另外也不要過分信任這種鏡片,某些商家一直宣...

為出國留學準備了一年(包括學語言,入學面試等),一直沒告訴女朋友,馬上要出國了,該怎麼和她說?

靜琴姐姐 你們發展到什麼程度了?如你不愛人家為什麼要和人家在一起呢?沒有責任心的男孩子留學順利畢業又能如何呢?自私的人是不配有幸福生活的,你這種人即使以後能有一定的社會地位也是危害大於奉獻。 意藝 太離譜了,你準備了一年,這一年裡明明有很多個瞬間是你可以跟她坦白的,但你都沒有。你瞞了她一年,現在卻來...

培訓機構學日語等小語種跟專業科班學習,有什麼區別?

西瓜路過 語言說到底是一門工具,如果大學學的是語言專業,把語言當門歷史去鑽研這種精神無可厚非很了不起。但是很多人選擇學語言其實目標是留學或者工作移民,這種時候學語言就不是終點而是起點,我覺得還是要根據實際情況來判定,不能一味的說培訓機構好還是大學學的好。 魴魚赬尾 英專出身,二外法語。最初學法語的時...