Hadoop 是不是很慢?

時間 2021-05-11 18:38:20

1樓:Polaris Chen

hadoop處理大規模問題才能體現優勢。

你這樣做就好比你作個簡單程式用設計模式,然後覺得設計模式好羅嗦沒意義。其實,設計模式也是在專案達到規模才體現出優勢, 同樣的道理。

2樓:弓長十七

hadoop產生於特定的應用場景,官方說法是為解決「巨大資料離線批量計算」的需要,所以判斷慢不慢也要放在這個情境下來判別。「跑個最簡單的程式都要10-20秒」,用這種說法作為判斷依據是非常不適當的。想象一下,如果你只需要計算個四則運算問題,心算或者拿紙筆演算可能只需要幾秒鐘,但是如果你非要用天河2的話……然後你說「計算個最簡單的四則運算都要幾十分鐘」,這不是很讓人無語。

對於分布式資料處理系統的效能問題,有專門的測試方法,在 Sort Benchmark Home Page上公布了多側面多角度的評價結果,其中hadoop佔據不只一項的榜首,特別是TeraSort這一項,Hadoop在2023年以209秒的成績獲得TeraSort的第一名,保持至今,5年了……

3樓:G_will

hadoop不是為了解決效能問題,是為了解決伸縮、分布問題的。

只是在解決了伸縮、分布問題以後可以在總效能上提高,但是單位機子的效能能肯定是會被損耗的,這就是代價啊。

關於使用者 訪問Hadoop集群問題是不是先連線zookeeper(就像hbase一樣)?

黃浩松 不是的,hdfs site.xml裡面有配幾個nn的位址,連hdfs的時候會查詢當前環境下的hdfs site.xml,這個可以通過環境變數或者引數指定。然後hdfs client就會直接發rpc請求到active namenode了。目前只有yarn的ha是依賴了zk,當active re...

李正元全書寫的很慢,是不是該換了

開心大頭脆 李正元全書題目質量真的非常不錯,但難度也非常大,基礎階段不建議做,等到了暑假有大量時間可以做,目前以基礎為主,建議做李永樂660題,湯家鳳1800題基礎部分或者李林880題,等題做到一定量再回來做李正元全書會容易很多。 撒哈拉沙漠的洪水 等你把李范全書做好了 例題不看答案能完全做對 88...

學美髮一年了,燙染不會是不是學的很慢?

河妖 你要加油啦,忙的時候洗頭,閒的時候卷槓。加油吶我上班的時候沒有之前的前輩努力,他們下班了也會加班卷槓十一點,一點兩點都有的。氛圍很重要,鬆懈很容易堅持有點難 不願透露姓名的人 按正常進度來說,一年左右燙染必須精通,能夠看一遍新的燙染技術就能想通裡面的原理,然後進行複製。兩年是乙個分割線,第一年...