Hive On Spark Tez專案目前進展如何?

時間 2021-05-31 00:21:14

1樓:Mr.Lee

最近在玩Hive on Tez use LLAP。先說集群環境,虛擬環境5臺,配置為,vCPU 4,Mem 8G,儲存50G。其中計算節點只有3太。

好吧,測試結果沒有作圖,我大概描述一下,在2億條資料的情況下(因為欄位都是int型別,所以規模大概也就不到4個G):

Hive on MR:不想吐槽,根本就沒測試

Hive on Tez:count(1) -->23-25s

count(1) + short -->37s左右

Hive on Tez use LLAP:count(1) -->7s左右

count(1) + short 7-8s

Spark on Hive:count(1) -->15-17s

count(1) + short 33s左右

這樣看來,Spark on Hive的效能沒有什麼明顯優勢。(可能是因為資料量不大??)

這裡安利一下,如果公司環境允許,可以使用Hive on Tez use LLAP來加速OLAP,根據HDP官網論壇的一篇技術文章可以看到,其加速能力非常強悍,他的建議是將集群的一半規模使用LLAP來加速OLAP。具體鏈結如下:

2樓:Xiaoyu Ma

hive on tez是很早就開始的了。所謂的新hive或者stinger專案就是hive on tez。現在官方hive是同時支援tez和mapreduce的,只是tez用的人太少,而且hive本身就已經支援tez很久所以大概很少單獨聽到說hive on tez。

至於hive on spark,intel和cloudera主導下正在進行,15年四月hadoop峰會的時候狀態是基本上所有已有功能都遷移完畢但是還在調優,需要幾個月才能正式發布的感覺。不過已經有可以跑著玩的版本了。

相信很少會有人專門為了hive去選擇用tez或者spark,一般都是選了tez或者spark再考慮別的。如果用了tez,hive 是最合理選擇,這是官配。選了spark暫時你只有sparksql可選擇。

但如果僅僅是sql互動分析,你也可以考慮presto impala和drill而無視tez或spark。

項伯為什麼那麼幫劉邦 並且項羽還聽項伯的?項伯對項羽有什麼特殊意義嗎?

大內捲簾累將軍 項家還是家督制,應該是有莊園產業有家兵參加的楚國政權。項家不是貴族,他們聲望最高峰是在秦始皇統一戰爭中由項燕戰勝秦軍產生的。而作為項燕的繼承者,本身除了項家家督,也會獲得楚國聲望的政治資本,所以,爭奪繼承位,比另立門戶有用。不過家庭規範的事大多數是一種集體約束而已。由於項家繼承權的問...

參加普華永道 You Plus Anchor 專案是一種什麼體驗?

我驚了,專案這麼貴的?現在某司這麼缺錢的嗎,還有抖音投放這個專案的廣告,令人窒息。還有之前那個sprinter專案的糾紛解決了嗎,地鐵老人皺眉。 這個專案最初是和中博合作的 高頓老師覺得人傻錢多的人可以去畢竟3w都可以報個CPA了後來高頓也合作了 於是Anchor集天地日月之精華 Leo 自己看看篇...

如何評價項梁?

Ecrug 史記裡關於項梁的記載是比較少的 我們都知道項羽打仗很厲害,教他打仗的正好是項梁,在吳中地區時也有關於對他兵法能力的描寫,項梁進攻秦嘉勝,和盟友進攻東阿勝,並且攻克了項劉二人沒攻克的定陶 雖然他曾派部下進攻章邯失敗,但畢竟不是自己親戰,在定陶時會敗給章邯,很大原因是因為輕敵和章邯增兵的,這...