對比hive on spark,sparksql的優勢有哪些?

時間 2021-07-10 11:32:20

1樓:加公尺谷大資料

首先,Hive on Spark對比Spark SQL,那麼肯定是Spark SQL更有優勢的,畢竟還是要「原生的」更配套,不用轉換來轉換去,就直接RDD元資料,內部執行順暢無阻。

本質上來說,Hive on Spark是把hive查詢從mapreduce 的mr (Hadoop計算引擎)操作替換為spark rdd(spark 執行引擎) 操作,這個要實現起來麻煩很多, 必須重新編譯你的spark和匯入jar包,不過目前大部分使用的確實是spark on hive。

而spark on hive的話,Spark通過Spark-SQL使用hive 語句,操作hive,底層執行的還是 spark rdd。

通過sparksql,載入hive的配置檔案,獲取到hive的元資料資訊;spark sql獲取到hive的元資料資訊之後就可以拿到hive的所有表的資料;接下來通過spark sql來操作hive表中的資料。

Hive將SQL轉成MapReduce執行速度慢,這也是公認的。

iPhone XR對比Huawei Mate20 Pro除iOS A12和Haptic外還有什麼優點?

鷹目婲盜 答題的話,業界頂級的lcd螢幕 這條對於不適應oled的人來說妥妥的優點 揚聲器以及聽筒,由於邊框停航母所以耐摔效能好點。雖然我不怎麼待見蘋果,但這些得承認。另外你的標題有點問題,ios算不算優點有待商榷 無厘頭死宅 我把標題換一下看看 mate20 Pro對比iPhone XR除了畫素外...

如何對比vivo nex,oppo find x和iphone x?

嘻嘻哈哈滴 IOS與Andriod系統上沒有可比性!iphone x的大小更加適合單手操控,劉海屏並沒有使用的不便。NEX FIND X沒有上手,但是廣告除了攝像頭公升降之外,還有所謂的屏下指紋外,也沒有更多的介紹,之前上手一加6T,同樣使用A屏,但是還是能看到顆粒感,和三星的s9 不在同一檔次,而...

如何對比評價 Nike Air VaporMax 和 Adidas Boost 這兩款鞋?

個人更喜歡vaporMax,腳感比較特別,外形上也比ultra boost更吸引人,但是這雙鞋穿多了氣墊會漏氣,也沒見到有維修的方法。當然我買的是一代,現在二代三代氣墊這個問題不知道改善沒有,而且這雙鞋的鞋型很窄,不適合腳寬的人 ultra boost用的是adidas這幾年最強的科技,很適合跑步,...