presto druid sparkSQL kylin的對比分析,如效能 架構等,有什麼異同?

時間 2021-05-06 19:01:58

1樓:Madeline Watson

說我用過的:

我覺得hive,spark sql和presto可以算一類,druid算另一類。

前面三個系統基本就是乙個execution engine讓你用類似sql的語言或者jdbc去查詢存在hdfs上面的資料。你可以選擇資料在hdfs上面的儲存格式(最簡單的csv,json,或者更高階的parquet之類的columnar format)。區別:

hive基本沒有in memory caching,predicate push down的優化也一般。presto和spark sql新一些,caching和query optimistization比hive好,benchmark快很多。

spark sql是spark這個平台的一部分,所以除了query以外,可以直接在spark這個平台上輕鬆寫負責的data pipeline,減輕integration的麻煩。

presto本身只是sql execution engine,做data pipeline的時候還是要用spark之類的。不過如果很多人同時查詢的話,presto更快一些。

BI工具(tableau之類的)可以直接鏈結spark sql和presto。

Druid號稱能在幾秒的時間裡處理billion 行。這個實踐基本是能做到的。不過druid的問題是要它不能理解sql or jdbc,而是要用它自己一套語言寫query。

所以用起來非常麻煩,周邊BI的支援非常差,我知道只有airbnb的superset支援druid。當然druid最新版0.10加了experimental的sql。

是不是成熟還有待觀察。

我覺得想省事就用spark,整套analytics

pipeline都有了。

2樓:風影才藏

架構方面的東西上面幾位都說得很清楚了。選型其實還是看資料量和業務場景。不過以我的經歷來看應對大多數號稱要搞大資料的公司的資料量和業務場景,MySQL足矣...

輸出點乾貨,對於MySQL,正常的表和索引設計加上資料庫優化,OLTP使用InnoDB,支援千萬級別的表毫無問題;OLAP使用TokuDB,數億級別的表也可以支援。

3樓:孟攀飛

就衝「實際應用中如何選型?」,就應該選sparksql,spark接近主流了,sql是資料分析必備技能。選sparksql穩定性可用性都強,而且可以更低成本的招到人。

玩花樣容易掉坑。這種大方向的選擇,錯一步毀乙個團隊,耽誤乙個公司。

4樓:桑文鋒

InfoBright

Greenplum(已開源)、HP Vertica、TeraData、Palo、ExaData、RedShift、BigQuery(Dremel)

開源實現

Impala、Presto、Spark SQL、Drill、HawqDruid、Pinot

Kylin

其中你列的presto、druid、sparkSQL、kylin可以分為三類。其中presto和spark sql都是解決分布式查詢問題,提供SQL查詢能力,但資料載入不一定能保證實時。Druid是保證資料實時寫入,但查詢上不支援SQL,或者說目前只支援部分SQL,我個人覺得適合用於工業大資料,比如一堆感測器實時寫資料的場景。

Kylin是MOLAP,就是將資料先進行預聚合,然後把多維查詢變成了key-value查詢。

這裡要看你實際要應用於什麼場景了。

怎樣進行資料的對比分析?

劉奮鬥 對比分析是資料分析中最常用 好用 實用的分析方法,它是將兩個或兩個以上的資料進行比較,分析其中的差異,從而揭示這些事物代表的發展變化情況以及變化規律。為什麼大家這麼喜歡對比分析呢?主要是因為他的3個特點簡單 直觀 量化 簡單是因為與其他分析比較對比分析操作步驟少,不需要太複雜的計算 直觀是指...

駱駝祥子和俄狄浦斯王能對比分析嗎?

劉培省 記不清了,俄狄浦斯情結,和同情被時代剝削夢想多次破碎的祥子,其實你可以多研究研究,我都忘了,只記住關鍵的乙個點了。人生而言,俄狄浦斯是典型的個人主義情感的宣洩,是西方英雄人物 荷馬史詩 的成長,俄狄浦斯情結戀母弒父,這和西方的人性理論研究如出一轍,甚至是延續,例如西方的眾神之神宙斯就是打敗了...

對比分析一下priest的默讀,長洱的犯罪心理,淮上的破雲?

Dear 獨一無二 不請自來。我是這樣想的。破雲晚上熬到一兩點,最後強迫關機睡覺。默讀晚上剛看一會就睡著了。犯罪心理是晚上看白天看,網上看不滿足,又買了實體書看。我先接觸的破雲,可能是頭一次接觸耽美的刑偵文,感覺比較新鮮,對它很好奇。雖然案件細節沒有多驚豔我,但是人物塑造真的棒。默讀看完就啥也沒記住...