在Hive中適不適合像傳統資料倉儲一樣利用維度建模?

時間 2021-06-03 10:14:28

1樓:朱成建

首先我覺得hive的定位是大量資料的非實時性處理,hive是使用分布式的架構去處理各種資料,換句話說就是ETL工具,而且無法達到實時處理資料的要求。而維度建模,是針對關係系資料資料分析查詢為目標設定一套資料組織方法。假如我們最終的分析資料要儲存在關係型資料庫中,我們就可以考慮維度建模。

但是hive作為etl工具,可以把我們要儲存在關係型資料庫中的資料先加工出來,但是直接基於hive的去查詢這些資料顯然無法滿足資料應用需要快速響應的要求。

2樓:加肥貓

針對你這個問題本身,沒問題。

新版本的hive已經支援ACID,可以應對緩慢變化維的情況,效能問題也可以切換spark計算引擎。對報表輸出用impala。

3樓:

Kylin就可以的,如上面的大牛所說,直接用Hive去做維度建模,顯然不合適。而Kylin的設計者曾經說過,他們做Kylin之初是使用的Kimball的維度建模架構。

在使用了一段時間的Kylin之後感覺Kylin還是挺強大的,目前的1.5.3的缺點是只能支援星型模型。

另外,OLAP和維度建模這種技術活還是跟業務扯不開關係,沒有具體的業務,何談OLAP和維度建模需求?然而很多團隊在業務分析上走了很多冤枉路,浪費了很多時間。

4樓:蘇玉坤

1.維度建模難點在於需要對業務過程的分解,但超大規模的企業中業務流程非常複雜,不是不好用,是很少有業務專家能準確合理地拆解業務過程為合理的維度模型,不是大型企業級不適用,而是缺乏具備足夠業務能力的建模專家而已,但中小型專案還是非常順手的。這大概也是IIW和LS-FDM均為正規化建模的原因吧。

2.Hive不「太」適用維度建模,主要是資料分布計算的特性,就如同Teradata等MPP計算形態的產品,Pi主索引的分布計算選擇對效能有較大限制,維度建模後效能可能是個問題,除非維度建模功力較深,且join index等效能策略設定合理,能有效解決多維度關聯時資料重分布效能問題,否則hive跑起來恐怕M/R次數極多。

5樓:桑文鋒

這取決於你的查詢模式。如果只是每天或每小時統計一下例行報表,那是完全沒有問題的。如果是靈活的查詢並且對響應時間可以接受10分鐘以上,那也是沒有問題的。

但如果你要想滿足秒級的互動式查詢,那就不行了。

提交乙個hive查詢,轉化成乙個mapreduce任務輸出結果,即使最簡單的任務,可能也會花費一兩分鐘。

對於維度建模,在網際網路時代同樣很有價值。只是因為業務變化快,不可能像傳統領域維度和查詢模式很固定,在設計上一定要考慮滿足業務的靈活擴充套件。這方面的內容可以看看我的知乎專欄。

6樓:sr ma

首先,資料倉儲基於hive的應用是個技術問題。二者並沒有必然的聯絡,縱然看似hive是底層基於mapreduce計算引擎的資料倉儲,但實際上只是把sql轉換成乙個或者多個mapreduce的查詢介面,可以用來做相對高延時的ad hoc查詢,也同樣可以用來做etl的批處理工作。如果只是應用的角度來看的話跟傳統的關係型資料庫就有一定的相似性,只是資料倉儲的工具。

其次,資料倉儲維度建模是個理論問題。為什麼說它是個理論問題呢?它的產生是源自資料倉儲大師kimball的《維度建模工具箱》提出的概念,提供了資料倉儲建模的另一套理論,基於事實表和維度表的資料倉儲建模。

在某些零散的業務場景及某些業務的各個環節的建模是高效的,能夠有很好的擴充套件性,並且從一定程度上能夠遮蔽需求的變化所帶來的變化。當然有利也有弊,相對基於主題域的實體關係建模,雖然有資料倉儲匯流排可以把各個事實表統一起來,但是對於整個業務的按主題進行高度的抽象和歸納,按各個主題的域確定資料的邏輯儲存,這樣的一套清晰的理論,維度建模還是顯得不夠穩定和缺乏企業級的規劃,而且有很大冗餘。

結論,既然這兩項並不衝突為何不能融合到一起用呢,對於底層技術工具的選型是平台架構師考慮的,而選取合適的建模方式是資料倉儲架構師考慮的。

適不適合日本留學?

J研留學 既然決定要看高考成績再決定去不去日本的話就要全力奮戰高考,不要覺得自己有退路去日本就鬆懈。eju的科目難度比不比高中高,但是因為是日語的緣故,所以正題的難度和高中知識大致持平。如果要重新學習的話文科會好一點,難度較比理科難度低一些。如果成績不理想,那可以申請次年的1月或者4月生,1月生比較...

人類適不適合永生?

月黑風高夜 人類的生理結構沒辦法獲得永生,器官使用壽命就幾十年。思維方面,如果人類獲得肉體永生,發展和安逸並不衝突,抬頭看看星空,問題在於地球資源耗盡之前能不能進行太空殖民。 niminggou 有市場需求就會有人完善,適不適合不知道,但一定會有。已經有不少生物公司開始研究延長人類壽命了,googl...

女生適不適合學設計?

大太陽will 每個領域都有男有女。如果是18 26歲女生,去學設計還是不錯的,沒有什麼人生壓力也沒有啥婚姻壓力啥的。一般的企業招人也是這個階段,以為年齡越大經驗越多,工資要的就越多。但是乙個崗位的薪酬有它的天花板,初級的設計師設計助理啥的也就3 5k左右,中級的設計師7 12k,大神就可以自己要價...