什麼是實時數倉?有哪些應用場景?

時間 2021-07-13 07:32:47

1樓:laiyonghao

這題吧,一看就是不願意搜尋的懶蟲或者是想開個題做廣告的傢伙問的。本來不想答的,但覺得答了這題相當於給自己做個小結,留著以後自己看也行,就答一下吧。

先來看第一問

實時數倉,首先是個數倉。資料倉儲搞啥的?一般是通過分析分維度的業務資料來幫助制定計畫和支援決策的。

可見它的層次是很高的,任何乙個商業主體也不可能幾秒鐘就制定一次計畫或決策吧,所以數倉的分析工作是週期性和長時間的,一周、一月、一季度、一年,執行一次,然後執行時間佔週期時長的1%以上沒有問題的,也就是周任務執行個1-5小時,月任務執行幾小時到一兩天,季度或年任務執行個幾天都行的。它的重點在於多維度,也就是全面性,資料來源要很多,甚至是異構的,有些資料甚至從冷資料儲存裝置中調取出來,不留遺漏是最重要的。智者千慮,也不能有一失;畢竟一招之失,滿盤皆輸。

後來,隨著軟硬體成本降低,數倉飛入尋常百姓家。再後來,由於網際網路、電商、O2O、私域運營等新興業態發展,資料產生的速度和數量都提公升了好幾個數量級,而且很多商業主體運營決策權下放給普通員工了。

前程無憂搜尋「電商投放」結果

可以看到很多大公司大品牌乙個月幾十萬的投放預算決策權已經下放給了月薪幾千元的初級員工,這個大概是上世紀90年代的資料倉儲提出者沒有想到的。

我就問你,你乙個月拿著七八千塊,卻要在乙個月花掉七八十萬,還得為結果負責,你慌不慌?換我的話,我是慌的。慌得一逼!

兩手直抖。絕對不敢每個月1號把錢出去,然後玩29天等發工資吧?所以我只好投一點,看一下資料,改一下策略,再投一點,摸著「資料」過河,這種小步快跑的玩法就產生了「實時」這個需求。

各種投放渠道飛速甚至光速產生海量資料,用Excel光是彙總都能搞死人,更別說整理、分析了,所以必須有個資料倉儲能夠彙總和儲存這些來自新型「人貨場」的資料,還能很快(實時)給出分析結果,這就是實時數倉。

對以上內容小結一下:隨著新業態發展,資料快速產生,決策權下放,產生了實時資料倉儲的需求。

這樣第二問就很好回答了,只要是市場快速變化,權小責大的地方,都是實時數倉的應用場景。

最後附贈從技術上來講一講,如何給資料倉儲插上「實時」的翅膀。其實太陽底下沒有新鮮事,資料倉儲當然不能平白無故就快起來,都是建立索引伺服器,拿空間換時間。有用ElasticSearch這種專注於索引的,也有用ClickHouse這種列儲存的,而Flink這種是計算框架,降低程式設計難度用的。

2樓:果汁不能分一半兒

大資料實際工作環境分享,金融場景實時數倉如何搭建?小白入行者不用過分擔憂!帶你實操金融實時數倉場景,解決複雜問題,多流高度延遲解決方案

什麼是圖計算及其應用場景?

普適極客 圖的儲存方式 圖之所以複雜在於每個頂點的邏輯位置都是相對的,頂點之間的關聯依賴也是不確定的,所以無法以資料元素在記憶體中的物理位置來表示元素之間的關係,即無法用簡單的順序儲存結構來表示。所以將圖的頂點和邊分別使用兩種結構來儲存表示會相對容易。圖的鄰接矩陣是一種常見的圖儲存結構,它將n個頂點...

大資料未來發展和崗位有哪些?應用場景有哪些?

尚矽谷劉老師 趨勢一 數字匯流 所有的裝置會訪問同乙個遠端資料庫,讓你的數字生活可以完全同步,隨時 無縫的切換使用情境。趨勢二 資料的資源化 何為資源化,是指大資料成為企業和社會關注的重要戰略資源,並已成為大家爭相搶奪的新焦點。因此,企業必須要提前制定出大資料營銷戰略計畫,搶占市場先機。趨勢三 與雲...

霰彈槍在戰爭中的應用場景有哪些?

phantom 其實霰彈槍有一點是其他槍種基本做不到的,就是只要塞得進槍膛,擊錘撞得到,什麼子彈都能打,而現代步槍為了追求高精度與高射速,高傷害等等,往往對子彈口徑等等要求極高。 Cyrus 捕俘.要活捉目標的時候,一發橡皮彈 簡單快速高效還打不死人 雖然打不死 不過感覺跟被大鐵鎚砸了一樣酸爽 直接...