BAT網際網路的大資料OLAP如何解決查詢延時?

時間 2021-06-03 13:44:00

1樓:Kyligence

從技術角度上講,解決大資料 OLAP 的查詢延時基本有這個幾個主要方向:平行計算(提高併發)、提公升硬體效能如記憶體、磁碟,網路(提公升I/O速度)、記憶體計算、列式儲存、資料壓縮、預計算、SQL解析引擎優化等。

具體到BAT是怎麼做的,我們簡單說一下:

關於阿里,推薦大家了解一下阿里的分析型資料庫AnalyticDB,具體可以參考這篇專欄文章:https://

zhuanlan /p/50590290

zhuanlan /p/77304951

當然以上只是各家自己的 OLAP 核心技術和產品,但不一定是全部。在某些特定場景下,這些廠家也會使用其他技術和手段做有效補充,比如各種大資料 OLAP 開源軟體,類似於Apache Kylin,比如通過預計算建立彙總資料層等。

2樓:馬馳

不談具體這三家怎麼做。

看你這個資料量大是哪個數量級。如果在TB級別的話,可以用分布式記憶體資料庫把資料都儲存在記憶體中,那個延遲就非常小了,可以達到500微妙這個級別。

典型的產品有vmware的gemfire,SAP的hana,Oracle的timesten,開源的hazelcast。

當然,這個方案成本比較高,在oltp中用得更多。典型的案例有http://

12306.cn

使用gemfire來處理春運購票。

大資料工業方向和網際網路方向的差異?

1 有些人就喜歡玩概念。什麼工業大資料,假的。2 事實上,DELL的那一套搞法,就是工業大資料。你找找DELL最初的動機和商業邏輯,就明白工業大資料。 資料如琥珀 工業大資料也是需要細分的。按照ERP的概念,最少也要分為離散行業和流程行業。離散行業的資料我個人覺得和一般的商業資料差不多,區別較大的在...

網際網路,大資料,人工智慧,如何改變生活?

不是山谷 大資料在無時不刻改變著我們的生活,利用大資料技術分析出我們所需要的東西,在監控和手術領域有很大的作用。現在5g時代,很多醫院都在利用網路來遠端做手術,所以說網際網路和大資料在無時不刻改變著我們現有的生活。 已登出 在2020年,無疑是5G時代,隨之而來的就是人工智慧,這些無疑都與網際網路,...

非網際網路人士如何轉行網際網路?

產品一哥 你要掌握知識點有 網際網路思維,運營方法,運營是什麼,它是幹什麼的,它的工作目標是什麼。這些都是要掌握的,否則就算你轉行成功了也將無從下手。產品一哥 萬字乾貨!0基礎如何拿到產品經理offer 0基礎如何拿到產品經理offer 資料分享 資料提取碼 z8nr 0基礎如何拿到產品經理offe...