ElasticSearch可否用於構建資料倉儲?

時間 2021-06-01 23:32:01

1樓:lenglang

在TB以上的資料量下,效能堪憂,必須加大記憶體的檔案系統快取來「調優",簡直蛋疼。但可以跟HBase配合,來儲存一些畫像。但如今在儲存與分離架構漸成趨勢,通過hive+alluxio+presto,已經可以滿足分析類查詢的效能要求,而且資料流程更短。

因此,ES在整個數倉體系中,所起到的作用,已經越來越小。搜尋領域才是人家的領地....

2樓:向上的蝸牛

能否用於資料倉儲主要考慮sql 支援程度(至少能支援多表join 和基本統計函式)和效能。

目前版本看sql支援程度不夠。除非考慮自己封裝一層sql parser ,類似drill + hbase的實現。

3樓:

數倉重在建模。從這個角度出發,承載建模結果的儲存引擎是啥都可以。

儲存選擇的最佳實踐是符合模型特性。每一層都可以有對應的選擇,你可以ODS選hive、DM選es。

4樓:燕飛

先給結論,不可以

資料倉儲支援的是BI、分析類應用,通常強調架構分層、資料模型、SQL支援、結構化資料的精確統計

ES是搜尋引擎技術,底層框架決定了它通常用來支援文字搜尋、畫像分析等對結果精準性沒有嚴格要求的業務應用。

可否完全使用ElasticSearch代替資料庫儲存?

最近把主要的訪問資料遷移到ELK裡了,目前來看,如絲般流暢。唯一擔心的是萬一哪天崩了,又要重新匯入一下。儘管部署了ELK,增加了開支,但是資料庫和快取例項都downgrade,總的開支差不多。1.嚴重的效能問題,根本不能用 這個不用擔心,實時資料都沒有問題。2.資料會丟失 這個就看你怎麼同步了。3....

elasticsearch也具有儲存功能,為什麼感覺平時看到的方案,更多是和其他資料庫一起用?

netkiller elasticsearch 重熱資料,輕冷資料。資料庫 重冷資料,輕熱資料 資料庫,需要考慮資料一致性,安全等等,資料先寫入硬碟,然後再幹其它事。資料安全第一。elasticsearch,提交過去就開始分詞,索引。然後寫入磁碟。資料庫使用 TCP 鏈結,長鏈結,速度快。elast...

elasticsearch 在查詢的時候如何返回指定的字段值?

ScriptShi 在spring data elasticsearch,即springboot自帶支援的es元件中 可以這樣使用,同時可以進行高亮設定等,其他功能可以自行嘗試更多的with語句。Autowired private ElasticsearchTemplateelasticsearch...