說說hadoop在你們的專案中扮演什麼角色 起到什麼作用?

時間 2021-06-04 15:55:38

1樓:燕飛

這個階段說hadoop ,已經不是之前說的三架馬車,更多是乙個以hadoop 為基礎的技術生態,什麼spark kafka es都是這個生態的一員。基本上hadoop 體系目前的定位就是大資料的基礎平台,它所代表的就是跟傳統資料庫不同的技術路線,而做的事情是60%是offload傳統資料庫的應用,比如資料儲存,資料加工,資料分析,其他的40%是傳統資料庫做不到的,比如實時分析,使用者畫像,人工智慧等

2樓:

Hadoop 的兩大功能模組是 HDFS 和 YARN,另外還自帶有乙個可以跑在 YARN 上的計算模型 MR。就我目前所在專案來看:

HDFS:必須有用到,專案上產生的的原始資料會落地到 HDFS,而且其他元件(如 Hive、Hbase 等)也依賴 HDFS。

YARN:必須有用到,MR Job 和 Spark Job 都提交到 YARN 上執行,任務計算就依賴它來完成。

MR:沒有直接用到,因為當前專案沒有直接以程式設計方式來實現乙個 MR 任務(專案主要用 Spark),但 Hive 查詢有會產生 MR 任務( HQL 會翻譯成 MR 任務來執行),在做 Hive 查詢的時候後台任務也可以看到有 MR 任務在執行,所以是間接使用了 MR。

簡單說就是提供了高可用資料儲存和任務計算平台嘛…

在你們心目中最美的那句詩是什麼?

做外貿的二凡媽 一蓑煙雨任平生 想起那個意像就嘴角上揚眉眼彎彎又自有恣意瀟灑.可憐詞窮語塞的我只能拍腿叫好,沒法表述得更清楚深刻 信楓子 不知道最不最美,因為我沒有最喜歡的,喜歡的詩太多了.詩人也有好多喜歡的 就節選一點點吧 你不願意種花,你說,我不願看見它一點點凋落。是的,為了避免結束,你避免了一...

你們在專案中使用PMML表達和部署模型嗎?

Monk 如果你的model training 和 prediction 都是同一種語言 或者工具 其實你沒必要使用PMML。因為無論是R,Python或者SparkML都有自己標準的輸出格式可以直接Load。個人覺得PMML的使用場景主要是prediction的環境和training環境不在一起。...

能說說你們心目中的數學大咖 數學家or教授都行 ,並且能介紹幾個有關他 她 們與數學的故事嗎?

小裴老師 1.羅素 乙個獲得諾貝爾文學獎的數學家 大家中學有學過 羅素自傳 中節選的文章吧,很多人都以為羅素是搞文學創作的,其實在獲得諾獎之前,他因數學家 哲學家 邏輯學家的身份被熟知,是風靡20世紀的分析哲學的主要創始人,而且是對數學邏輯的發展作出過重要貢獻的邏輯學家。羅素獲得諾貝爾文學獎,並不是...