1樓：巨神兵
hdfs中元資料持久化依靠namenode和secondnamenode共同完成。
首先談一下namenode。在集群第一次啟動的時候，namenode會生成兩個空檔案，fsimage和edits_inprogress。上傳的資料存放在fsimage中。
如果客戶端有增刪改操作請求的話，namenode會先將操作記錄到edits_inprogress檔案中，然後去運算元據。當集群不是第一次啟動時，namenode會將磁碟上的fsimage和edits_inprogress檔案載入到記憶體中進行合併。當edits_inprogress檔案寫滿的時候，會生成新的空檔案，edits_inprogress檔案會重新命名為edits檔案，新檔案命名為edits_inprogress，操作記錄會寫到新檔案中。
再來談一下secondnamenode。2nn預設每隔乙個小時或者在edits_inprogress檔案寫滿的時候會向namenode發起checkpoint請求，namenode同意的話，會將寫滿的edits_inprogress和fsimage檔案拷貝給2nn。2nn將這兩個檔案載入到記憶體中進行合併，生成fsimage.
chkpoint檔案，傳送給namenode，namenode會將檔案重新命名為fsimage，覆蓋舊的fsimage檔案。
因為資料和修改資料的操作分別儲存在fsimage和edits檔案中，所以可以持久化儲存元資料。
2樓：人醜就要多讀書
1. HDFS中的元資料是什麼
元資料儲存在NameNode中，主要包括fsimage和edit log。
fsimage是乙個檔案，儲存了HDFS完整的檔案目錄，以及data block的位置，同時這個檔案在記憶體中有乙個資料結構來提供快速訪問，一般稱作BlockMap。
editlog記錄了自NameNode啟動以來，fsimage發生的所有變化，是乙個日誌。比如HDFS增加了乙個檔案，那麼EditLog就會增加一條記錄。
2. 大致工作流程
NameNode啟動的時候，會從磁碟上讀取FSImage和EditLog，合併計算之後寫回磁碟，形成新的FSImage，並且開啟新的EditLog。
3樓：牧風
HDFS中元資料持久化是靠NN和2NN工作來實現的
1）第一階段：NameNode啟動
（1）第一次啟動NameNode格式化後，建立Fsimage和Edits檔案。如果不是第一次啟動，直接載入編輯日誌和映象檔案到記憶體。
（2）客戶端對元資料進行增刪改的請求。
（3）NameNode記錄操作日誌，更新滾動日誌。
（4）NameNode在記憶體中對元資料進行增刪改。
2）第二階段：Secondary NameNode工作
（1）Secondary NameNode詢問NameNode是否需要CheckPoint。直接帶回NameNode是否檢查結果。
（2）Secondary NameNode請求執行CheckPoint。
（3）NameNode滾動正在寫的Edits日誌。
（4）將滾動前的編輯日誌和映象檔案拷貝到Secondary NameNode。
（5）Secondary NameNode載入編輯日誌和映象檔案到記憶體，並合併。
（6）生成新的映象檔案fsimage.chkpoint。
（7）拷貝fsimage.chkpoint到NameNode。
（8）NameNode將fsimage.chkpoint重新命名成fsimage。
自發組織資料視覺化專案，如何避免對資料的錯誤解讀引起誤導或恐慌？
小螞蟻 看到科技人員自發專案的舉動，真的很感動，也很認可以上張浩馳和遊凱超兩位的回覆，我覺得挺全面的了，以下寫一些個人的思考。專案的目的可以分幾類 為了當前更好的預防。這個應該影響較大的是該城市區域的物資投入及儲備了。其他的目前國家層面都搞定了 方應杭 那就只能自我審查了，審查完了再公布。如果你怕恐...
如何選擇合適的資料視覺化軟體？
乙隻物聯網鯨魚 可以嘗試使用圖撲軟體 Hightopo 基於 HTML5 標準技術的 Web 前端 2D 和 3D 圖形介面開發框架，擁有自主研發的視覺化軟體，泛用於工業物聯網場景的 B S 模式，支援 2D 3D 圖形組態。兼備了國外視覺化輕量跨平台操作的優秀特點，可與企業自有系統無縫整合，輕鬆將...
如何製作有趣好看的資料視覺化圖表？
鄭州眾合景軒 製作有趣好玩的視覺化圖表首選 洞見 專注於業務資料在時空維度的治理 整合 分析和視覺化展示，採用 乙個基礎平台 N個行業元件 N個行業模板 的模式。具備資料庫 資料服務 資料檔案等多種資料來源對接 治理的能力，提供自助式分析工具集和拖放式快速搭建資料視覺化大屏的服務。快速有效 通過簡單...