為什麼HDFS是順序寫,吞吐能力強?

時間 2021-07-10 18:00:21

1樓:旻言

這裡的意思估計是單機檔案系統採用了Ext4/XFS這種採用了Extent來組織的場景,所以可以分配連續的資料塊空間,同時消耗的inode減少,進而還減少了inode的查詢。從這也看出,只是通過大檔案減少了隨機IO,大致是順序IO。所以其實可以進一步優化,比如寫入,可以直接寫裸磁碟,這樣基本上所有寫入都是順序寫入,至於索引可以把NameNode的設計方式在單機上做乙個簡要實現,記憶體索引,加額外的SDD持久化

2樓:

試試回答一下。

HDFS的設計是考慮分布式的。分布式的特點決定了每個IO都要經歷多節點寫入,同時還要更新namenode裡的記錄。這樣的結果就是單次IO的尺寸越大越好,所以絕大部分的分布式的特點都是順序寫要強於隨機寫,吞吐能力大於IO能力。

當然,都是相對的。

另外您的第乙個問題,寫入時候就一次分配對應尺寸的檔案,但是對於磁碟來說,磁碟的Block並不是這麼大,依然要被拆成4K的才能落盤,但是是連續的4K。所以談不上隨機寫。也就是說會分為兩層:

HDFS會拆成64/128M的塊,但是到Ext4/XFS層,還會被拆分為4K的塊落盤。

為什麼吉他c調是EADGBE這樣的順序。

幾乎所有四根弦以內的弦樂器,都是四五度音程定的音,這是因為乙個把位手可以控制的音最方便快捷,吉他小優二三弦特殊是大三度,也是因為弦和手構造上要適應的問題,貝司就簡單粗暴,全部四五度。和要彈的調沒關係,這是固定的絕對的音名,啥調都是這幾個字母,正常情況下結他一出廠就是這麼個東西。 woodoo001 ...

為什麼是這樣寫呢

你可以對比以下問答 1.Is this shirt Tim s?No,this shirt is Jack s.2.Is this Tim s shirt?No,this is Tim s overcoat. 葉明 Is this shirt Tim s shirt 可以理解為省略了shirt,強調...

道德經是誰寫的,他為什麼寫呢?

鹹蘇 老子寫的 咋滴?當年老子就是因為仕途失意 眼看家國無望 決定浪跡天涯時路過函谷關被尹喜那小王八犢子逼著寫出來的說實話 當時老子寫這玩意就是想換乙個通關文憑出關後再無聊的時候和一些順路的小屌絲們扯扯閒篇兒你說你們鬧呢?還研究來研究去 什麼事情該咋做你們自己心裡沒點B數嗎?還引經據典 老子就隨口一...