很多人吐槽,Ceph分布式儲存不如磁碟陣列穩定,那麼三副本的Ceph到底有什麼問題

時間 2021-06-08 03:23:00

1樓:samuel

首先,在效能方面,三副本分布式儲存容易受到IO分布不均勻和木桶效應的影響,導致大延遲和響應遲鈍的現象。以Ceph為例,多個儲存基本單元,Placement Group (PG),封裝為乙個OSD,每個OSD直接對應於某乙個機械硬碟HDD;主流的7200轉HDD,受到機械臂定址限制,其單盤的讀寫效能僅為120 IOPS左右;由於資料在OSD上隨機分布,因而單個硬碟上的IO負載不會固定在平均值上,而是總體呈現為正態分佈,少數HDD上因正態分佈的尾部效應,導致其IO負載遠超平均值,以及遠超單盤的效能閥值,造成擁堵。此外,分布式儲存為保證資料完整性,必須定時進行資料完整性校驗,即資料scrub/deep-scrub操作,而這些操作產生額外的IO負載,可能會加重磁碟阻塞現象。

根據木桶效應原理,系統的效能取決於集群中表現最差的磁碟,因此個別慢盤嚴重拖累整個系統的效能,其可能的後果,就是帶來大延遲、OSD假死,以及觸發資料非必需的重建。

其次,三副本分布式儲存還面臨穩定性問題。當儲存擴容、硬碟或節點損壞、網路故障、OSD假死、 Deep-scrub等多種因素疊加,可能導致多個OSD同時重建,引發重建風暴。在資料重建過程中,重建任務不僅消耗系統的記憶體、CPU、網路資源,而且還給儲存系統帶來額外的IO工作負載,擠占使用者工作負載的儲存資源。

在此情形下,使用者時常觀察到,系統IO延遲大,響應遲鈍,輕者引起業務中斷,嚴重時系統可能會陷入不穩定的狀態,OSD反覆宕機重啟,甚至會導致資料丟失,系統崩潰。

此外,三副本分布式儲存還面臨資料丟失的風險。三副本最大可抵禦兩個HDD同時損壞。當系統處於擴容狀態、或乙個節點處於維護模式時,此時出現乙個HDD故障,則該系統就會進入緊急狀態,出現兩個HDD同時故障,則可能導致資料丟失。

對於乙個具有一定規模的儲存系統而言,同時出現兩個機械硬碟故障的事件不可避免,尤其是當系統執行兩三年之後,隨著硬體的老化,出現Double、或Triple磁碟故障的概率急劇上公升。此外,當系統出現大規模掉電或儲存節點意外宕機時,也可能會導致多個機械硬碟同時出現損壞,危及三副本分布式儲存的資料安全。

為什麼很多人吐槽甄姬?

晚鴉 玩甄姬的絕大多數都是妹子,我也是女生,不是說女生操作不好,但是意識大部分都不夠,我打了二百多場甄姬逆風局有時候也會被隊友罵送人頭。這個英雄有點吃陣容,而且腿太短了,沒位移的英雄如果意識不夠被切的會很慘,落單了以後基本沒有多大自保能力 所以這個英雄我已經壓箱底了,還是小喬,諸葛,王昭君能助我上分...

為什麼很多人吐槽蘋果失去創新?

歸歸歸歸瀧 不是蘋果失去了創新,而是人們的要求越來越高了。蘋果還是那個蘋果。只是它的創新或許不能為人理解.它創新推出了 劉海 一眾友商抄襲,關鍵是他們只抄劉海,不去地抄襲蘋果的face id,就算抄了face id,也不夠精緻 它的最新iPad Pro效能直追PC 就我來看,劉海屏算是最佳的全面屏方...

為什麼那麼多人吐槽做醫生,每年還是有很多人報考醫科大甚至各種留院名額競爭激烈?

Yang yang 因為當醫生總比掃大街送外賣風吹雨打的強,這在某種程度上來說也是改變家庭和自己命運。但是你也要看到,沒幾個富二代 官二代 紅二代選擇當醫生,為什麼呢? 1,正如沒房沒車的男人不算人,很多人眼中,影像病理放射的沒床位科室醫生不算醫生,急診麻醉兒科這些低等科室醫生不算醫生,鄉鎮基層醫院...