自建的Hadoop平台與阿里雲等雲平台提供的mapreduce服務各有什麼優劣?

時間 2021-05-08 08:28:57

1樓:Ricky Ren

自建集群主要的優點有可以靈活搭配自己需要的元件和定製開發,以及對大型集群長遠來看有成本優勢;但是需要足夠的技術儲備,而且初始投入要高一些,上線慢。

雲服務的集群初始投入低,馬上就能用,隨時可以擴容縮容,而且通常跟同平台的其他產品都有很好的整合,如果伺服器/資料庫也在同一平台上開發起來效率會高;但由於一般都是用虛擬機器,可能性能比本地物理機差一些。

一般來說除非有保密或合規要求,資料不能上雲的情況,前期先選雲端的集群,集群規模很大技術團隊也很成熟才考慮本地自建。

2樓:桂能

自建初始成本高,看你要堆多少機器,還有你要找到合適的維護人員。

上雲的話,其實長期成本還挺高的,尤其如果你放個資料在上面,他每天都在產生費用,其次安全性也是要考慮的,如果你需要處理你的核心業務資料,那麼建議不要上雲。

3樓:阿瑟

看你業務場景及目前關注的重點。總體來說雲上支援作業型別多樣性,更易用、上手快;可以節省很多資源成本。雲上搭建的mapreduce,例如阿里雲E-MapReduce-產品詳情

可以先試試:1.58元/小時起,快速體驗 Hadoop,Spark 等大資料軟體!

支援多種作業型別

完全相容開源大資料生態系統。包括hadoop、Hive、Spark 、shell、Storm、Sqoop等作業型別

產品易用,上手快

按照所選硬體機型(CPU、記憶體、磁碟),所選軟體組合和版本,進行自動化部署

支援報警通知,可以為您的執行計畫設定報警通知,隨時通過手機獲得作業情況等

與阿里雲其他產品如 OSS,MNS,ONS,RDS,ODPS 等深度整合

成本大大降低

可以按需建立集群,即離線作業執行結束就可以釋放集群。可以動態的在需要的時候增加節點。

也可以選擇包年包月長期執行。成本大大節省。比如E-MapReduce+OSS,為客戶大大降低成本

4樓:

自建成本低,故障率低. 但維護成本高(看人力投入), 可伸縮性差(看人力和資源投入). 如果自建到自己的物理機器上, 涉及到的細節太多, 很麻煩.

除非對方承諾了可用性並且達不到可用性退錢並且錢真的到你手上了, 否則比較靠譜的選擇是用對方的虛擬機器鍵.

你見過熱公升級大半夜公升級掛了然後還不告訴客戶的大資料雲服務麼. 相信我, 你馬上就要見到了.

以上是個人觀點.

雲計算平台與傳統平台有什麼區別?

華為雲開發者社群 雲計算是指IT基礎設施的交付和使用模式,通過網際網路提供虛擬化的資源計算方式,是動態的易擴充套件的,以按需 易擴充套件的方式獲得所需的資源。使用者可以隨時隨地的訪問雲伺服器,企業採取雲計算平台可以省去基礎設施上的花銷,還可以提高計算的效率。費用 雲計算平台是一種商業模式,講白了也就...

阿里雲到底是個什麼東西,與亞馬遜的雲服務相比較,它處於什麼位置?

何其苦 不必太在意它是什麼,關鍵要看它所提供服務的種類 質量 安全等是否能滿足使用者需求。大家應該都認可亞馬遜提供的是IaaS服務,那麼再來看看阿里雲都提供了什麼 雲伺服器 雲儲存 關係型資料庫服務 應用引擎 資料處理服務 伺服器和儲存服務看起來是IaaS,應用引擎和關係型資料庫服務看起來又是Paa...

請問阿里雲簡訊服務和阿里大於的關係?

用過阿里大於,但是阿里雲的簡訊服務API明顯沒有阿里大於那麼完善,阿里雲簡訊沒有提供C 相關呼叫,這讓我很鬱悶。以下是提交工單的回覆 目前我們暫未提供C 的sdk。您可以參照下面的文件自行拼接http請求來呼叫介面https 其中涉及到的一些公共引數 Version 2017 05 25 Actio...