海量資料,分布式計算,平行計算 ,虛擬化與雲計算的關係是怎樣的?

時間 2021-06-02 11:41:33

1樓:億方雲

海量資料涉及到一些方面。我給你介紹一下:

第一點涉及到雲儲存和分布式儲存。第二點涉及到分布式計算和平行計算。

分布式計算和平行計算:平行計算偏科學領域,偏單使用者,單請求,在配置多處理機的伺服器下處理。分布式計算偏多使用者,多請求,涉及多台伺服器多個計算單元的分布式處理。

分布式計算本身又分為兩種,一種是單任務拆分,如mapreduce來實現;一種是多請求分布式排程,涉及到雲計算paas。

雲計算中的雲是相對於客戶端而言,其實雲計算本質上是客戶端-伺服器模式,只是在伺服器端通過分布式儲存、虛擬化等技術提供了諸如IaaS、PaaS、SaaS的高可靠服務。

簡單來說:

雲計算只是分布式計算的一種特殊形式,它的特色是資源(計算、儲存)的租用。

網格,也是分布式計算的一種,不過強調的資源的共享與協作。

2樓:

可以簡單的理解為,為了快速的處理海量資料,提出了分布式這種解決方案,而分布式這種解決方案最終的目的或表現形式就是為了實現用「用硬體換時間」,將資料分布在多台計算機上同時處理(並行處理)帶某種屬性的資料集。

虛擬化和雲計算,虛擬化是為了實現雲計算而劃分資源的一種方法,包括兩個層面:物理資源池化和資源池管理。從現實來看,很多微小型網際網路公司沒有能力或必要構建自己的分布式系統,會借助於本地資源外的雲服務提供商,這樣可以使公司專注於產品和業務實現。

3樓:張小新

海量資料,涉及到大資料分析,除了計算能力外,還需要看你具體需要什麼。

虛擬化是一種技術手段,提供虛擬機器。

分布式架構是一種實現方式。

4樓:曠可

雲計算的三個層次:IAAS --> PAAS --> SAAS分布式計算,平行計算應該算雲計算的核心實現,包括基礎架構,平台,上層應用都是需要應用到。

虛擬化主要是用來實現雲計算的基礎架構,簡單來說就是提供計算資源,OS ==

海量資料則是雲計算要處理的東西,當然雲計算並不只是處理海量資料用的。

5樓:

海量資料:我們對資料儲存擴充套件性和高可用性,對資料進行分析的效率都提出了要求,第一點涉及到雲儲存和分布式儲存。第二點涉及到分布式計算和平行計算。

分布式計算和平行計算:平行計算偏科學領域,偏單使用者,單請求,在配置多處理機的伺服器下處理。分布式計算偏多使用者,多請求,涉及多台伺服器多個計算單元的分布式處理。

分布式計算本身又分為兩種,一種是單任務拆分,如mapreduce來實現;一種是多請求分布式排程,涉及到雲計算paas層的核心能力。

虛擬化和雲計算:雲計算重點是要有可排程的計算單元或儲存單元,而且排程單元的粒度不能太粗,否則影響到資源利用,排程單元本身要相互隔離。而虛擬化作用則是對已有計算或儲存能力進行拆分,形成標準化的,物理或邏輯上隔離的可排程單元。

如果機器本身就是利舊,能力一般,那麼虛擬化不是雲計算的必備選擇。

分布式計算與雲和SOA有什麼關係?

Shijie XU 總結 三個不同的名詞,側重點不一樣,又有重疊,分布式計算 側重多個程序 位於同乙個機器,不同機器,甚至雲上的主機 相互通訊,交流,然後共同完成乙個任務,請求等。分布式計算的概念出來很早,從80,90年代那個時候的RPC,CORBA通訊開始,通訊協議也多種多樣,比如底層的TCP,I...

有了分布式計算平台後,像天河這種超級計算機還有存在的必要嗎?

山梔 超算中心會雲計算化,雲計算平台也會提供越來越多的超算部署。雲計算和超算本質上沒有區別,兩者的趨同是商業模式適應時代大勢的不斷優化。這裡時代大勢指的是大資料量高效能的計算越來越普及。舊時王謝堂前燕,飛入尋常百姓家 時至今日,乙個普通的本科生可能都能把1000個CPU或者100張GPU充分利用起來...

pytorch 分布式計算 你們都遇到過哪些 坑 bug?

謝永斌 在DistributedDataParallel模式中,dataloader增加DistributedSampler,發現訓練中記憶體 記憶體!非視訊記憶體 會緩慢增加,直到最後出現OSError Errno 12 Cannot allocate memory。到現在也沒解決這個坑。如果有大...