粒子物理 天文學等資料量很大的學科,會用到例如Hadoop這種處理大資料的工具嗎?

時間 2021-06-08 18:33:53

1樓:Tim

我認識一人在我校LIGO部門工作,內容是用雲計算協助分析引力波資料。但不一定是HADOOP。

還有上次聽乙個噴氣推進實驗室的人來給talk,有用機器學習演算法幫助觀測和分析資料。

2樓:

在我的領域(可以算粒子物理吧)裡,大部分情況下並不需要更新已有的大量資料,更多的是讀取。而且讀取的時候都是一大塊一大塊的讀 binary,讀完放到記憶體裡用。我們現有的做法是用 MPI 並行地讀取,效果很好。

我覺得用資料庫恐怕不可能更快。還有乙個因素是一般科學計算中不重視資料 integrity 的檢查,一般就是一些很簡單的 check.

至於對資料的運算,我們的程式都是優化到暫存器級別的,而且基本都是線性代數,沒必要用 map reduce.

嗯,大概就這樣,科學計算還是非常實用主義的,能不擼那些 fancy 的東西就不擼,但是如果啥新技術可以極大提高生產力,我們會謹慎驗證過以後想方設法擼。

// 我們一次運算的資料量大概是 1G 到 100+T 不等,不知道算不算「大資料」。

3樓:勞風雷

非物理學天文學外行人士嘗試回答。

科學計算領域,也存在大資料處理的問題。

科學計算領域主要還是依靠MPI來進行平行計算。採用Hadoop的HDFS作為分布式資料儲存平台是可行的。

MapReduce(或Spark)等資料批處理框架通常並不適用於科學計算的業務,因為處理效率較低。

總體上來說,Hadoop還是更適合於網際網路領域的應用。

男朋友想讀天文學博士,叫我等他,該不該等?

等不是不可以,但是像他這樣想等到錢就難了。本來做天文研究的人工資也沒有很高哈哈哈哈。不說了,我要上班去了,俺家老公做天文,乙個月的工資養不起一家三口啊,哭哭 張依天 你男朋友混個博士,去個雙非學校當個大學老師美滋滋啊,如果是海龜還有高額的安家費,想想還挺不錯的。你說的上進心如果指的是科研上進心,那就...

怎樣判斷該選生態學,物理,生物科學,化學,天文學,空間科學與技術專業

那個人叫覔得 小弟弟,多大了?哪所大學?對是哪所大學,因為以上這些應該是研究生考慮的方向。研究生也只是在課題中打個下手,有成果還不一定有署名那種。所以你至少是個大學生。OK,如果是個好大學,那麼學校肯定有教授,你看下你們學校著名教授哪個方向,和你關係好不好。或者其他教授推薦,有個教授帶你,你才能進圈...

學習天文學或物理學的你,怎麼看待人的出生與死亡?

Phy 你我這種普通人,就像夜幕中一顆顆暗淡的繁星,自生自滅毫不起眼 老子 墨子 華盛頓 林肯 拿破崙等,類似那種天狼 老人 大角 織女 天津四之類的亮星 克卜勒 伽利略 哥白尼 霍金和第谷等相當於金星 火星 木星 土星和水星 愛因斯坦 牛頓就相當於天上的太陽和月亮 莫扎特 圖靈 王勃之類不世出的天...