分析處理幾十萬條以上的資料excel會很慢,也會出現資料不准的情況,請問處理這類資料大家一般都用什麼軟體?

時間 2021-06-03 07:26:22

1樓:

我個人喜歡使用SAS處理資料,最大單次處理的資料量是1.5億行、50列,約80GB。在固態硬碟上執行,處理速度大約是0.

2GB/秒,加上CPU時間處理80GB資料大約需要10分鐘左右。

據我所知,目前中國國家統計局處理住戶細分資料時使用的是Server版的SAS,billion級的元組數量,在擁有超大記憶體的大型機上執行。四大行聽說也是用SAS處理總行客戶資料的。

PS金融資料探勘是比較常見的會接觸到較大量資料處理的地方,比如2023年1月份的A股level2十檔資料就大約78GB大小。當然,其實其中只有極少一部分資料真正被需要使用,因此資料的分拆打包方法也很重要,以能夠最快速度提取所需資料為佳,不過這就不是本題範疇的事了。

2樓:黃老邪

如果是我的話,我會用ACCESS做資料後台,用EXCEL去ACCESS裡面讀取統計或乾脆用ACCESS處理後輸出

理論上來說,如果你的電腦性能夠好(尤其是記憶體)的話,10版及以上的EXCEL足夠處理這幾十萬條資料了

如何用excel處理100萬條以上的資料?

聚集零碎時光 Office Excel2016版工作表最大行數1048576,實際工作中資料超出最大行數的部分不會被顯示出來。出現以上情況建議 1.Excel2016自帶功能PowerPivot可以突破1048576行限制。2.連線資料庫處理資料,常用資料庫Access Mysql等。以上兩種方法存...

負債幾十萬,你們是怎麼翻身的?

1 將財產盤好了先還債 如果你手頭上有房產或者其他的投資,這些盈利不高的話,不妨先盤出去,然後把得回來的資金都先拿去還債。如果欠債太多,太久,產生的利息也是很高的。因此,能先還多少就還多少。起碼解壓了你的一部分債務,讓你未來的日子分期還債時可以稍微輕鬆一點。2 踏實幹好目前的工作 欠債的人一定要靜得...

為什麼那麼多年薪幾十萬的

風逝 年薪幾十萬已經在國內收入算是非常多的了,秒殺90 了將近。目前能年薪幾十萬的基本都是金融 網際網路等行業,以及部分自己開公司做買賣的。而這些私營中,只有很小的一部分才能成功。自己腳踏實地有條不紊的過日子就好了,和別人比的越多自己壓力越大,過好自己的生活比什麼都重要。幸福感來自於多方面,物質是其...