php百萬級大資料量匯出資料到excel,如何成功並高效匯出?

時間 2021-05-30 13:36:25

1樓:

為何人類還是放棄不了excel來辦公??

是不是側面說麵了目前市面上的大部分系統平台都還需要努力??

大資料分析時代, 程式設計師所做的系統為什麼會導致使用者寧願大費周折從系統中匯出excel, 也不願意直接在系統中對資料進行操作分析???

這是開發者和產品們很需要去思考的空間我認為乙個合格的系統平台應該能讓人們使用它而放棄 excel 概念, 轉而使用 api json 圖表

2樓:

分享乙個功能豐富、相容性好、高效能的 Excel 文件基礎庫 Excelize:https://

3樓:清林

這個事情我還真做過,上面有人回答

首先,Excel2007開始的版本最大行數是1048576行,得用這個。

其次:不能用PHPOffice/PhpSpreadsheet元件,它的優點是功能強大,缺點是耗記憶體,乙個單元格幾乎要耗1k的。

解決辦法:1.換擴充套件,有c寫的擴充套件,沒試過;

2.還有個xlsxwriter這個元件,速度快,記憶體少。

3,還可以自己寫功能,excel是zip壓縮包(把.xlsx修改成zip就可以解壓),而解壓後是幾個xml檔案,可以自己組裝xml,然後壓縮成zip,也可以。百萬資料也不成問題。

4樓:kevin

業務亂提需求,這麼大的Excel能匯出也不能看,是不是用excel的外部資料來源來折中一下?這樣業務既用excel看到了資料,你這裡也簡單

5樓:狂奔的蝸牛

excel2003最大行數也就六萬多行,2007也就一百零幾萬行。千萬資料量就算能匯出你也打不開,有什麼意義?根據需求來具體設計,可以儲存多個檔案,就看你匯出是要幹什麼了。

MongoDB 如何應對大資料量查詢做優化,並做結果過濾處理?

johnson 還是得具體問題具體分析,有很多因素要考慮 1.資料集大小 決定了需要處理多少資料,理想狀態是能全部載入到記憶體中處理 2.結果集大小 決定了要返回多少資料。比如聚合排序時記憶體使用超過100m就要開啟allowDiskUse開關,並且效能下降很大。3.查詢邏輯的複雜度 決定了是可以用...

超大資料量,如何加快寫檔案的速度?

牙雅 源資料是什麼格式?可否用load方式匯入資料庫,編寫程式分批次並行運算元據庫,生成符合要求的檔案。大型機處理億級別的資料,應該1個小時足夠了。 不是十分清楚題主遇到的是什麼樣的問題,是已經有了硬碟裡的資料要讀進來處理一下再寫回硬碟嗎?如果是這樣的話原始資料是什麼格式的呢?寫回去的時候有什麼格式...

C 大資料量如何高效率讀取解析資料庫大字段?

蘇佳 幾十萬條不等於資料量很大。讀取10w資料表結構不是很複雜的情況下,網路好的情況下。幾秒就好了。然後用bulkinsert大概幾秒 一筆拆成多筆也差不多幾十秒也完成了 Table Valued Parameters Table Valued Parameters Database Engine ...