1樓：蘇佳
幾十萬條不等於資料量很大。
讀取10w資料表結構不是很複雜的情況下，網路好的情況下。幾秒就好了。
然後用bulkinsert大概幾秒（一筆拆成多筆也差不多幾十秒也完成了）
2樓：
Table-Valued Parameters：
Table-Valued Parameters (Database Engine)
BULK INSERT：
使用 BULK INSERT 或 OPENROWSET(BULK...) 匯入大容量資料(SQL Server)
本人使用BULK INSERT在普通PC上輕易做到每秒寫入12萬條記錄。
你用的foreach/for迴圈INSERT是效率最低的方式。
3樓：Ivony
你這個問題怎麼看效能瓶頸都是在資料庫IO上，你研究怎麼更快的拆分字串有毛用。
BulkCopy，可以提高吞吐量
併發寫入，先把索引撤掉，資料處理完後再重建索引。
幾十萬條小意思了，如果欄位就你上面描述的那麼點兒長，幾分鐘應該就弄完了。
4樓：
幾十萬條並不算大；主要是看哪個環節最耗費效能（使用Stopwatch或者DotTrace跟蹤），一般就是資料庫插入時，可採用批量插入的方式解決。
MongoDB 如何應對大資料量查詢做優化，並做結果過濾處理？
johnson 還是得具體問題具體分析，有很多因素要考慮 1.資料集大小 決定了需要處理多少資料，理想狀態是能全部載入到記憶體中處理 2.結果集大小 決定了要返回多少資料。比如聚合排序時記憶體使用超過100m就要開啟allowDiskUse開關，並且效能下降很大。3.查詢邏輯的複雜度 決定了是可以用...
php百萬級大資料量匯出資料到excel，如何成功並高效匯出？
為何人類還是放棄不了excel來辦公?是不是側面說麵了目前市面上的大部分系統平台都還需要努力?大資料分析時代,程式設計師所做的系統為什麼會導致使用者寧願大費周折從系統中匯出excel,也不願意直接在系統中對資料進行操作分析?這是開發者和產品們很需要去思考的空間我認為乙個合格的系統平台應該能讓人們使用...
超大資料量，如何加快寫檔案的速度？
牙雅 源資料是什麼格式？可否用load方式匯入資料庫，編寫程式分批次並行運算元據庫，生成符合要求的檔案。大型機處理億級別的資料，應該1個小時足夠了。 不是十分清楚題主遇到的是什麼樣的問題，是已經有了硬碟裡的資料要讀進來處理一下再寫回硬碟嗎？如果是這樣的話原始資料是什麼格式的呢？寫回去的時候有什麼格式...