用什麼軟體可以切割10個G的txt資料?

時間 2021-05-30 08:12:00

1樓:ymsshu

用sqlcel的「拆分檔案」功能。

設定好「起始行」,「結束行」,「新檔名」就可以拆分出來乙個檔案。

如果選擇「等分檔案」則可以將原始檔等分成多個小的檔案。如下:

還可以根據正規表示式等方式來逐行過濾原始檔。如下:

2樓:

Python吧~

import pandas as pd

# sep='\t',

chunksize=2200000)

i = 0

for item in table:

i += 1

print("正在處理第{}個檔案".format(i))item.to_csv(path + "P_" + str(i) + ".csv", index=0)

# 220000是隨便寫的數字

3樓:myth

4樓:金戈老馬

R 語言裡有多個函式具有這樣的功能。

比如:read.table,通過設定引數 nrows - 指定讀多少行;skip - 指定跳過多少行開始讀。

readLines 具有類似的功能,但是對每一行不做解析。

5樓:pandasum

這個學期做東西的時候,用的是師兄給的4個G左右的txt格式的資料。

資料的格式比較整齊,如果直接用python做for line in file:

list = line.strip().split()就這樣也能順利讀完了,至少做資料的清洗和簡單的分析時間也不長,幾十秒的樣子。清洗過後就沒有多大了

6樓:

你要用MATLAB的話,其實沒必要切割,處理這樣的txt有兩種方法可以考慮:

1.用fopen,fscanf,textscan等函式讀取部分資料之後進行處理;也可以用dlmread更方便的讀取

2.如果你的資料比較規整(簡單來說就是類似於csv的那樣,分隔符相同,資料都是比較整齊的一列列的),可以用datastore讀取後用mapreduce來進行處理

如果一定要分割的話,上邊兩種方法同樣可以用來分割檔案

WINDOWS 10 有什麼好的優化軟體可以保持電腦一直流暢執行?

李小樂 some of the best PC optimization software for you.Ashampoo WinOptimizer2019.Glary Utilities Pro 5.Iolo System Mechanic.IObitAdvanced SystemCare.Sl...

你每天必用的10款軟體 應用是什麼(包括開機啟動)?

又賢 開機啟動 everything ditto autohotkey idm 每天必用 total commander acrobat QQ chrome noteexpress 靈格斯詞霸 正好十款。 James Swineson 只說有使用者介面的吧 Chrome Dropbox Skydri...

騎行滇藏線或者川藏線用什麼導航軟體的,乙個人

成博士旅遊頻道 不需要導航的,因為都是國道線,基本上一條路。偶爾進縣城,但是不會太複雜。國道線上,每1公里有乙個里程碑。標註著 國道 公里。紅字。每100公尺有乙個小碑,上面分別寫著1 9。代表100公尺。就算沒有碼表,根據里程碑也可以大致測算自己走了多少公里。很多攻略也包括了一些經典的地標,屬於國...