請教一下,python如何批量處理連續的檔案並從中提取資料,有哪些庫可以用?

時間 2021-06-09 14:52:05

1樓:lee

這個問題拆解一下

如何批量處理連續檔案

os模組讀取檔案,for迴圈處理

2. 如何提取資料

這個問題得看你是什麼檔案了。PDF、Excel、word等,不同檔案處理的方式不一樣,庫也不一樣。

2樓:

筆者覺得可以按檔名排序,其實也就是按時間先後順序排序,在題主處理2021-05-15_1848.log檔案的時候,需要用乙個標記記住是否需要的行已經讀取完,如果沒有則在開啟的下乙個檔案(2021-05-15_1849.log)中繼續讀取。

3樓:doraemon

日誌的每一行應該都是有時間的,解析資料的時候按照時間來歸類,能避免漏資料的。

先將檔案的時間讀出來(寫出來也行,將日期放到乙個列表裡)作為變數名(比如:[2021-05-15, 2021-05-16]),迴圈列表裡的值,然後讀取相似檔名(先將該目錄下所有檔名讀出來,應該是個str型別,然後判斷下這個str中是否包含的該日期),再讀取匹配到的所有檔案,先將這部分儲存起來,在進行下乙個任務。這方法應該是一勞永逸的。

也不會很占用記憶體,加上執行緒快的飛起。

推薦執行緒

threadPool

=ThreadPoolExecutor

(max_workers=16

)#get_result這個是函式,後面的都是引數threadPool

.submit

(get_result

,lng_lat

,session

,station_id

,kafkahandler

)threadPool

.shutdown

(wait

=True)

請教一下,python和shell都是什麼,有什麼關係?

雲大學小編 Python有相對較少的關鍵字,結構簡單,和乙個明確定義的語法,學習起來更加簡單 Shell可以理解為介於使用者和作業系統核心之間的直譯器,負責將使用者輸入的指令解析後交由作業系統核心去執行處理。Shell指令碼就是一條或多條命令,通過特定的邏輯結構組合起來,去完成複雜的管理任務,類似於...

請教一下自學python,都需要學哪些課程?

MMD 看看Python之父寫的書。然後編寫一些小程式,解決工作中遇到的小問題。諸如Excel處理Word處理,之類的。慢慢的就可以上手了 念乙份執著 我也是在學Python,這本書只是入門。Python入門簡單,越往後學你發現知識特別多。你需要學很多東西。不過堅持總會好的。建議你去找一些資料分析或...

想請教一下道長們如何入道?

文蒼 那很多道士並沒有入道 他們只是知道 在曉道的過程 萬物的運轉規律 在易經裡面就是風山漸 一草一木的奧秘 人也會一天比一天明朗 福星貴人 說說貧道老家附近的情況,張巫師死了七年了兩個兒子都沒有繼承父業,賈八角 音譯算八字的屬道教清微壇在老家算命名氣很大 死了十多年,我爺爺和父親都曾經同他有過交流...