shell指令碼做文字解析同php和python比哪個效率更高

時間 2021-06-01 18:51:59

1樓:

如果是在伺服器上分析文字資料,推薦用shell如果是要分析類似於excel的csv之類的規範資料,推薦python的pandas之類的東西

如果分析html,推薦python或其他語言的現成庫https://

2樓:

處理的資料量較小的情況下,一般使用 shell。功能齊全,信手拈來,很方便,速度也很快。

在資料量較大的情況下就建議用高階語言了。如果是重複性的記得寫成指令碼,方便復用。

資料量大可能會導致出錯以及效能問題,之前就遇到過乙個問題,將乙個檔案作為查詢條件用grep在另乙個檔案中查詢,死活查不出來的情況...還有乙個更奇葩,幾百萬行的乙個文字用 uniq 去重之後還是各種重複。。。

3樓:推車老王

N年前為了每天分析數十GB的日誌,正好做過測試。測試是在Linux環境下(Redhat ES 3),測試處理乙個數百兆的日誌檔案進行彙總分析(郵件日誌),分別用C, Perl, Python,Shell做同樣的處理。處理速度排名是C>>Perl>python>shell。

C是最快的,比別的快上至少乙個數量級;其次是Perl,畢竟是為文字處理而生,最強的內建正規表示式;Python比Perl慢了點,記得速度是Perl的60%左右;shell最慢,雖然sed, grep,awk都不慢(其實都是C寫的),但通過shell組合在一起效率還是差了不少。

4樓:黃良懿

伺服器上臨時分析一些日誌資料的時候基本都是awk sort grep uniq sed之類,效能帥得很。

如果是長期需要處理的功能,一般都會做成php或者python指令碼,多數會丟crontab裡執行去。

量級不大的時候,開發效率、可維護性往往比效能更重要。 當效能更重要時,shell php python這些都不是好選擇。 hadoop之類的平行計算方案會更靠譜,畢竟單位節點的計算能力是很容易觸頂的。

5樓:仲晨

普通功能,shell的效率高,因為這些經典命令內部大多是C/C++實現的。

但在一些偏僻或者複雜功能中,限於這些命令本身的功能,需要「曲線救國」,反覆倒騰資料才能達到最終結果。

這時候,直接用php、python,速度就更快。

?Shell指令碼「integer expression expected」該怎麼處理

Heisenberg 也遇到了同樣的問題,雙引號去掉就好了。比如下面的乙個shell指令碼 bin bash compare if 1 eq 2 then return 0 elif 1 gt 2 then return 1 else return 2 ficompare 1 2 case in 0...

怎麼寫純文字的漫畫指令碼?

Spiegel 許多年前,那會兒還沒有進入網際網路行業大河,曾經在漫畫公司當過編劇,主寫4 12格漫畫,邊回憶邊聊吧。當時負責的這類短格漫畫上線節奏快,留給編劇和漫畫師的創作時間也短,大多數時候,我們會把劇本和指令碼創作放在一起,直接寫出漫畫師拿到就可以開畫的漫畫指令碼。這類指令碼創作並不複雜,大體...

為什麼處理文字的指令碼在 flask 中卻會顯示 IOError Errno 2 ?

find goo 伺服器上的目標結構和你本機是不樣的。伺服器上的程式在後台執行時,目標結構和shell上也不一定相同,在web中用的目標是一種相對目標,直接用shell的pwd列印出當前目標。正常的目錄為當前頁面或web的根目錄為基準,獲取它的絕對路徑 相對路徑表示。不同作業系統中用的 和 也是不同...