如何入門C 爬蟲?

時間 2021-06-02 17:33:56

1樓:八爪魚採集器

說實話吧,如果你看過整個.NET的庫,你就知道,你用C#做爬蟲是不合適的

為什麼這麼說,C#天生就是乙個犧牲效率的語言,不管微軟把完成埠給封裝得多好,不管把正規表示式的庫搞得多牛B,不管把String弄得多溜,他就是一種犧牲效率的語言。做爬蟲,要麼資料量大,要麼要求實時性高,在效率面前,這兩項要求太高了。

2樓:yugi li

上面的回答也是沒什麼營養啊。

首先你要了解html的語法基礎,然後其實主要是通過解析html來獲取所需資料。

對於http請求我比較推薦使用HttpClient,主要是簡單,網上的介紹也比較多,就不贅述了。

對於拿到的資料進行解析,這裡通常會用到正規表示式,網上相關的內容也是多的一筆。

然後就是迴圈了,一層層的爬過去?如果想優化,還可以忽略掉已經爬過的頁面和無效的頁面?

恩,還有乙個東西要特別注意,就是不要重複定義變數,因為我在剛開始學C#的時候就吃過這個虧。。。。這樣會導致程式隨著迴圈,越來越慢,最後就基本不動了。。。。

C 如何入門?

冷暖吖 1 baiC 入門書,比du如 C 快速入門 選擇zhi一兩本。2 The Standard C Bible 中文dao版 標準C 寶典 掌握C 標準 3 Effective C 和 More Effective C 以及 Exceptional C 都是不錯的書 4 前途有相關的學習視屏。...

C 都有哪些爬蟲框架

譚九鼎 Html Agility Pack和AngleSharp基本上可以認為只能爬靜態的網頁,後者明確說可以解析基本的JS但不能解析Angular。前者文件簡單易讀,有少量方法沒有文件,後者文件豐富。前者只有兩百多次commit,後者六千多。contributors和star數也是後者多,而且後者...

如何入門C 和OpenCV

野人2046 來不及了,轉方向吧。C 從小白到能用至少要半年,如果之前沒做過C 專案,勸你放棄。我之前就踩過相同的坑,最後兩個月換方向驚險過線。 如果目標是實現目標檢測,並且是科研目的不是工程目的。我建議直接學習Python。Python的學習成本非常低,很短的時間就可以上手。OpenCV也提供了很...