學習Python爬蟲要具備哪些基礎?

時間 2021-06-02 16:18:03

1樓:程式設計學苑

爬蟲是python眾多方向裡比較簡單的乙個分支,想學會爬蟲,只需要學會python基礎即可、從函式到物件導向到模組,當然還需要一些資料庫基礎比如mysql,mongdb等等有了這些基本就可以進入爬蟲的學習了

2樓:Mr.siri

1、python語法及資料結構,物件導向;

3、requests模組、以及頁面解析方法(re、bs4、xpath、pyquery等)

4、資料庫知識(增刪改查)

5、框架,scrapy、pyspider(雖然沒人用pyspider)

6、分布式集群

剩下的就要實踐中多了解反爬的知識了。

3樓:

基礎知識大約只需要:

知道怎麼用http客戶端請求資源(request)知道如何解析從HTML解析出DOM,並從DOM中找到相應的元素,簡單點就是soup一類的庫

知道如何從無結構的資料中提取出結構化的資料,或者從乙個結構轉成另外乙個,比如上面的DOM提取元素加入到乙個list就是乙個轉換過程。

知道如何使用併發,注意是並非而非多執行緒並行。

Python爬蟲學習?

阿亮的Python之路 正好,最近在寫乙個Python爬蟲的系列。阿亮的Python之路 爬蟲系列 1 什麼是爬蟲,玩爬蟲的正確姿勢有哪些 阿亮的Python之路 爬蟲系列 2 Http請求和響應,寫爬蟲這些內容必須掌握 阿亮的Python之路 爬蟲系列 3 谷歌瀏覽器的基本使用阿亮的Python之...

Python爬蟲需要學習那些東西?

影子 爬蟲是python中的乙個方向,本身就有現成的第三方庫可以使用。例如 requests urllib等,當然還有框架如Scrapy。這個是由淺及深的,剛開始把最基礎學習紮實了,學習後面的就會輕鬆很多,還是從最簡單的學起,而且要系統的學習。 BBQ 其實入門爬蟲一點也不難。基礎語法是必備的 然後...

Python爬蟲傳送post請求要攜帶哪些引數

暗淡的年華 12345678910import requestss requests.session login data post 資料s.post http login data驗證是否登陸成功,抓取 https www.wd 知乎 tn 44039180 cpr fenlei bIi4WUvY...