1樓:程式設計學苑
爬蟲是python眾多方向裡比較簡單的乙個分支,想學會爬蟲,只需要學會python基礎即可、從函式到物件導向到模組,當然還需要一些資料庫基礎比如mysql,mongdb等等有了這些基本就可以進入爬蟲的學習了
2樓:Mr.siri
1、python語法及資料結構,物件導向;
3、requests模組、以及頁面解析方法(re、bs4、xpath、pyquery等)
4、資料庫知識(增刪改查)
5、框架,scrapy、pyspider(雖然沒人用pyspider)
6、分布式集群
剩下的就要實踐中多了解反爬的知識了。
3樓:
基礎知識大約只需要:
知道怎麼用http客戶端請求資源(request)知道如何解析從HTML解析出DOM,並從DOM中找到相應的元素,簡單點就是soup一類的庫
知道如何從無結構的資料中提取出結構化的資料,或者從乙個結構轉成另外乙個,比如上面的DOM提取元素加入到乙個list就是乙個轉換過程。
知道如何使用併發,注意是並非而非多執行緒並行。
Python爬蟲學習?
阿亮的Python之路 正好,最近在寫乙個Python爬蟲的系列。阿亮的Python之路 爬蟲系列 1 什麼是爬蟲,玩爬蟲的正確姿勢有哪些 阿亮的Python之路 爬蟲系列 2 Http請求和響應,寫爬蟲這些內容必須掌握 阿亮的Python之路 爬蟲系列 3 谷歌瀏覽器的基本使用阿亮的Python之...
Python爬蟲需要學習那些東西?
影子 爬蟲是python中的乙個方向,本身就有現成的第三方庫可以使用。例如 requests urllib等,當然還有框架如Scrapy。這個是由淺及深的,剛開始把最基礎學習紮實了,學習後面的就會輕鬆很多,還是從最簡單的學起,而且要系統的學習。 BBQ 其實入門爬蟲一點也不難。基礎語法是必備的 然後...
Python爬蟲傳送post請求要攜帶哪些引數
暗淡的年華 12345678910import requestss requests.session login data post 資料s.post http login data驗證是否登陸成功,抓取 https www.wd 知乎 tn 44039180 cpr fenlei bIi4WUvY...