寫爬蟲,能不能不學Python基礎只學scrapy呢

時間 2021-10-16 17:47:05

1樓:Mr資料楊

作為一名寫了5年爬蟲的老鳥來說我覺得不能,而且我在大學講爬蟲也不會直接上框架。進行對比一下你就明白了。

要先學簡單的requests,因為是要熟悉整個爬蟲的流程以及解析資料的過程。這個階段對於小白來說比較友好而且很多地方能一步一步除錯。但是直接上Scrapy框架的話都是給你封裝好了,不看原始碼的話裡面的內容很難理解,尤其是對新手來說。

雖然框架功能很多但是基礎的業務流程和解析資料的內容不了解讓新手直接上框架很容易放棄。因為框架裡面的內容太多了。

如果不是大規模的抓取作業的話沒有必要上框架,簡單的request就可以搞定了。如果是大規模的資料抓取單純的Scrapy框架又不夠,因為你的爬蟲指令碼多了以後管理起來又是一件麻煩事。

所以呢,要以目標為導向一步乙個腳印,別想著一步登天。

Mr資料楊:想要用 python 做爬蟲, 是使用 scrapy框架還是用 requests, bs4 等庫?

2樓:Jacker

個人覺還是不要跳過好,因為基礎還是很重要的。爬蟲基本分這幾步:

1、傳送請求 (請求庫)

requests模組

selenium模組

2、獲取響應資料(伺服器返回)

3、解析並提取資料(解析庫)

re正則

bs4(BeautifulSoup4)

Xpath

4、儲存資料(儲存庫)

MongoDB

5、爬蟲框架

Scrapy(基於物件導向)

可以發現Scrapy框架是最後一步,總不能還沒學會走就想跑了。最基本的requests請求網頁都不學,那學Scrapy的有什麼用,而且不一定能學懂。

學知識還是得一步步來,不能急於求成。

python寫爬蟲軟體能不能爬flash swf ?

郅知之 分析一下後台的HTTP記錄就可以看到 1 獲取實時資訊 semc.com.cn aqi Home RealTimeAirQualityChange返回結果 2 獲取過去30天資訊 semc.com.cn aqi Home AQIChangesInTheLast30Days返回結果 程式媛小雙...

學建築能不能不學手繪直接上電繪?

楊峰 我年紀太老,幾乎沒怎麼用過電繪,兩種手感不太一樣吧,但無論手繪電繪都是手段而已。手繪也要練一練,有時候手頭沒有平板,拿起什麼就用什麼畫,這種情況很多 傾晨一繪 原則上來說,手繪也好,電繪也好,它只不過是一種設計師通過圖形語言去表達設計的一種方式。只要你能通過畫面,跟你的甲方爸爸說明白你的設計,...

看近處能不能不戴眼鏡

觀察者 當物距靠近時 看近距離物體 相距會跟著往後移,使像成在視網膜的後面,所以需要睫狀肌擠壓晶狀體使它變凸,折射能力加強,像便成在視網膜上。而如果戴了眼鏡,由於凹透鏡導致的光發散,使像會成在視網膜的更後面,導致需要晶狀體更加凸才能將像成在視網膜上。軸性近視正是因為晶狀體長時間保持變凸的形狀,使眼壓...