scrapy在爬網頁的時候是自動採用多執行緒的嗎?

時間 2021-06-03 13:59:36

1樓:

因為Python GIL的存在,scrapy無論如何設定都是單執行緒的。Scrapy裡預設是10執行緒的設定是指的Twisted的執行緒,可以用來並行處理DNS之類的。

但上面這些都不重要,因為爬蟲是IO密集型的操作,所以只要有併發就可以了,無論是利用協程,callback還是其他方式實現併發。所以你要修改的不是執行緒數目而是Scrapy裡request的並行數,只要這個數目大了一般速度都會增快,如果並行大了速度卻沒有提公升,可能是DOWNLOAD_DELAY太大了,或者用了blocking的pipeline,等等原因吧需要自己去思考

這種問題在知乎上問沒什麼意義,不如直接去仔細讀讀文件

2樓:了空

自動就是多執行緒的,修改執行緒數可以參看這個文章。

3樓:alice li

在哪個檔案中修改scrapy的執行緒數目呢?我看網上都說使用from twisted.internet import reactorreactor.

suggestThreadPoolSize(30)這兩句話就可以修改,但是我試了沒有用。。

想知道你們在情緒要爆發的時候是如何控制自己的?

MOON SAILOR 身為乙個沉悶的星座x 情緒很不穩定時候多數會選擇閉口不言,沉默,乙個人靜靜。但是身為乙個脾氣很暴躁的星座x 我深知自己有時候無法控制自己即將爆發的情緒,說了自己不想說的話,回過頭來懊惱,做了自己不想做的事情,回過頭來懺悔。不過沒有出格的,也不會有傷人的。這大概是自身的素質吧 ...

在我人生中最低谷一點點努力向上爬的時候的時候,她離開了沒有理由說成功了可以繼續,真的還有必要回去嗎?

韓建文 孤軍奮戰時丟了心裡最後的慰藉和心裡依靠!懂你那種不捨 不甘 但是人家已經作了選擇,你做了什麼和人家無關了 即使有一天回頭成功了,再遇到相似情況,你還要承受一次背離。這是犯罪心理學,也是人的必然!錯過的事相同情況下更容易錯,何況人家不以為錯!人家的人生,人家有自主權!選擇權!對方已經選擇了,相...

和熟人聊天,在快要結束的時候,最後一句話是自己說好呢,還是對方說好呢?

不留不念不語 我覺得不用在意。不過我一般會選擇自己說,因為我覺得我跟誰都不熟。這個時候我會發個豎起大拇指的表情包,不明就裡但誰都懂該結束了 野比耶啵 你聊著聊著不見了她也不介意繼續跟你叭叭叭的發訊息,然後你有空了回來再繼續接著回答她繼續侃大山,或者她聊著聊著不見了你也完全不介意並繼續傳送10087 ...