爬知乎總被封 IP 怎麼辦？

1樓：粉領銀槍霸霸王

以前也爬過知乎，主要是以下兩點∶

1.每兩個請求之間需要等待乙個隨機的時間，每連續五十個請求之後等待長一些時間(比方說一分鐘)。完成這一步大概可以讓你的爬蟲穩定爬一小時之後，才被封IP.

2.有錢的話購買IP pool，沒錢的話去學校圖書館這種可以連上WiFi的地方不停的換地方爬

2樓：

都是瞎幾把回答。你用自己的身份資訊去爬，下面的人居然說換ip，真是傻x了。能夠通過賬號反扒的何必要通過ip？你乙個賬號換無數ip去併發有個鳥用，

3樓：琴梨梨

乙個ip不控制速度被封正常

建議不斷換ip，如果不想用ip池，可以直接在阿里雲上弄彈性公網ip，一台底配ecs不斷換彈性公網ip，有效解決這個問題

不過經常換ip還需要換使用者，乙個使用者爬容易被發現，畢竟能幾分鐘換幾個ip很不正常

4樓：

自己寫乙個或者找乙個ip池掛proxy，幾個UA輪換使用（這個不一定有用），一般這樣的話就基本上OK了，寫爬蟲先了解了解web建站的知識，別弄得連http協議都搞不懂就要寫爬蟲。Python的requests庫確實好用，但是效率確實不高。

5樓：雪媚涼

你家隔壁住了個大財主，你去偷配了一把鑰匙，結果你山寨的技術不到家，死活開不了門。你拉著財主不依不撓，「財主，為什麼我有你家的鑰匙，門還是打不開啊」。

財主苦笑了一聲，張貼個告示：有雞鳴狗盜之徒，欲取府上錢銀，被家丁所擒，今張告示，止為天下英雄笑爾！

6樓：hangcom

利益相關者 @xlzd 已經回答了，說到底是題主沒有控制訪問頻率，並且整個程式核心都在於怎麼爬，而沒從反爬者的角度去考慮。

1、某個使用者停留時間超長

2、某個使用者的幾個動作沒有前後關聯，不停地發生

3、某個IP上多個使用者不停地操作

4、某個使用者不停地變化IP

所以說做乙個完善的爬蟲系統，周邊工程一大堆，做到這些再來爬，估計對方願意請你一起喝茶聊天：

1、建設自己的IP池，而不是簡單的購買IP服務，這樣不用每次請求都不停切換IP；

2、維護自己的使用者池，把乙個大的爬取工程分布到N個使用者身上，相對比較安全合理；

3、如果IP池和使用者池有效，設計乙個任務排程中心，每個使用者+IP分別完成哪一部分任務，完成之後再切換使用者+IP，設想有1000個使用者同時爬（其實只是少量的機器，比如1臺低配阿里雲），構造出合理的日活，完成的量遠比單賬號完成的多；

4、如果規模再擴大，在爬蟲機上做擴充套件，可以彈性控制爬蟲機的數量，1-100臺只看你心情。

最後利益不相關：我當年爬知乎的時候還沒有限制，然後爬來的資料不知如何用就不爬了:D

7樓：廖雪峰

你發的header和瀏覽器發的完全不一樣，爬一次就能被識別出來至少得加上：

accept-encoding: gzip, deflate, braccept-language: zh-CN,zh;q=0.

9,en-US;q=0.8,en;q=0.7

8樓：歐陽浩南

這個時代有了知乎，就是壞了人的解難能力。

這麼簡單的問題都不自己動腦子想想啊？

我單程序單執行緒爬網站都怕被封了，你還連開五個……像個乖乖一樣爬蟲，除了谷歌這些有設每天請求量上限的，基本都不出事兒。

9樓：loco

單ip + 5個併發 + 無間隔，這麼明顯了不封你封誰？

順便提醒一下題主，登陸cookie、apikey一類的東西不要在公共場合發出來。