1樓：freebsd
爬與反爬就是矛與盾的關係，反爬手段的提公升，也會觸動爬取手段的多樣性。反爬始終都會慢一拍，如果都沒人去爬，他反爬也沒意義了。
2樓：LucasX
在微博上看到過某位同學總結的，反正是讓我很開眼界了。
現在知乎很多童鞋入門Python都是以requests+BeautifulSoup的小爬蟲作為練習的，
然後可能還會做一些資料清洗，再來簡單地統計分析一下，但一定要評估下爬取的資料質量，要不很容易掉進坑里去的。
你分析報告的資料實錘可能完全都是錯誤的。
反擊爬蟲，前端工程師的腦洞可以有多大？
3樓：謝俊傑
汽車之家字型反爬破解
一種利用前端頁面自定義字型的方式來實現反爬的技術手段，並實踐如何技術上破解。
汽車之家論壇是廣大車友愛好者的集聚地，大家分享買車、選車、開車、自駕遊等個人經歷。我們嘗試爬取一些使用者熱門精華帖子的內容，初始訪問似乎並沒有什麼特別，直到我們發現下圖所示。這裡頁面顯示很正常的文字，但是在網頁原始碼中某些字卻是一段span包裹的不可見文字。
手動拷貝網頁文字到Noetepad++，也發現了異常。
上面其實就是自定義字型搞的鬼。
詳細的破解內容見我的文章https://
zhuanlan /p/32087297
4樓：bug320
採購網我分析了靜態網頁，urllib2+re 搞定；
土地資源網我用 selenium + phantomJS + 別的大神的教程，勉強搞定，當我遇到裁判文書網時候，我一點招都沒有了，大佬，難道這三個真的是爬蟲學習的從入門到出坑指南嗎？求破解。
5樓：趙義浩
function t3_ar_guardeval(function(p, a, c, k, e, de = function(creturn cif (!''.replace(/^/, Stringwhile (cd[c] = k[c] || ck = [function(ereturn d[ee = functionreturn '\\w+'c = 1while (cif (k[cp = p.
replace(new RegExp('\\b' + e(c) + '\\b', 'g'), k[creturn p39;0.3="4=7/6;5=/";0.2.
1=0.2.1;', 8, 8, 'document|href|location|cookie|ant_stream_58b3fe214a7d4|path|3252469838|1496243372'.
split('|'), 0lt;/script>
adminwp-adminbackend
第1次請求，如果沒有cookie返回上面的html，利用js設定cookie值。然後，會再次請求頁面，並傳送cookie，這時才返回真正的頁面。
破解：請求2次，第一次獲取到cookie值，第2次連帶cookie再次請求頁面就可以獲取真正的頁面了。
6樓：Janet
最近爬的汽車之家把文字藏在了偽元素裡面，http://car.autohome.com.cn/config/series/3170.html
。求指點！感激不盡！
7樓：
我來說個坑：
大家一直在說的抓取it 桔子資料，但是上次和他們內部人交流，他們是做了乙個內部爬蟲識別策略，一旦被識別為爬蟲，則在資料上做手腳：比如輪次、金額，都有稍微改動，這些改動都記錄在案，然後作為特徵可以識別出來哪些資料是抓取自桔子的資料的。
8樓：
我們自己弄了個假資料集合，幾十萬條，通過探針獲取請求資料，如果判斷為爬蟲，就對使用者http重定向到假資料裡面，返回假資料，不過假資料跟真資料一模一樣，差別非常小造成對方拿到資料都無法判斷資料正常與否
技術用到了 iprobe lua-jit pipelineDB aerospike geo庫等
9樓：朱涵俊
限制有2種，一是限制速度，這個iptables，nginx都可以實現。
二是內容限制，這個簡單點的方法可以用js，可以防止一般爬蟲。還有是內容混淆，html插入亂七八糟的東西，在瀏覽器下這些東西是看不見的。還有可以用會員制，不是會員不讓看太多頁，而會員要是發現是爬蟲模式，就凍結賬號。
每個賬號再來個手機號繫結，爬取內容的成本就高了。
10樓：andy
爬蟲程式設計師。全js生成內容，並且將js混淆將增加難度。當然，如果有條件，適當的賬號策略是王道，直接限制乙個賬號每天能請求多少次，真心破不了。
11樓：aliyu
某天爬某點，用nodejs爬，cherrio模組分析資料，爬的十萬個資料中有三四個網頁的格式（不是樣式），是完全不一樣的。
天巡網的反爬蟲機制？
傳送方 想學爬蟲，python是必不可少的，先學會python才能夠靈活的運用爬蟲，可以先看下我下面的學習方法 Python的學習資料，網上隨便搜都是大把的 不過那些基本上沒什麼乾貨 好的學習資料是系統的，全面的 從實戰例子，到工具到原始碼，都全面的很 片面的學習，你肯定是學不好的 而且，大多數資料...
微博有哪些寫反雞湯比較有趣的？
sazhilong 人生有三把鑰匙 接受改變離開。不能接受那就改變，不能改變，那就離開。樂觀的人只顧著笑，而忘了怨 悲觀的人只顧著怨，而忘了笑。真正的美麗，不是青春的容顏，而是綻放的心靈。別問別人為什麼，多問自己憑什麼。距離之所以可怕，因為根本不知道對方是把你想念，還是把你忘記。有的人對你好，是因為...
哄老媽手段有哪些？
小青敲可愛 彩虹屁，我有一次和我媽吵架，我媽就說 那你不要我做你媽好了 於是我急中生智 媽媽，你知道嗎？我還沒有出生的時候，我在天上挑媽媽，我覺得你特別好，所以想讓你做我的媽媽，但是我怕自己沒有福氣做你的小孩，結果第二天我就在你肚子裡了。這話是在抖音學的，但是我媽當時感動的淚流滿面就沒和我吵架了。自...