1樓：黃耀
不要用C++
不要用C++
不要用C++
如果你是以爬取資料為目的，而不是以學習C++以及多執行緒程式設計為目的，強烈不建議C++
如果是為大公司開發大型資料爬取系統，另當別論小公司或者個人開發爬蟲，或者要求開發周期短，強烈建議Python沒寫過爬蟲，熟悉一下，很快也就能寫出乙個不錯的爬蟲以完成任務若使用python可考慮在Scrapy基礎上修改訂製開發或者直接自己用python寫爬蟲，借助request+beautifulsoap很快完成，借助Pool可並行,縮短時間
PS: 最近參與了C++爬蟲開發，感覺十分的蛋疼。。。如果用python我一晚上就搞定了....
2樓：王建
如果你真想要在爬蟲上考慮速度和效能的問題的話，我覺得用集群來做 mapReduce 更為靠譜，在語言的效能上糾結最後效果其實也不顯著，但是還是盡量避免C++寫爬蟲，何必呢
3樓：hearts zh
我改過乙個scrapy，改成用thrift框架分布式。
當時的想法是，其中某些部分例如網頁處理，如果有瓶頸，可以弄成C++重寫一下。
不過只是寫著玩，後來忙就沒動力繼續改成C++了。用python寫還是快很多。
4樓：
用 C++ 寫程式開發慢 bug 多優勢不明顯。資源管理、記憶體訪問，各種細節的坑數不盡數；能不必須用的時候當然應該選擇迴避。
Ruby 的話，可能因為是火起來的時間比較晚，所以資源比較少吧。
用Python寫爬蟲，用什麼方式 框架比較好？
如果是新手入門建議先不用框架，自己擼 等熟悉以後可以上 Scrapy 框架並且可以研究下原始碼。當然如果需要採集資料，可以先在 GitHub 上搜尋下，一般的需求在 GitHub 往往已經有很多類似的專案可以滿足。這裡推薦下 AkShare，基於 Python 的開源財經資料介面庫 hunt zha...
爬蟲是不是用 Node js 更好？
全棧研習社 用不習慣python，所以自己用nodejs寫了乙個https 從描述上看，似乎尚未涉及 PhantomJS 分布式，外掛程式等。所以，其實樓主的問題不是用什麼語言好，而是先把各種技術了解清楚。爬不到可能會有很多情況，是不是網路質量問題？是不是請求被伺服器拒絕？是不是記憶體 或者其他 不...
各種語言寫網路爬蟲有什麼優點缺點？
一枚 推薦乙個C 寫的爬蟲軟體，這個軟體已經有十來年，架構較為成熟，速度快，使用簡單。http www.sensite.cn bget 除了新增抓取任務，還可以在上面開發自己的外掛程式。 用c python erlang scala go js都寫過爬蟲 簡單說，技術方案，首先得看需求 2.資料規模...