1樓：Hawk
看了其他答案，講了一堆原理，最後還得自己手動去尋找，太費勁，最後找到了乙個自動的方案：
.自動從meta中識別charset，自動轉碼
2樓：無用的廢柴
對於Python中文亂碼的問題，
之前用的Python2.7版本，也能夠解決中文亂碼的問題，但是太麻煩啊，
但是後來改成了Python3.5版本，就解決了。
所以還是建議改成3.5版本。
3樓：隨風之葉
這個問題之前也遇到過。如果題主是通過命令列使用feed export時出現的問題。有兩種解決方案：
一、scrapy通過呼叫JsonLinesItemExporte來完成輸出JSON格式。只需要在JsonLinesItemExporte的引數中ensure_ascii＝False。
二、通過pipelines中的類來實現自定義輸出json格式。則需要在json.dumps中加上引數ensure_ascii＝False。
分隔線其實JsonLinesItemExporte中就是呼叫了json.dumps來轉換item。
4樓：皮皮呀皮皮
這不是亂碼好不好，這是Unicode，你可以給dump函式加個引數，ensure_ascii，如果你要縮排什麼的，可以用indent引數
json.dump([s],f,ensure_ascii=False)
json.dump([s],f,ensure_ascii=False,indent=4)
5樓：
前兩天寫爬蟲也遇到了
解決：json
6樓：
建議題主先了解一下各種文字編碼
blog.csdn.net/fmddlmyy/archive/2007/02/14/1510189.aspx還有盡量用搜尋引擎解決問題
如何優化 Python 爬蟲的速度？
我之前弄過分布式爬蟲，爬取速度和你的機器數量成正比。整體架構如下 scrapy 從訊息佇列rabbitmq裡獲取起始url，然後處理後的訊息儲存到mongodb裡。然後通過docker批量部署映象到不同的機器。scrapy有致命缺點，就是源站響應很慢的化，大部分cpu會閒置，這樣你即使把併發設定的很...
談談對Python爬蟲的理解
雲裡霧裡 如果喜歡乙個人，就得喜歡和包容她的一切，包括她和男生的正常來往。如果做不到，並不停的為此產生矛盾，那麼最終就是把天聊死了！你這是不自信的結果，既然對方和你已經確定了關係，那麼你還是有吸引力的！所以只要對方不出格，你應當包容。並你提高自己的自信。 西樘 先占個坑，出差坐了幾個小時高鐵剛下車又...
基於python的scrapy爬蟲，關於增量爬取是怎麼處理的？
weni09 這個問題對於我個人非常有幫助，個人覺得自己寫中介軟體,對 url指紋資訊 及 頁面內容hash值 進行持久化 關聯式資料庫，redis，檔案都行，按需 下次爬取比較儲存好的url指紋資訊和頁面hash值，就可以減少重複爬取和重複更新資料。 我是這麼做的 1.資料庫裡儲存抓取網頁的url...