為什麼python beautifulsoup解析網頁後網頁內容丟失?

時間 2022-01-20 02:57:38

1樓:澤鋒

有沒有哪位大佬試過,使用request 獲得的頁面內容與直接使用Chrome裡的不一樣,同乙個URL,request請求得到的正文會有部分缺失,用chrome卻是完整的?

2樓:李佳達

可能的原因是由於你處理的文件太大,而處理的解析器快取不夠造成的資訊丟失。可以換乙個解析器試試,你使用的應該是lxml吧,試試html.parser。

soup

=BeautifulSoup

(page

.text

,"html.parser"

)應該是這樣的

3樓:hh gg

或許windows記事本編碼問題吧。 用UBUNTU試試

4樓:

最近剛好在學習BeautifulSoup,題主的問題應該是編碼的問題。建議把prettify()去掉試試。

另外如果想繞過登入的話,除了模擬登入外,還可以複製登入後的cookie,並以字典的形式傳入requests中。

如果想讓requests自動管理cookie的話可以用Sessoin方法,但是要把dict型別的cookie轉換為cookiejar型別:

#將字典轉為CookieJar:

cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

#其中cookie_dict是要轉換字典

轉換完之後就可以把它賦給cookies 並傳入到session中了:

s = requests.Session()

s.cookies = cookies

s.get(url)

注意,只有字典型別的cookie才需要做轉換,如果是模擬登陸的話不需要轉換,requests會自動處理。

為什麼要重男輕女,為什麼?

Stunk 簡單說說國內重男輕女的假象 嫁出去的女兒潑出去的水 這是一句俗話,深入人心 現代社會,物質生產跟上來了,女兒們開始反哺原生家庭了,於是也出現了農村地區殺男嬰的故事 先說說古代為何 重男輕女 因為女兒不顧原生家庭 在物質匱乏的古代,生存本來就是一件難事,讓女人來顧家是不可能的 怎麼得出這個...

為什麼那麼焦慮?為什麼那麼勢利?為什麼那麼急於成功?

個人感覺最重要的是人在社會中的安全感。其實真不是每個人都那麼地渴望成功,而且成功的定義本來就是多種多樣的。但在中國,如果你沒有達到廣泛定義上的 成功 你可能會有以下的結果 你可能在城市中會隨時沒有安身之所,你可能會遭受不公但投訴無門,你的父母至親可能患病也得不到最基本救助,你的孩子可能得不到平等的教...

我為什麼是我?為什麼?

主角戲 馬克思說過,人是所有社會關係的總和,所以首先,你作為人來說,你只是你周圍所有關係的總和,你的偏執,你的瘋狂,你的愛情,你的孝順,你的所有人生觀,價值觀,世界觀,宇宙觀,形成了你。但是你錯誤的把這些當成了你,其實這些都是人的錯誤認識,心 的本體,也就是能生萬物,能生萬法的這個東西沒有被發現之前...