如果網頁內容是由javascript生成的,應該怎麼實現爬蟲呢?

時間 2021-05-29 23:08:03

1樓:kim銘

同上,from selenium import webdriver,直接呼叫瀏覽器操作。

題主所說PhantomJS可以由selenium呼叫,特點是無介面

2樓:大崔

這取決於js有意做混淆還是只是常規ajax。

常規ajax的話直接抓ajax,如果直接是專業混淆的,就直接上無頭瀏覽器。不過無頭效率堪憂,要仔細權衡。

3樓:Elfsong

樓主可以試一下Selenium + PhantomJS的方式。

聽說這兩家公司因為志趣相投已經合體了,用selenium的webdriver驅動PhantomJS可以很高效地爬取到資訊。

------華麗的分割線------

另外可以試下Webkit配合pyQt 雖然我覺得效能沒有Selenium+PhantomJS好

4樓:quitz

有兩種方法,一種是模擬瀏覽器的載入過程,返回載入後的網頁原始碼,這就和你審查元素時看到的內容一樣,相關技術是selenium + phantomjs

第二種是分析在開啟頁面過程中到底發生了哪些請求,這些內容你要靠自己進行分析,找到正確的url位址,爬起這些頁面,得到資料。

如果,遊戲裡的boss是由真人來操作?

葦名林檎 理論上來說這樣也許會有更好的遊戲體驗,不可一世的BOSS的內心也和你一樣像個人,更有人性,這樣就變成了玩家與玩家的博弈。但是感覺只是理論上。平衡性和BUG以及遊戲體驗會變得非常非常難以控制。 我就是死胖子 上面提到的進化,最早起源於L4D的多人對戰模式。另外,榮譽勳章2010的多人遊戲中也...

蛇是由蜥蜴進化來的嗎?如果是,為什麼蜥蜴有眼皮而蛇沒有?

Dan Zhao 蛇有眼皮,古代的蛇類有一支生活在地下所以沒有眼睛,叫盲蛇。生活在地面上的蛇都滅絕了。然後後來盲蛇重返地面。但是已經退化的視力不能再變回來的樣子,晶狀體也不再能聚焦,所以只能通過移動晶狀體來看。而蛇的眼瞼也不再能夠分開,但是蛇的眼瞼變成透明的一層膜,不再有保護作用很容易刮傷,但是蛻皮...

人的慾望是由多巴胺分泌引起的,如果將分泌多巴胺的器官破壞掉,是不是接近佛教的終極目標「涅槃」?

好傻好天真,其實你的問題回答了你的問題。赫胥黎有本書叫 知覺之門 描述了他吸毒後達到所謂宗教境界的異樣視角。邏輯是這樣的,成癮物質或成癮行為的本質是生成多巴胺神經遞質獲得愉悅感,而這種愉悅感最大化就是不分你我,沒有評價判斷 判斷評價是社會性教育結果 也即所謂的空性境界。也許就是你說的涅槃。所以是多巴...