Python crawler 問題

想知下soup同selenium既分別係咩?
因為我暫時用selenium就覺佢幾方便
但真係幾慢

https://blog.gtwang.org/programming/python-beautiful-soup-module-scrape-web-pages-tutorial/
前提係要個網站對web crawling friendly
直接拆佢頁HTML同啲get post方法

咁係唔係唔洗理frame同xpath個D??

都要理都做少步控制點click掣

selenium用得python嘅話用interactive mode 逐行逐行試應該會易啲揾問題

有啲網站要用戶用個browser 再load js code 先會display content
呢啲要用selenium去 simulate成個流程

有啲網站用static html
用 soup就最爽

通常酒店價格 旅行機票 store 賠率都要用selenium先拎到

可能我之後會研究下點樣用soup

係呀 而加好快就知係邊個位出現問題
但要煩點解決

我都睇到可以用 js
但我又唔知幾時會用到
應該話我唔知點判決要唔要用 js

你print晒d HTML code出黎咪知headless開出黎既網頁係咪同正常一樣囉

lm學野
多數用selenium
有時啲動畫未load到㩒唔到個制我會叫佢sleep 1-2秒
有無啲好啲既方法？

用WebDriverWait
你可以貼啲code上黎比其他大佬幫幫你

搵到原因啦 下次先用你既方法

https://www.browserstack.com/guide/wait-commands-in-selenium-webdriver

無記錯 我用過explicit wait 等佢個element load完 先再做action
幾年前 覺得唔太準
幾個月前試過 又覺得ok
你睇下啱唔啱洗

其實點樣用soup撈 soup唔係parser黎渣咩

Soup直射rest request再parse json

selenium都可以射 page source 去soup parse
點解講到好似兩個唔可以一齊用
利申:唔識

可以 無話唔得
通常有js先用selenium
做到client side rendering
無就soup算
Selenium做parser有啲大材小用

static pages可以用scrapy黎開
beautifulsoup係HTML parser黎 selenium同scrapy都可以用

requests+json已經得
如果有cookies既話 可以用selenium-requests

其實可以
不過只係static html
用requests拎落嚟
再用soup parse
都快

而selenium
坦白講 當時搞config 好撚煩

但有陣都係要用selenium黎搞啲captcha
有得用requests邊個想用selenium

當然喇
selenium好似本身可以拎elements data
如果係咁
我就無試過selenium + soup一齊用

反而想知你點用selenium搞captcha

淨係解過滑動型同認字
google個種recaptcha v3唔識搞
有無大神教

如果係 iframe 裏面既 element.

會唔係document ready 但個 frame係未 load 完就execute 個 get? 所以no such element.