Python crawler 問題

最近想crawler aastocks網既野
咁搵到個xpath 但係xpath helper就出到data
同係python就erorr

[red] no such element: Unable to locate element:[/red]

佢個網用aspx 咁關唔關事?
定要切到frame?

講到有D亂
唔好意思

先睇下撈到個content有冇想要嘅料
根本冇料就廢的

我都係想練下野炸
分析個邊我廢既
要再睇多D書

搵到原因
果然係frame既問題

新問題係
係當唔用.add_argument("--headless")個時就會正常
但一用.add_argument("--headless")就會出
no such element: Unable to locate element

會唔會係我ChromeDriver問題?

ching好有毅力

咁開始左就唔想比佢停
雖然成日比啲bug卡住 搞到好灰
但一del 到bug同明點解之後個下真係好爽

有冇大佬可以救下我
係冇headless下可以正常
但係headless 下就有部分xpath搵唔到
會唔會係係headless冇轉個frame？
headless轉frame要其他方法？
有冇方法知轉左frame未

唔用soup？

aastock用soup拎會方便啲

你係咪得閒寫code? 你搵我啦Tg@ivan1028

之前睇其他人推薦用salenium

可以做到模擬登入 同要唔要轉frame?

就係用緊salenium 呀

有野好介紹?

其實你自己都搵到個問題
好多網站都block左headless既request
你可以Google下有d方法可以workaround

因為我係先轉左一次frame
之後就模擬左click
然後再轉多一次frame
去做輸入
而個問題就係第二次轉frame做輸入個到出現
所以我覺得唔係block headless方面
似係轉frame個邊有問題
但正常模式下又可以轉到frame
咁先係最奇怪

個網係咪有resizing 之類嘅設計 一縮細咗就走埋啲elements

我都諗緊會唔會係呢個問題
上網有D話set 個大細就得

又成功解決個問題
原來真係大細既問題

Yes

有咩介紹?

個人覺得selenium係最後手段
慢得嚟又要控制點click啲掣等佢load
被人ban crawling而個網係唯一來源先會考慮