Python crawler 問題
無糖零可樂
82 回覆
1 Like
9 Dislike
想學下你點解captcha
我有data 你唔洗由頭寫
咩data?
咪你做緊呢堆股價囉
我想了解滑動型同認字
我主要想練下點係網上攞資料啫
你幫我寫吓 我可以教你pandas
點睇
點睇正你想寫咩先
tg@ivan1028傾啦，真係幫到你
試下
有時連css都唔洗寫，已經整好晒變左df
pd.read_html有時連css都唔洗寫，已經整好晒變左df
唔洗啦 我都打算買書學
請問可唔可以講多少少?
呢個都有D興趣都學
呢個都有D興趣都學
好多website都鐘意用<table>去裝住啲數字嘅內容，例如aastocks/yahoo finance/finviz呢類財經網站，用pd.read_html就最好。我見你用xpath指來指去要搵某個數字，如果你將個html content直接入去pd.read_html，pandas係識parse晒所有搵到嘅table然後return a list of dataframe比你。例如係咁寫：
一旦你拎到200 OK，首先就試下入pd.read_html睇下搵唔搵到你要個數，pandas搵唔到先用css selector/xpath去搵。前題係你個webpage必須係static，如果個數係要execute javascript先拎到，始終要用番selenium個類方法。
resp = requests.get(url)
dfs = pd.read_html(resp.content)
# suppose your table is the third one
your_number = dfs[2].iloc[1,2]一旦你拎到200 OK，首先就試下入pd.read_html睇下搵唔搵到你要個數，pandas搵唔到先用css selector/xpath去搵。前題係你個webpage必須係static，如果個數係要execute javascript先拎到，始終要用番selenium個類方法。
即係如果係攞一啲form既data既話用pd.read_html會比較好?
定個意思係用pd.read_html定位個<table>比用xpath好?
因為如果做模擬輸入既話好似selenium會好啲
定個意思係用pd.read_html定位個<table>比用xpath好?
因為如果做模擬輸入既話好似selenium會好啲
你講緊aastocks入股票number？如果係url有埋個form data咁你砌好條url直接用GET request射server就拎到個page（可能要set user-agent header）。HTML通常都一係GET一係POST，用python砌好個packet，server個邊通常都照response。用selenium實得，但會變得間接同慢，視乎你要download幾多同幾快？
一係GET同POST唔太明
因為而加用selenium好似要等先攞到data
packet 呢方面真係唔太識
想學下點用
因為見人地好似都係一個packet 就可以去處理好
好似幾好咁
因為而加用selenium好似要等先攞到data
packet 呢方面真係唔太識
想學下點用
因為見人地好似都係一個packet 就可以去處理好
好似幾好咁
咁你首先要去了解下browser係如何運作。
當你用browser或者selenium去訪問一個website例如aastocks，好大機會首個GET request就係問server拎個plain html document。如果你見到網址最尾有一堆野，例如係
如果你用selenium要等，咁有可能你要拎嘅數，本身並不存在於plain html入面(例如你要控制selenium去某個box打個股票number然後click某個button)。但你諗下，當你click某個button時，其實都係向server發出一個新的GET(或POST) request，咁情況你只需要知道你target要拎嘅數字(例如股價)存在於邊個request當中，然後用python直接射出相同request就可以。你可以玩下Chrome個developer tools，當你按下submit button時，去Network個tab可以睇到佢send咗個咩packet出去(通常有幾十個咁多，你留意最先發出的一兩個就OK)，好大機會就係一個簡單GET request。
如果係第二種情況，佢個數字係要等selenium行晒啲javascript先拎到，咁你可以留意下Network個度發出個十鳩幾個packet，有冇邊啲係屬於json/csv/txt之類，呢啲可能係javascript向server發出用來update番數字的packet，如果你搵到，咁就用佢條url直接拎個json就搞掂啦。
如果server唔肯直接比個json你，咁佢地個backend都係高手，咁無計啦你唯有跟佢規矩用selenium行晒全部step啦。
當你用browser或者selenium去訪問一個website例如aastocks，好大機會首個GET request就係問server拎個plain html document。如果你見到網址最尾有一堆野，例如係
http://www.aastocks.com/tc/stocks/quote/quick-quote.aspx?symbol=00700咁呢個就係GET request，你用requests.get(url)就可以send同一個packet去server度拎番同一個html document。當你browser接到plain html之後，佢會去run個document入面嘅javascript，然後呢堆javascript會再向server發出不同的request拎其他野，例如係圖片或json，最後就係你browser砌番個完整網頁比你睇。如果你用selenium要等，咁有可能你要拎嘅數，本身並不存在於plain html入面(例如你要控制selenium去某個box打個股票number然後click某個button)。但你諗下，當你click某個button時，其實都係向server發出一個新的GET(或POST) request，咁情況你只需要知道你target要拎嘅數字(例如股價)存在於邊個request當中，然後用python直接射出相同request就可以。你可以玩下Chrome個developer tools，當你按下submit button時，去Network個tab可以睇到佢send咗個咩packet出去(通常有幾十個咁多，你留意最先發出的一兩個就OK)，好大機會就係一個簡單GET request。
如果係第二種情況，佢個數字係要等selenium行晒啲javascript先拎到，咁你可以留意下Network個度發出個十鳩幾個packet，有冇邊啲係屬於json/csv/txt之類，呢啲可能係javascript向server發出用來update番數字的packet，如果你搵到，咁就用佢條url直接拎個json就搞掂啦。
如果server唔肯直接比個json你，咁佢地個backend都係高手，咁無計啦你唯有跟佢規矩用selenium行晒全部step啦。
我用呢條去拎 win007 波盤啲料
詳細到呢 其他網都冇咁勁
我都慢慢去load下
因為一直用selenium 都係講點用
但冇講解個原理
即係其實我可以直接request我想要既data
而唔洗等佢load曬全部野？
咁如何我知道左send咗個咩packet出去
咁我應該點GET request？
而第二個情況其實係唔係代表我條url直接拎個json
而唔洗理其他野？
但我有左佢個json要點去分散為我想要既野？
咁其實我用xpath係要經browser整合
先再去攞我要既野
我有冇理解錯？
如果係咁 咁就唔怪得會慢
因為我有試過用ie
個速度仲
aastocks個網我都係練下野
之前仲試過馬會個網
感謝高手巴打指教 真心學左唔少野 越嚟越想知多啲
我都慢慢去load下
因為一直用selenium 都係講點用
但冇講解個原理
即係其實我可以直接request我想要既data
而唔洗等佢load曬全部野？
咁如何我知道左send咗個咩packet出去
咁我應該點GET request？
而第二個情況其實係唔係代表我條url直接拎個json
而唔洗理其他野？
但我有左佢個json要點去分散為我想要既野？
咁其實我用xpath係要經browser整合
先再去攞我要既野
我有冇理解錯？
如果係咁 咁就唔怪得會慢
因為我有試過用ie
個速度仲
aastocks個網我都係練下野
之前仲試過馬會個網
感謝高手巴打指教 真心學左唔少野 越嚟越想知多啲
我都試過用soup去攞 但好似比較麻煩
不過應該係我問題
但你好多個loop喎
你係每分鐘攞一次？
不過應該係我問題
但你好多個loop喎
你係每分鐘攞一次？
因為 win007 太撚慢 （而我仲要俾佢 block ip)
所以我係用 vpn 一炮過 download 晒先 run，呢度講緊一個聯賽一年，我手上有成幾萬個
Btw live 既我 scrap bet365 馬仔賠率
)所以我係用 vpn 一炮過 download 晒先 run，呢度講緊一個聯賽一年，我手上有成幾萬個
Btw live 既我 scrap bet365 馬仔賠率
點解會block 你IP