留名學嘢
問吓有冇方法scrap 一個網站入面search嘢入面嘅所有data
例如好似search間舖頭有啲咩product咁
Python crawler 問題
無糖零可樂
82 回覆
1 Like
9 Dislike
因為我用 python 瘋狂 download
So far 應該四萬幾場波
佢兩萬次之後就 block 左我了
而家download 都要加 sleep(3) 唔可以行太快
So far 應該四萬幾場波
佢兩萬次之後就 block 左我了
而家download 都要加 sleep(3) 唔可以行太快
咁都幾狼喎
有冇入落自己database ？
啲data 分析完賺唔賺到先？
有冇入落自己database ？
啲data 分析完賺唔賺到先？
一定得 不過d code係要為個別網站寫
因為個個網站放data既位都唔同
Url format都係唔同
因為個個網站放data既位都唔同
Url format都係唔同
新手想問下 連登係咪crawl唔到
用urllib.request 已經加埋headers 都係HTTP:FORIDDEN
本身諗住crawl 連登每日熱門有咩po去做熱身點知已經卡關
我跟個台仔youtube crawl ptt都crawl到
用urllib.request 已經加埋headers 都係HTTP:FORIDDEN
本身諗住crawl 連登每日熱門有咩po去做熱身點知已經卡關
我跟個台仔youtube crawl ptt都crawl到
貼code上黎睇睇
import urllib.request as req
url ='https://lihkg.com/category/2'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'
my_headers ={'User-Agent': user_agent}
r = req.Request(url,headers = my_headers)
#request obejct with headers
with req.urlopen(r) as response:
data = response.read().decode("utf-8")
print(data)