寫左隻Web Crawler集中公營機構嘅職位空缺,你問我答(2)

我都無乜方法. 我D listing page reducers都係c&p.
都會有寫D builder func 去build d 簡單CRUD reducers/actions (i.e. input prefix => redux actions / state handling for reducers). 但主要都係c&p. 有bug就真係仆街

請教一下crawler果part既spec係點樣？
直接retrieve html再拆？還是抽json出黎？定係其他？
同埋係咪係js裡面做？

每個site唔同.
大部份都係拆HTML,都有D係搵佢API URL拆json

server有隻cron定時做, Java Jsoup parse DOM

正評#

推
留名學野+睇到有幾份IT工啱自己

想問下你係拎咩做web crawler?
Python嗰啲？

我都睇到，但有好多工都無寫幾錢人工，
咁點apply 啊....

呢啲濕勁機構不嬲價低者得
send 自己目標價去試囉

好似好勁 我唔太識
暫時淨係識用python做local crawler

其實無乜咁勁.都係一樣咁9拆html

自用write做excel, 我要放出黎就write mongodb. Crawler part本質一樣.

咁http api 就同crawler完全無關,單純係query db => return data.

website/app又係同以上無關,單純係call http api => display data in UI

分開睇就知好simple