Data Science之你問我地答

非常同意而家個成個生態都鳩得好緊要 大把人得嗰一兩道板斧，一啲連contingency table都搞得掂嘅嘢，就走去開個neural network出嚟 仲要淨係識call library，叫佢解個model嚟聽就話人地通常係咁做，run出嚟係咁就係咁

第一次聽BM25, 又學到野
不過睇落BM25好似係有個search query string做similarity scoring先岩用?

留名

依家最新用Albert

其實最重要係堆parameter
我諗model都係大同小異
btw 巴打用咩方法用Validation？

我follow 唔到,完全唔知咩黎

巴打可唔可以分享吓其他應用例子
譬如乜行業用得最多 最有效？

每個行業都有機會可以用到，不能盡錄
我開左個kaggle揀啲黎list

DS可以用得比較多既example:
房地產物業估價，外國用得比較多
online travel agency做hotel/flight sorting
銀行信用卡fault detection, 洗黑錢detection
電訊業做續約prediction
醫療估人病既機率
保險assess保唔保一個人
call center做call assignment
e-commerce做貨品recommendation，targeted ads
utility 公司例如電力公司做 abnormalities detection
天文台估天氣
賭場馬會估賠率
dating app做matching
生產商睇產品質量
sales/cost prediction

雖然有啲DS都要做，但個人認為應該係AI/ML engineer負責既example, 多數係unstructured data & deep learning:
整chatbot
做新聞/文字情緒分析
真假新聞分柝
睇相認物件，文字
翻譯
speech recognition
醫療睇scan圖片判斷人有無cancer, 心臟病
生物醫療做蛋白質結構分柝
self-driving car
捉棋，打機bot
facial recognition
generate圖片
衛星圖片分柝環境、農業用途
用大量相黎整返個物件既3D model出黎

邊到會請d intern/pt/ jun?

lm

想問下Train LSTM可以點做 encoding? 因為平時用開 mean encoding，但係做 rnn用time series data時候，後面嘅 data 未發生，用 mean encoding 嘅話喺咪要每一個batch input 先計一次 mean? 有幾十萬行data逐個batch 計 mean 咪有排計？ Thanks

用running average?

python > 任何SQL based DB > tensor flow / power BI >> R > weka >>> VS

cloud同nosql db都值得玩下

唔太明，可唔可以比個例子？例如用股票每日幾十萬個ticks做LSTM daily stock price projection?

do you mean lasso or similar for regularization?
Lasso-type regressions can handle million of "features"
Using modified LARS or coordinate descend is super efficient in estimation.

例子係其中一個feature用邊個人個一日係Twitter出post黎估計股票升幾多，跌幾多，我呢一個feature就會係1/9：Trump, 2/9: Elon Musk, 3/9: lady gaga, 4/9 Trump.....

例如9月1日係第一日，Trump出完post，股票升100，跟住我encode trump as 100，9月2日 Trump又出post，股票跌200，跟住我係9月2號呢個input: encode trump as (100-200)/2，如此類推。

如果我有好多個人，我咪要每一日逐個人計一次average？因為太多人所以用唔到one hot encode，唔知可以點solve

model.add()

真 我個team所有ds都係讀完mphil

巴打讀緊phd?

我
Tf1 做過下dproject 仔
見tf2 個架構規律d就去學
真係好似由零學起咁