Data Science之你問我地答

Btw講起Uber諗起佢個self-driving car撞死左人

Self-driving car只相信elon musk, 幾年前就竟然predict話Lidar唔應該用。

依家佢越來越啱...普通cam可以做depth sensing,準確度越來越高

HKEX data center好似唔喺中環

我覺得最大考量係Lidar要用moving part, 所以更容易有mechanic failure，對普及同埋穩定都有挑戰

巴打點睇Ibank Data analysis 位
應該係幫啲algo trader 砌Data 做下back test咁
Interviewer話一年後會掂到寫algo trading algorithm
其實呢啲位係咪打雜黎

睇你點定義打雜

Data science 發展得最好 同 讀data science最好 呢兩類嚟講 最勁嘅國家係邊度？

真係睇你點睇。junior通常係寫script爬data，或者係做人手labeling，data wrangling，搵features，但係人地比得起5萬-7萬請Analyst year 1（如果唔係咁水平你要衡量下係唔係真係入左ibank），你係唔係應該做幾年先，比著你係老闆，會唔會第一年就放手比你寫Algo掉真錢trade？

8年前，最heat既IBD，MBA畢業，都係入去做影帝影后咋，即係負責影印，釘裝同distribute IPO材料雜，同文書無分別。

或者話，有咁既機會，醒目人總係會搵到機會學野。

唔該巴打

有d興趣想接觸下
小弟undergrad時讀psycho
有冇機入到行 其實都想讀相關master但聽聞都好大競爭
我見city hku 同cu都要求compu同science degree

ug biomedical engineering , 但bio 底其實唔掂，個個bio related courses都低空飛過，反而maths , physic, logic 果d 就另一個extreme
諗住將來報data science , ai 或者stats master
希望呢個combo 會有幫助

有deep neural network 問題想請教下
想construct 個十幾層類似VGG 嘅CNN
但計落應該有過億個parameters
GPU 爆memory
啲咁deep 嘅network 點先可以memory efficiently 咁 train
定係一定要買幾個GPU

冇㗎，爆GPU memory 你唔想點改code都係改細嗰batch size, 改少幾層layer 㗎喳，一係就用粒勁啲嘅GPU

用多幾粒GPU你都要改code 就distributes training 先。

仲有嗰方法嘅，就係改到嗰train code只係用gpu 嗰陣先load memory 上gpu, 一層一層咁，其他時間放返係CPU ram(唔好同我講CPU都唔夠ram) forward pass 還好，backward pass我唔知PyTorch/tensoprflow 嘅auto grad support 唔support 玩，雖然你係點都可以自己做Weight update嘅。不過嗰做，因為成日要transfer data between CPU 同GPU, 一定會train 慢咗好多

你都可以睇吓呢篇嘢嘅，exactly 你嗰問題黎
https://medium.com/syncedreview/how-to-train-a-very-large-and-deep-model-on-one-gpu-7b7edfe2d072

買張tesla a100a100

40GB GPU rsm

利申已訂

幾個少少suggestions
1. 學好啲classical machine learning 先，make sure 你知佢地點運作，有乜（hyper) parameter, 最好implement 過一次證明自己真係識，而唔係睇咗當識。 因為實際上，好多時嗰problem 未必有咁多data 畀你去fit deep learning model, 同埋學呢啲theory係幫你distill 返machine learning 嗰本質係乜

2. 學啲classical machine learning algorithm嗰時順便train up 埋自己對probability 同 stats 嘅知識，machine learning ，簡單例子，你學Linear regression就要知同佢同MLE同MAP 有乜關係，佢同其他algorithm有乜關係，呢啲對於你要自己度Loss function 嗰最好有用

3. 唔好預上堂你就可以明，除非你本身好勁，數底好好，唔係嘅要expect 睇好多書，好多時你以為明，其實係因為冇諗清楚。最好做吓textbook 啲exercise, make sure 自己識，你要當自己讀緊數，因為根本上佢係

4. Computer science 知識好重要，有幾會應該take CS course 應該take 多啲，因為就算係寫script 都有分寫得好唔好，同埋CS education 會畀倒你mind set/toots 去tackle 一個問題。其本上你有呢啲mind set 你就唔應該再問「應該學邊啲library，用R 定python 好」呢類問題。 我會覺得CS grad + proficient math knowledge 係最好嘅data scientist background
同埋，data scientist 應該都要知 成條pipeline 點起同有能力起，呢啲唔洗特別上堂學，你有CS底，應該一邊睇doc 一邊set 就得，因為你應該心入面已經知啲tools 做緊乜，你只係要駁埋佢地，呢啲係CS education 畀你嘅嘢

5. 諗清楚自己係唔係真係想做data scientists 好多時做嘢真係9試（好聽啲就educated guess）唔知work 唔work㗎喳，真係同普通科學家做實驗一樣，可以做到好depress。
business 人又成日唔知扮知，你要好耐心咁教導佢地你做緊嘅哩其實係做緊乜，有乜用，唔係嘅話，佢地嘅落差會好大，因為佢地真係覺得AI 好勁，可以乜問題都解決倒㗎

真正ds應該係幾高難度嘅工作
香港又似乎唔係咁多位
點解咁多人想入行

去做課金game好過啦 低技術錢又搵得多

試真係好緊要
簡簡單單拎個mnist dataset去玩
較吓hyper-parameters,加減layer/每層neuron量
已經可以觀察到好多嘢

揾得多都係間廠多姐我估

唔熟行情，點解咁講？

巴打好有心機
睇過幾本書
由sklearn 學起，再睇啲tensorflow
法國啲書範圍好broad, 但內容唔夠deep
佢想講晒啲models, supervised, unsupervised, reinforcement learning...
但每個topic 都講得唔夠deep
例如佢會話minimze cross entropy, 但冇講乜係cross entropy, 點計出嚟
backward propagation 點 derive
巴打有冇啲classical ML 嘅textbook 可以介紹下

Classical ML經典嘅書我諗有PRML同埋Murphy...

cross entropy google咪有

cross entropy你要讀information theory先有深入了解

感覺ML 同渣飛機好似
deep down 架機咩結構，引擎用咩材料做，甚至aerodynamics 嘅 physics
飛機師都可以唔洗識，哩啲係engineer 或者aircraft designer 嘅範疇
機師識渣就得
問題係，人cacapcity 始終有限
係applied level, 有啲乜係要識
有啲乜知道就得，條線好似好模糊
如果要鑽落去，真係幾個PhD 都唔夠