［跪求教路］ Data engineer 入行

就係呢個叫人讀phd既reply釣到我呢d萬年cdrom出黎覆

business world除非做到好niche，否則off-the-shelf-model / existing methodology根本夠用

我意思係讀完phd可以考慮做Data Scientist,但唔一定有phd先做到DS
DS呢個title太公廁,間間公司個requirements都可以好唔同

可以參考下呢個:

(source: UC Berkeley)

打算下年minor CS

Data Engineer 好睇你本身tech底 coding一定要熟
最好是但考張cloud既data enginner cert

呢行嘅要求高唔高

高 嚴重請唔到人 銀行/cryto/media 都請好多

Docker docker docker

docker exec -it mycontainer:version_tag /bin/bash
有啲公司prefer 用container 去搓個environment 去做dev
Docker 呢樣嘢識就好快識 ， 睇佢份documentation web學啦
自己裝個docker 玩熟佢
至於k8s就睇有冇時間學埋佢
我就用microk8s去學緊

多謝Ching指路

data engineer好食programming底
你寫曲O唔OK?

主要都係用開Python做data analysis, run 下machine learning model
常用Pandas,NumPy, sci-kit learn, Seaborn .etc
遲啲會試下寫web, API 操下LeetCode咁
對programming唔抗拒嘅， 我都知做data engineer 要操好啲code

建議你睇下點砌ETL pipeline先( both batch and streaming )
好緊要，基本上係一定要識
同埋都要望下唔同workflow management tools ( e.g. airflow / prefect )
起馬都要吹得下先

多謝Ching嘅提點
想問多樣嘢，學OS、computer network、distributed system
呢啲CS fundamentals 重唔重要？

會有少少幫助，不過基本上我遇過既，頭幾個月都要重新溫一次書/由頭教過。主要因為大學syllabus 太離地。

其實會請Fresh Grad既公司，期望值會比較低，有個見得人既GitHub，有demonstrate到你真係對data有興趣，都跑出架啦。

不過我建議第一份工，搵間data practice有返咁上吓mature既公司，唔好做間公司唯一一個Data Engineer。

我覺得大公司唔一定要Azure

邊度請人

其實用Microsoft 真係有原因 唔係啲公司鍾意Microsoft 而係唔可以唔用 簡單睇ad m365 有邊啲大公司避得開佢哋

好欣賞巴打高汁同咁詳細嘅reply!

巴打可摸耳再分享多啲，例如其實多唔多公司嘅data engineer真係同data scientist合作同傾應該點收同process啲data令到之後塞入ML model可以順利啲？定其實好少公司會咁做？

另外CS background嘅ug/freshgrad應該點準備入行？大學嚟計其實都好似得distributed system嘅course真係關data engineering事，所以完全無頭緒啲公司想揾啲咩人，甚至連personal project都唔係好知要做啲咩先叫做一個比較突出嘅candidate所以如果巴打有經驗嘅可唔可以分享多少少，無論係實際工作上或者你見過嘅新人 多謝你