打算下年minor CS 學下 CS fundamentals, 同埋自學Data warehousing
本身學過Data structure, Database, Machine learning
有無Ching 係做緊Data engineer?
呢行嘅要求高唔高？需唔需要識 AWS, Docker 先可以入行？
同埋Workload 大唔大？
［跪求教路］ Data engineer 入行
傷勁娛賓
46 回覆
4 Like
14 Dislike
小弟 Major data science year 3
打算下年minor CS 學下 CS fundamentals, 同埋自學Data warehousing
本身學過Data structure, Database, Machine learning
有無Ching 係做緊Data engineer?
呢行嘅要求高唔高？需唔需要識 AWS, Docker 先可以入行？
同埋Workload 大唔大？
打算下年minor CS 學下 CS fundamentals, 同埋自學Data warehousing
本身學過Data structure, Database, Machine learning
有無Ching 係做緊Data engineer?
呢行嘅要求高唔高？需唔需要識 AWS, Docker 先可以入行？
同埋Workload 大唔大？
但係Data engineer 平時唔係做下ETL？ 咁都要PhD?
Ching 你係做緊risk management 嘅？入行難唔難？
死路嚟㗎喎
偽 data science 工都係寫吓 SQL 玩吓啲 reporting tools
真正嘅 data engineer 工又要你玩到至少有 PhD 揸手，對官運要求極高
偽 data science 工都係寫吓 SQL 玩吓啲 reporting tools
真正嘅 data engineer 工又要你玩到至少有 PhD 揸手，對官運要求極高
多謝Ching, 本身自己數, data analysis 都ok
但係我見外國好似data engineer 嘅需求幾大，所以就想入行。
估唔到香港係咁唔同
但係我見外國好似data engineer 嘅需求幾大，所以就想入行。
估唔到香港係咁唔同
轉programmer/Devops有無得諗下？
可能下年全年take CS course 學（computer architecture, operating system. etc）然後搵份entry level 嘅學下野
可能下年全年take CS course 學（computer architecture, operating system. etc）然後搵份entry level 嘅學下野
Code 狗性價比會好好多，前提唔好好似我玩得咁差就得，一見伏工就要走
先答你問左既問題
1）要求高唔高？首先你要諗下你鍾意Data既邊一瓣。普通erp/crm -> data lake / data warehouse-> bi tools / reports可以係Data Engineering. IOT devices -> mqtt/kafka -> data lake 又可以係Data Engineering. 高流量website既clickstream 睇user usage patterns都可以係Data Engineering, 手遊用戶使用/消費習慣都係Data Engineering, Call4van/Uber call車 request既usage analysis/optimization都需要Data Engineering. 正所謂21世紀乜都關Data事，要求高唔高好視乎你想入咩公司，同你公司想係Data上做d乜。
2）需唔需要識AWS/Docker/k8s先可以入行？同上，要視乎公司做d乜，如果公司用Data做Report/BI，你要識既係Tableau/PowerBI。如果公司係IOT / near real time data analysis，咁要識既就變成Kafka/AWS Kinesis/Spark/Flink. 如果公司要既係砌inference model，咁隨時要識少少DevOps/DataOps/API framework.
3）Workload大唔大？要視乎你公司有冇人性，同你份人有冇衝勁。
講左咁多等如冇講，因為唔好講IT好闊，有個電字就關IT事；Data都好闊，有冇數字都關Data事。乜呀？Quantitative就係data，Qualitative 唔係data呀？
認真答作為Data Engineer有乜野真係要識？最少一套用黎process data既tools, 好似Spark/Pandas，要識基本Cloud Storage運作，要識基本Cloud 既Access Mgmt，最好識基本Pipeline Orchestration既Tools/Concept，例如Airflow/Azure Data Factory。識一兩個Data Streaming既tools咁pickup其他會容易d。Data visualization要唔要識就睇公司R&R點𠝹法，有時係Data Analyst做，有時係Data Engineer做埋。
最後，想入大公司就學Azure，想入Startup就學Google/AWS。公司既文化唔同，會令佢地係Cloud Adoption既時候揀唔同既Cloud，呢d以後有人問再分享。
1）要求高唔高？首先你要諗下你鍾意Data既邊一瓣。普通erp/crm -> data lake / data warehouse-> bi tools / reports可以係Data Engineering. IOT devices -> mqtt/kafka -> data lake 又可以係Data Engineering. 高流量website既clickstream 睇user usage patterns都可以係Data Engineering, 手遊用戶使用/消費習慣都係Data Engineering, Call4van/Uber call車 request既usage analysis/optimization都需要Data Engineering. 正所謂21世紀乜都關Data事，要求高唔高好視乎你想入咩公司，同你公司想係Data上做d乜。
2）需唔需要識AWS/Docker/k8s先可以入行？同上，要視乎公司做d乜，如果公司用Data做Report/BI，你要識既係Tableau/PowerBI。如果公司係IOT / near real time data analysis，咁要識既就變成Kafka/AWS Kinesis/Spark/Flink. 如果公司要既係砌inference model，咁隨時要識少少DevOps/DataOps/API framework.
3）Workload大唔大？要視乎你公司有冇人性，同你份人有冇衝勁。
講左咁多等如冇講，因為唔好講IT好闊，有個電字就關IT事；Data都好闊，有冇數字都關Data事。乜呀？Quantitative就係data，Qualitative 唔係data呀？
認真答作為Data Engineer有乜野真係要識？最少一套用黎process data既tools, 好似Spark/Pandas，要識基本Cloud Storage運作，要識基本Cloud 既Access Mgmt，最好識基本Pipeline Orchestration既Tools/Concept，例如Airflow/Azure Data Factory。識一兩個Data Streaming既tools咁pickup其他會容易d。Data visualization要唔要識就睇公司R&R點𠝹法，有時係Data Analyst做，有時係Data Engineer做埋。
最後，想入大公司就學Azure，想入Startup就學Google/AWS。公司既文化唔同，會令佢地係Cloud Adoption既時候揀唔同既Cloud，呢d以後有人問再分享。
讀完data science 走去做data engineer咁浪費
外國U ? 邊間有得Major Data science
多謝Ching覆得咁仔細
你係行內人？ 有無啲career path參考下？
你係行內人？ 有無啲career path參考下？
data scientist 要求好似好高, 而且自己能力唔算太好
data engineer 好似比較適合自己
data engineer 好似比較適合自己
三大、Shitty都有開，但係好似教嘅方向都唔同
data engineer 好似都好難
所以小弟先係度跪求教路
Pin 
點解startup 用 google / AWS 多？
Career path黎講，要睇你自己想要既係乜。Data其實可以做到好專，一個好既Data Engineer既contribution唔比一個好既Data Scientist低。有個好普遍既misconception係Data Scientist比較高級。
普遍公司都係拎Data黎協助Decision making，有部份公司係拎Data黎做Data Product，亦有公司去利用Data去Optimise 自己既 product/service。
呢幾個use case都離唔開Data processing (cleansing/ETL), descriptive analytics, modeling (statistical/ML), visualisation.
所以好睇師兄鍾意既係駁水喉，定係鍾意去分析數據，定係鍾意用數據去估野，定係鍾意將d數據present得靚靚仔仔，呢個任何一樣都足以窮一生既精力去做。
水喉駁得唔好會爆喉，大家就冇水用，或者無啦啦個水箱要買大幾個碼/水候多幾公里長。
數據分析得唔好，會立錯hypothesis，後邊既人會做錯研究同推算。
modeling做得唔好會估錯野，估得唔準，就唔好提用錯方法乜野都估唔到。
Visualise得唔好，膠層會睇唔明，前邊既人做既野就嘥晒。
所以，睇下你係鍾意邊瓣，可以再慢慢分析。
普遍公司都係拎Data黎協助Decision making，有部份公司係拎Data黎做Data Product，亦有公司去利用Data去Optimise 自己既 product/service。
呢幾個use case都離唔開Data processing (cleansing/ETL), descriptive analytics, modeling (statistical/ML), visualisation.
所以好睇師兄鍾意既係駁水喉，定係鍾意去分析數據，定係鍾意用數據去估野，定係鍾意將d數據present得靚靚仔仔，呢個任何一樣都足以窮一生既精力去做。
水喉駁得唔好會爆喉，大家就冇水用，或者無啦啦個水箱要買大幾個碼/水候多幾公里長。
數據分析得唔好，會立錯hypothesis，後邊既人會做錯研究同推算。
modeling做得唔好會估錯野，估得唔準，就唔好提用錯方法乜野都估唔到。
Visualise得唔好，膠層會睇唔明，前邊既人做既野就嘥晒。
所以，睇下你係鍾意邊瓣，可以再慢慢分析。
AWS係cloud有絕對既first mover advantage, 入場門檻低，自學容易。一般startup既tech founder都會係developer/architect，用既technology多數係佢地識既野。
Google Cloud既design係programmatic first, developer oriented, 所以dev人唔係先用緊AWS用慣左，就會prefer Google Cloud。
然後就係市場定位問題，Microsoft一直以來都好識做enterprise （以後再講），AWS同Google變相就先打non-enterprise既market。
再者就係startup programme，AWS/Google既startup support真係算係咁。
當然，依家比以前更多option，唔一定限死用Cloud service provider既 IaaS/PaaS。
Google Cloud既design係programmatic first, developer oriented, 所以dev人唔係先用緊AWS用慣左，就會prefer Google Cloud。
然後就係市場定位問題，Microsoft一直以來都好識做enterprise （以後再講），AWS同Google變相就先打non-enterprise既market。
再者就係startup programme，AWS/Google既startup support真係算係咁。
當然，依家比以前更多option，唔一定限死用Cloud service provider既 IaaS/PaaS。
講緊Data Engineer唔係Data Scientist喎
點解頭幾個cm係咁叫人去讀phd
點解頭幾個cm係咁叫人去讀phd
根本唔係 machine learning researcher,無需要phd。 data scientist係睇你點用d tools 解決 business problem. 大部分時間係準備data，至於model，好多時off-the-shelf model就搞掂或用automl 去search。phd無乜用。
至於data engineer，更加唔關phd事😹
至於data engineer，更加唔關phd事😹
高質reply