發覺好多人對Data Analyst有錯誤幻想

What is AV system?

依加多唔多人用Koalas 同 分析unstructured data？

最近學緊點樣用rioxarray 起Databricks 分析衛星data。

同埋依加DE興唔興Cloud 同 DataOps?

（想入行Cloud DE)

巴打 勸你唔好學。azureml廢

你極其量只會call佢build好左既ml algo，但你唔會走去call azureml 去train。

你更加唔好去azure ml studio 搞model

但StackOverFlow 人工調查顯示De係全部IT工種 人工最高

又吹奏Kaggle

如果現實中啲data quality有Kaggle 8成，我跟你姓。

Kaggle垃圾黎。大把人copy & paste啲code

Pyspark RDD based其實都開始落後。我見堆Founders 依加搞緊Koalas去replace Pandas。

Machine Learning方面 有MLLib。個性能比傳統lib強好多，只係function無sklearn咁多。

但如果data量超大，真係要學。

仲有可以handle好多data types。Paraquet去replace CSV個啲..

我冇話香港同外國有唔同, 我只係講左data scientist佔左7-8成時間執data

但公司用緊Azure

我都係諗住train完dup完份script掟上去算

你千其唔好 上載公司野 犯法

你公司用緊Azure，但你極其量都係用佢個Azure Data Factory, Azure Synapse, CosmosDB, Blob Storage, Azure Data Lake Gen2 姐。

Azure ML真係無人用。佢個Azure ML直情係未開發完善。你用sklearn, TensorFlow, PyTorch 依啲 就夠。

唔係啊
係老細要我將成個MLOPs搬上azure ML

依家香港好少公司搞unstructured data, 仲係起步
Cloud依家好興，好多公司都搬緊啲野上去，next step應該就係devops/ MLOps果啲

無check, 但之前睇其他article好似DS高啲

有時佢好clean但暗藏殺機
記得有個predict power consumption, the data looks so clean
但最後啲人drill down先發現啲data from different timezone and not mentioned
當然仲有好多其他野，例如labeling not align
無你諗到咁clean

普通research自己collect嘅細規模data剩係cleaning都有排做
莫講話kaggle個啲十幾-百幾gb隨時要用hadoop去清

度度都3年經 冇得入行撚有經咩

你老細咁玩人既？

但套野真係未寫好喎。個azure ml community 又細

MLOps MLLib 都做到，仲要多人用，啲function update 多過azure ml

exact7ly
搵唔到工啊啊啊

講真 ML AWS唯一選擇

厭惡性工作當然人工高

咩係rpa?

Robitic processing automation
即係uipath

好唔好pay

career path會唔會冇咁好

好少可連登既post有咁多認真討論

以前做開in house data既工
離唔開做reporting見到d trend升升跌跌
然後based on data/ business behaviour 建議改善方法
都係同business好緊扣
我會話6成business knowledge 理解
4成technical knowledge

然後去到而家份工專做in house data projects
幫in house users砌d dashboard出離
唔需要對business knowledge 有太多認知
淨係align完user requirements 砌完個dashboard 就搞掂
同business脫哂節
然後team head就好自high咁覺得整左好多value added既野