IT 討論區 (145) Git Checkout

自已玩kafka 可以用operator
strimzi 都算係無鑊氣
我自已野airflow 同kafka 用operator都ok

公司野正常有人睇住confluent kafka

strimzi 好野來

其實多唔多公司用databricks 見佢官網個demo都整得幾靚仔 仲要有sql同 delta lake

同埋想問下da同de條路 洗唔洗識埋linux

唔多。因為太新。btw，佢屌打其他data tools。snowflake都唔夠佢揮

唔洗。

香港都有，大公司為主
delta lake好野來
etl就多數一係databricks一係airflow

但個delta lake個delta sharing到依加都未release

大家點睇iot公司

賺唔到大錢

data 有冇話邊個industry 係特別好payd/請得比較多人?
fintech/bank/it vendor??

其實3間完全唔同......general concepts可以話一樣, 但好睇個line manager點睇件事, 想要即時hand on做到野同比時間你pick up都好唔同.

睇咗三版咩都睇唔明

Service account?

Speaking of cloud platform, I’ll probably start using them via cli lol web portal is so slow

想補充2點,
1. spark主要over pandas應該在於distributed processing, pandas雖然易用但唔support distributed. 常見有可能data scientist用pandas做一d細規模d/downsampled嘅data analysis, DE再用spark重寫
2. 嚴格嚟講SQL database都唔係用嚟做datawarehouse, 傳統SQL DB主要optimize咗係CRUD, transaction等等application usage. Azure Synapse, big query, Hive呢類專做datawarehouse嘅俾DE process 完raw data 再儲低做BI/reporting, 所以datawarehouse會喺reporting方面做得好d ,e.g. 處理fact同dimension table之間嘅joining
datalake主要係儲返raw data, 例如web scrap/亂七八糟各種data source. data scientist可以喺datalake入面睇返邊d data啱用嚟做data analysis, 再同DE夾返點起返pipeline去automate processing data