IT界討論區(72) 1001開Post喇喂

我都係用cloud

aws
hot data :redshift / rds
cold data : s3
再cold data: s3 glacier

cloud 唔駛諗ram
但data 一多performance 差 都係要solve
不過都係data 搬黎搬去

2 同 5 你肯問
我都己經好欣慰

宜家仲係好多人以為streaming = video streaming

都唔知點in 人

下
你間公司做data要開live嫁？

cv 寫data streaming
見工間唔中俾人問呢d 係咪video streaming

正常都等埋B仔加人工先走

啲人唔等埋B仔
自己諗點解

我真係無等b 仔
預左唔會多過2 months

我剩係睇base increment

8,9月都唔會等
11月尾12月就會

其實求其玩下algo trade已經係data streaming啦

我之前是在startup打工的，而我data size>ram的原則是：
「幹你娘買爆」
沒錯，就是幹你娘買爆，老子才不管甚麼公司成本三小的，每次買的ram就是姬芭一大包。8GB買成
16GB，16GB買成64GB。64GB買一送一，跟把整個高登的ram全買回來沒兩樣。

我還記得，我那個月上班25天，經理跑來跟我說，這個月ram買了26TB，你有頭緒嗎？

我他媽的怎麼會知道。

咁原來我上一份工有data streaming

寫落CV

計moving average etc technical indicator都算架

是咪係cloud 開vm auto scale 自動係咁加ram



捉到戰犯了

長開住個24TB worker, scale乜鬼野

做野workers加埋得32GB
但data成100GB
如果做有full data dependency 既algo就pk了

HDFS
將Set data按key拆件
parquet

咁唔係用.cache一樣？
只不過今次係hdd同ram分別
但我要每行data都對全部data計數
點都run爆

mem map

Update左iPad Microsoft Remote Desktop 有retina support

Fg
For reference
我2019新年後搵工 基本上apply得都有得in
Apply左廿份左右 搵到工

你cv好白？