IT討論區(224) - 人生太短出手要更大 𓀥𓀓𓀒𓀐

小咬，我base人工好低。base +allowance加20%先過30k少少

拎返邊日批量日期開始重跑

好似GA咁
今日之前嗰啲都冇

https://x.com/0xgaut/status/1794019623324590475

如果list item
之間無dependency
可以list 拆開n chunks
lambda conccurent 咁做
SQS + lambda 夠做batch with concurrency
佢果有呢個空間但佢唔識咁做都幾廢

list item 之間有dependency / aggregation
... spark 算啦

仲未get到你咩意思

唔記得具體logic係咩，唔肯定拆唔拆到
不過唔知咩原因，成個冇用過sqs或者任何message broker
我最記得有個feature大約係"user 做完某d野，過15分鐘check 某d condition ，如果符合就send 條mobile notification" 咁。
我反應感覺sqs應該岩用，不過單野唔係我做，後來知道又係唔知點用cron job implement

成個application

》business要埋min value
唔知你講嘜

》係咪要take一份snapshot
睇下你啲processor幾快，你要既資料幾多
如果你用stream processing都仲咬係個primary db resource好勁
咁就失去咗個意義

HR唔係咁睇

lambda除非你個嘢真係好簡單
唔係retry, circuit breaker同priority queue嘜都無
一有errors就可以炒晒

即係例如有個table 有其中兩個field係category同value 咁
我想用stream processing 起一個materialized view table係儲group by category 既max，如果由0開始consume 緊係冇問題。
但如果我隻app後來要埋group by category 既min，但舊既stream data 已經prune左所以唔可以由0重新consume ，一般會點搞？

同Streaming Processing無關
datasource問題
你dataset唔stable，computed得慢

你要考慮既係有無一啲有效率既data structure俾你搵min / max (例如heap)

所以keep住揾。日日9至7/8頂唔順

我法國去到邊刀有人追住禾負皮。。。


希望系令女絲打

宜家情況其實咪就係想用stream processing去create另一個data structure / data source去optimize 某d access pattern
Data 多既情況下你冇辦法單靠一種data structure / data source 去滿足哂所有query

已經跳出咗processing既範圍
又快又萬用又唔壞既方法唔存在

同埋你既所以query太唔清晰
無得討論

你呢啲去到一啲cluster既技巧

你processing既範圍係指咩先?
我上面講野其實都係關於用stream起derived data

我其實單純想知如果有需要起1 set新既derived data一般出面係點做

有工返開始想讀書
來緊想讀返個IT既Part-time degree 有冇ching有好介紹
望緊港大合辦既Part-time degree "Computer Science / Networks and Security"
但冇講明係香港資歷架構認可 有冇ching讀緊?

望埋都大最快讀完但係remote讀更架冇興趣