[JAVA高手入] 幾億個item要點先fit到入2gb heap space?

有冇用symmetry

簡單
你calculate 正係要return 一個object
咁就define 一個class & return an object with attribute of input data條path
個writeCorrelationMatrix method 先真係做read, calculation同write

行左12個鐘先行左一半有多

Big data係咁

如果你識multi threading，可以砍到幾份一/十幾份一(視乎你部機有幾多thread)

一定唔係幾個鐘
2x mins 左右for 100k data set

Rounding 咪係 LSH

collaborative filtering
Google la

佢之前睇過啲咩戲/評過咩野分都無提供過

咁你個 correlation 係用咩計

internal dataset有比past record 所以計到個correlation

但external無比
咁樣 就算用LSH都應該計唔到?

唉仆街
我諗肥撚硬
我估佢係expect我用lsh做
但我用左naive方法做

你而家學仲趕得切

聽日交
但我仲未睇得明lsh 同唔知點放入啲
code度

即係做bucketing
上面有巴打計左50000*50000用 bitset 都成300mb
每個entry 分得6個bit

要用6個bit approximate 原本既Pearson correlation

咁你可以有2^6 =64個float ，用6個bit 做index ，每個entry assign 最接近既float 既index ，儲起matrix 度 (6bit *50000*50000=1.75GB, float numbers 64*4byte )

write 既時候，每個entry 搵返6bit index 對應既float

而果64個float 最簡單就uniform interval 由最細到最大，例如-3.2,-3.1,...3.1,3.2

其實唔難