[JAVA高手入] 幾億個item要點先fit到入2gb heap space?

個output 係指d咩 從一個50000 x 50000 搵到邊個position 既值係唔等於0？

樓主試下呢個方法

big data project 用返 big data 方法
試下切開啲 data 做唔同 partition 逐個 block 做
條問題本身都係預係 hadoop 個類 distributed system run

條題目寫到明啦， 係無可能load晒20gb

咁樣樣則係要用disk
你只有2gb memory.
所以你要唸點樣將個matrix拆做十份

agger
用hadoop map reduce 或者 spark

LM

用Java google "download more ram"

唔關事, big data 講究係 divide and conquer
input data 可以去到幾 tb, 無可能俾你寫入 single hard disk
你要分散啲 data 等可以派到去俾 worker
hadoop / spark 係俾你一堆 worker, 單機係 single worker, 做法基本一樣

有冇試過2d array，會比hashmap用少好多memory

咁樣不如寫落SQLite
之後落返index

你個input matrix咩樣嫁？plot 個histogram出黎睇下？如果成個feature column係constant 就成欄skip 得

唔洗寫落 file, 直接開住個 input stream read
個 40gb 係邊度黎 ? http file ?

上面個sample就係memory mapped file, 將hdd map做memory
以前用c++&win32 api玩過
後來應該c# java vb.net 之流都有原生library支援, 而且cross platform

利申9up