[現場直播]我backup左蘋果四十萬篇文章

513 回覆
2477 Like 6 Dislike
2021-06-24 12:10:34
琴晚開始我寫左的scipt去backup蘋果既文章
我主要既目標係backup晒20年黎蘋果所有板塊既文章。
我會skip晒所有圖同片因為
- 時間唔夠
- 有人backup緊片我就唔一齊啦
- 窮 (因為要用cloud做同埋hosting)
太舊既文章蘋果官網都搵唔到 archive,所以由2002/01/01開始backup,大約有320萬篇文章。
我將所有文字文字內容save上cloud,同埋用database(數據庫)儲存一個可供以後索引嘅目錄。
因為時間嘅關係,同埋佢凌晨已經熄咗Server,所以我琴晚只係大約backup左400,000篇文章

唔講咁多,睇圖先



Backup左上cloud


其中約300,000篇文章


另外一個backup 渠道,同埋可能同上一張圖有重複,我要再process。


文章索引數據庫


仲有的文未死晒, 而家盡最後努力Backup埋佢



Backup就大家都識, 我將佢用數據庫儲起係希望之後可以做一個索引俾大家公開搜尋搜尋以前嘅內容。但係好可惜我應該Backup唔晒,只可以說我開始得太遲。

以下係比技術同行睇:
DB既內容之後想用 Elasticsearch / Agolia 做indexing,再build一個 frontend 比大家search。另外我都download緊IPFS個的文,睇下之後merge埋一齊搞

P.S. 唔洗起底啦,分身acc黎
2021-06-24 12:11:29
辛苦樓主了
2021-06-24 12:12:02
好勁 辛苦曬
2021-06-24 12:12:44
多謝你呀
2021-06-24 12:12:48
勁呀!
2021-06-24 12:12:57
2021-06-24 12:13:10
2021-06-24 12:13:34
2021-06-24 12:13:38
幫推!!!
2021-06-24 12:13:59
2021-06-24 12:14:02
多謝樓主
2021-06-24 12:14:16
勿忘初心 光復香港 時代革命
2021-06-24 12:14:29
2021-06-24 12:14:31
分身ac bam
2021-06-24 12:14:35
多謝手足
2021-06-24 12:14:42
2021-06-24 12:14:52
多謝你
2021-06-24 12:15:12
2021-06-24 12:15:22
bam你老母
2021-06-24 12:15:23
多謝樓主
2021-06-24 12:15:34
有料
2021-06-24 12:15:42
2021-06-24 12:15:49
神人
吹水台自選台熱 門最 新手機台時事台政事台World體育台娛樂台動漫台Apps台遊戲台影視台講故台健康台感情台家庭台潮流台美容台上班台財經台房屋台飲食台旅遊台學術台校園台汽車台音樂台創意台硬件台電器台攝影台玩具台寵物台軟件台活動台電訊台直播台站務台黑 洞