傳統方法：雜湊表儲存

1. Hash(id) % M: M大，衝突小，記憶體消耗大；M小，相反。

2. ID不斷增長

3. 伺服器資源有限

4. Tensorflow服務不了大規模資料

提出方法1: Kraken (Memory-Efficient Continual Learning)

1. For both training and serving: Global Shared Embedding Table (GSET)全域性共享儲存

   • table靈活伸縮

   • Feature admission/eviction: 哪些資料適合放入記憶體/哪些踢出去，通常熱的資料放入       GSET，冷的資料用一次丟掉。

2. For training: Sparsity-aware training framework

   • 改變演算法

3. For serving: Efficient continuous deployment and real-time serving

   • 伺服器配置上，存算分離開

提出方法2: Fleche (Efficient GPU Embedding Cache)

1. Flat Cache

   • Key idea: 多個cache變成一個，一起快取

   • 優點：冷熱區分上可以做一個公平的比較

2. Self-identified kernel fusion

   • Key idea: Launch a kernel with sufficient threads and let each thread self-identify the original kernel and execute. (一個統一的kernel)

   • 效果：1-2x的提升