Entry № 098
Key-Value Cache & PagedAttention
(KV Cache)သော့ချက်-တန်ဖိုး ကက်ရှ်စနစ်
Advanced
Deep Learning
Natural Language Processing
MLOps
Curriculum progress
#98 / 100
KV Cache ဆိုတာ AI နဲ့ စကားပြောတဲ့အခါ ယခင် တွက်ချက်ပြီးခဲ့တဲ့ စာလုံးတွေရဲ့ Attention Vectors (Key နဲ့ Value) တွေကို RAM ထဲမှာ သိမ်းထားပြီး မလိုဘဲ ထပ်မတွက်စေဘဲ စာရိုက်နှုန်း မြန်စေတဲ့ နည်းလမ်း။