Entry № 099
Speculative Decoding
(Speculative Decoding)ခန့်မှန်း အဆင်မြင့် စာသားထုတ်လုပ်ခြင်း
Advanced
Deep Learning
Natural Language Processing
MLOps
Curriculum progress
#99 / 100
Speculative Decoding ဆိုတာ AI အသေးလေး (Draft Model) တစ်ခုကို အရင် စာလုံး ၄-၅ လုံး အမြန် ခန့်မှန်း ထုတ်ခိုင်းပြီး၊ AI ကြီး (Target LLM) က အားလုံး မှန်မမှန် တစ်ပြိုင်နက် စစ်ဆေးပေးတဲ့ 2x-3x ပိုမြန်တဲ့ နည်းလမ်း။