Entry № 016
Tokenization
စကားလုံးခွဲခြင်း
Beginner
Natural Language Processing
Curriculum progress
#16 / 100
T
Tokenization — Concept plate
စကားလုံးခွဲခြင်း — Tokenization ဆိုတာ စာသားရှည်ရှည်ကို သေးသေးလေးတွေ (token) အဖြစ် ဖြတ်ပေးတဲ့ အဆင့်။ ဥပမာ 'I love AI' ဆိုတဲ့စာကို ['I', 'love', 'AI'] လို့ စကားလုံးတွေခွဲထုတ်လိုက်တာမျိုး။ ကွန်ပျူတာက စာကို နားလည်ဖို့ အရင်ဆုံး ဒီအတိုင်း ဖြတ်တောက်ရတယ်။
Tokenization ဆိုတာ စာသားရှည်ရှည်ကို သေးသေးလေးတွေ (token) အဖြစ် ဖြတ်ပေးတဲ့ အဆင့်။ ဥပမာ 'I love AI' ဆိုတဲ့စာကို ['I', 'love', 'AI'] လို့ စကားလုံးတွေခွဲထုတ်လိုက်တာမျိုး။ ကွန်ပျူတာက စာကို နားလည်ဖို့ အရင်ဆုံး ဒီအတိုင်း ဖြတ်တောက်ရတယ်။