Entry № 086
Chunking
ချန်ကင်း (Chunking / စာပိုဒ်ခွဲခြင်း)
Advanced
Generative AI
Natural Language Processing
Curriculum progress
#86 / 100
C
Chunking — Concept plate
ချန်ကင်း (Chunking / စာပိုဒ်ခွဲခြင်း) — Chunking ဆိုတာ စာရွက်စာတမ်း ရှည်ကြီးတွေကို RAG မှာ သုံးဖို့ အပိုင်းသေးသေး (chunk) တွေ ဖြတ်ပေးတဲ့ အဆင့်။ စာအုပ်တစ်အုပ်လုံးကို တစ်ခါတည်း မထည့်နိုင်လို့ စာပိုဒ်လေးတွေ ခွဲထားပြီး၊ မေးခွန်းနဲ့ သက်ဆိုင်တဲ့ အပိုင်းလေးကိုပဲ ဆွဲထုတ်သုံးလို့ရအောင် ပြင်ဆင်တာပါ။ ဘယ်လို ဖြတ်လဲဆိုတာက RAG အရည်အသွေးကို များစွာ သက်ရောက်တယ်။
Chunking ဆိုတာ စာရွက်စာတမ်း ရှည်ကြီးတွေကို RAG မှာ သုံးဖို့ အပိုင်းသေးသေး (chunk) တွေ ဖြတ်ပေးတဲ့ အဆင့်။ စာအုပ်တစ်အုပ်လုံးကို တစ်ခါတည်း မထည့်နိုင်လို့ စာပိုဒ်လေးတွေ ခွဲထားပြီး၊ မေးခွန်းနဲ့ သက်ဆိုင်တဲ့ အပိုင်းလေးကိုပဲ ဆွဲထုတ်သုံးလို့ရအောင် ပြင်ဆင်တာပါ။ ဘယ်လို ဖြတ်လဲဆိုတာက RAG အရည်အသွေးကို များစွာ သက်ရောက်တယ်။