Gradient Descent Optimizer

Loss Function L(w) ပေါ်တွင် Learning Rate, Initial Weight နှင့် Momentum များကို ပြောင်းလဲ၍ Weight update ဘယ်လိုဖြစ်သွားလဲ စမ်းသပ်ပါ။ Gradient Descent term နှင့် တွဲလေ့လာပါ။

Loss Surface $L(w)$ & Weight Trajectory

Step #0 · Loss = 4.1100

Gradient Descent — slope $\nabla L(w)$ အားလိုက်၍ Weight $w$ ကို Minimum Loss သို့ ရွှေ့ပေးသည်။

Hyperparameters

Learning Rate ($\eta$)0.15

Initial Weight ($w_0$)-2.50

Optimizer Mode

Current Values

Current Weight ($w$)-2.5000

Gradient ($\nabla L$)-1.6504

Current Loss ($L$)4.1100