3. süni neyron şəbəkələrini öyrətməkdə (optimizasiya etməkdə) geniş istifadə olunur.

məsələn, funksiyanın minimum nöqtəsini tapmaq lazımdırsa, gradient descent alqoritmindən istifadə olunur.

tutaq ki f(x) formalı funksiyamız var, və biz bu funksiyanın f(5) nöqtəsinə ən yaxın local minimumunu tapmalıyıq.

ilk öncə f(5)in qiymətini hesablayırıq. tutaq ki qiymət 7-dir.

f(5)=7

daha sonra həmin nöqtədən azca irəlinin qiymətini hesablayırıq. məsələn 5.001 nöqtəsi 5 nöqtəsindən azca irəlidədir. onda:

f(5.001)=7.45

gördüyümüz kimi azca irəli getdikdə qiymət 0.45 qalxaraq 7.45 oldu.

amma biz minimumu tapmaq istədiyimizdən geri addım atırıq. yəni 4.99 nöqtəsin hesablayırıq.

f(4.99)=6.75

indi isə qiymət 0.25 azalaraq 6.75 oldu. deməli doğru istiqamətdə irəliləyirik. onda birazda geriyə gedərək bu dəfə 4.98 nöqtəsin hesablayaq.

f(4.98)=6.72

bu dəfə isə 0.03 azalaraq 6.72 oldu. yenə geriyə gedirik:

f(4.97)=6.75

aha bax indi azalmaq əvəzinə artdı. deməli minimum nöqtəsi bayaqkı nöqtə idi, yəni 4.98

maximumu tapmaq üçünsə qradient ascent üsulundan istifadə olunur. bu zaman qiymətin artdığı istiqamətdə getmək lazımdır