Gradient descent

Vi har en loss-funktion — felet som funktion av vikterna. Vi vill till botten. Gradient descent: räkna ut lutningen (gradienten) där vi står, ta ett litet steg mot lutningen, upprepa.

w ← w − η · L'(w)

η (eta) är inlärningstakten: steglängden. För liten och det tar evigheter. För stor och du hoppar över dalen och kan hamna högre upp än du började.

L(w) = (w − 3)², L'(w) = 2(w − 3). Start w = 0, η = 0,25:

steg	w	L'(w)	nytt w
1	0	−6	0 − 0,25·(−6) = 1,5
2	1,5	−3	2,25
3	2,25	−1,5	2,625

Närmar sig 3. I Python:

w, eta = 0.0, 0.25
for step in range(20):
    grad = 2 * (w - 3)
    w = w - eta * grad
print(w)   # ≈ 3.0

Med flera vikter är gradienten en vektor av partiella derivator — samma regel, komponent för komponent. Varianten stokastisk gradient descent (SGD) räknar gradienten på en liten batch exempel i taget, vilket är billigare och ofta bättre.