Derivata och optimering

Derivatan f'(x) är lutningen på kurvan i punkten x. Positiv derivata: kurvan går uppåt. Negativ: nedåt. Noll: platt — en topp, en dal eller en platå.

Om du står på en kurva i dimma och vill ner i dalen: känn lutningen under fötterna och gå åt det håll som lutar nedåt. Derivatan är den känslan. Hela maskininlärning bygger på att gå nedför en fel-kurva på det sättet.

Regler du behöver:

• (xⁿ)' = n·xⁿ⁻¹, konstanter försvinner, summor deriveras termvis
• (c·f)' = c·f'
• Kedjeregeln: om y = f(g(x)) så är y' = f'(g(x)) · g'(x) — "yttre lutning gånger inre lutning"

Minimum av f(x) = x² − 6x + 10: f'(x) = 2x − 6 = 0 ⇒ x = 3, f(3) = 1.

Kedjeregeln på (3x + 1)²: yttre är u², inre är 3x + 1. Derivata: 2(3x + 1) · 3 = 6(3x + 1).

Kedjeregeln är hela backpropagation: ett nät är en lång kedja av funktioner, och lutningen för en vikt långt bak är produkten av alla lutningar på vägen.