Egenvärden och egenvektorer

En matris A är en avbildning. För de flesta vektorer ändras både riktning och längd. Men vissa riktningar behåller sin riktning och skalas bara:

$Av = \lambda v$

Då är v en egenvektor och λ dess egenvärde.

För [[2,0],[0,3]] är x-axeln och y-axeln egenriktningar med egenvärdena 2 och 3: avbildningen sträcker x dubbelt och y tre gånger. För en rotationsmatris finns inga reella egenvektorer — allt vrids.

Varför det spelar roll i ML: produkten av många matriser (djupa nät, RNN över tid) domineras av det största egenvärdet. Är det > 1 växer signalen exponentiellt med djupet; är det < 1 dör den ut.

Beräkning för 2×2: lös den karakteristiska ekvationen $\det(A - \lambda I) = 0$.

För $A = \begin{pmatrix}4 & 1\\ 2 & 3\end{pmatrix}$: $(4-\lambda)(3-\lambda) - 2 = \lambda^2 - 7\lambda + 10 = 0 \Rightarrow \lambda = 5,\ 2$

Egenvektorn för $\lambda = 5$: lös $(A - 5I)v = 0 \Rightarrow v = (1, 1)$.

Nyttiga samband:

• $\sum_i \lambda_i = \text{tr}(A)$ (spåret) — snabb kontroll: 5 + 2 = 4 + 3 ✔
• $\prod_i \lambda_i = \det(A)$ — 5 · 2 = 12 − 2 ✔
• Spektralradien $\rho(A) = \max|\lambda_i|$ styr om $A^n$ växer eller krymper.

Symmetriska matriser (som kovariansmatriser och Hessianer) har alltid reella egenvärden och ortogonala egenvektorer — spektralsatsen. Det är därför PCA fungerar: egenvektorerna till kovariansmatrisen är ortogonala riktningar sorterade efter varians.

Hessianens egenvärden i en kritisk punkt avgör om det är ett minimum (alla positiva), maximum (alla negativa) eller en sadelpunkt (blandade tecken) — och förhållandet mellan största och minsta egenvärde (konditionstalet) avgör hur illa gradient descent zickzackar.

import numpy as np

A = np.array([[4.0, 1.0], [2.0, 3.0]])
varden, vektorer = np.linalg.eig(A)
print(varden.round(3))                       # [5. 2.]
print(vektorer.round(3))                     # kolumnerna är egenvektorerna
print(np.trace(A), varden.sum())             # 7.0 7.0   ← kontroll
print(round(np.linalg.det(A), 3), round(varden.prod(), 3))   # 10.0 10.0

# Verifiera definitionen för första egenparet
v = vektorer[:, 0]
print(np.allclose(A @ v, varden[0] * v))     # True

# Spektralradien styr om upprepad tillämpning växer eller dör
for skala in (0.9, 1.0, 1.1):
    M = A * skala / np.abs(varden).max()
    print(skala, round(float(np.abs(np.linalg.eigvals(np.linalg.matrix_power(M, 50))).max()), 6))
# 0.9  0.005154   ← dör ut
# 1.0  1.0
# 1.1  117.39     ← exploderar