Reinforcement learning — grunderna

I övervakad inlärning får modellen facit per exempel. I RL får agenten bara en belöning — ofta sent, ofta sparsam — och måste själv lista ut vilka handlingar som ledde dit.

Ordlista: tillstånd s (vad agenten ser), handling a, belöning r, policy π(a|s) (agentens beteende, ofta ett neuronnät), avkastning G = summan av (diskonterade) belöningar från nu.

Policy gradient (REINFORCE): kör en episod, och för varje handling: gör den mer sannolik om avkastningen efter den var hög, mindre om låg. Gradienten är ∑ₜ ∇log π(aₜ|sₜ)·Gₜ. Enkelt, men bullrigt — en episod säger lite om vilken handling som var bra (kredittilldelning). Man drar ifrån en baslinje (medelavkastning) för att minska variansen.

RLHF för språkmodeller är precis detta: tillstånd = prompten hittills, handling = nästa token, belöning = en belöningsmodells poäng på hela svaret.

import numpy as np
rng = np.random.default_rng(0)

# Miljö: gå från 0 till 5 på en linje; handling 0 = vänster, 1 = höger; belöning 1 vid mål, max 20 steg
def episode(theta):
    s, traj = 0, []
    for _ in range(20):
        p = 1 / (1 + np.exp(-theta[s]))           # π(höger | s)
        a = int(rng.random() < p)
        traj.append((s, a, p))
        s = min(5, max(0, s + (1 if a else -1)))
        if s == 5: return traj, 1.0
    return traj, 0.0

theta = np.zeros(6); lr = 0.5; baseline = 0.0
for it in range(300):
    traj, G = episode(theta)
    adv = G - baseline; baseline = 0.9 * baseline + 0.1 * G
    for s, a, p in traj:
        theta[s] += lr * adv * ((a - p))            # ∇log π för Bernoulli/sigmoid
print(np.round(1 / (1 + np.exp(-theta)), 2))         # → nära 1 överallt: «gå höger»

Mål: maximera $J(\theta) = \mathbb E_{\tau\sim\pi_\theta}[G(\tau)]$. Policy gradient-satsen: $\nabla_\theta J = \mathbb E\big[\sum_t \nabla_\theta\log\pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))\big]$, där baslinjen $b$ inte ändrar väntevärdet men sänker variansen. Med $b = V^\pi(s)$ blir $G_t - b$ en skattning av advantage $A(s,a)$ — grunden för actor–critic och PPO. Diskontering $G_t = \sum_k \gamma^k r_{t+k}$ med $\gamma\in[0,1)$ ger ändlig avkastning och kortare kredittilldelningshorisont.