Generativa modeller — översikt

Alla generativa modeller försöker lära sig datafördelningen p(x) — hur troliga olika bilder eller texter är — så att man kan dra nya exempel ur den. De skiljer sig i hur.

Familj	Idé	Bra på	Svaghet
Autoregressiv	faktorisera p(x) = Πp(xₜ|x₍₌ₜ₎) och förutsäg en bit i taget	text, kod; exakt likelihood	långsam generering (en token i taget)
VAE	koda till en latent fördelning, avkoda tillbaka	strukturerat latent rum, snabb	suddiga bilder
GAN	generator mot diskriminator i ett spel	skarpa bilder, snabb sampling	instabil träning, mode collapse
Diffusion	lär dig att ta bort brus, steg för steg	bild/ljud/video i toppklass	många steg = långsam

Språkmodeller är autoregressiva. Bildgeneratorer är i dag nästan alltid diffusion.

Autoregressiv: $p_\theta(x) = \prod_t p_\theta(x_t\mid x_{<t})$, tränad med maximum likelihood (cross-entropy). Exakt likelihood — därför går perplexitet att beräkna.

VAE: inför en latent variabel $z$ och maximerar en undre gräns (ELBO): $\log p(x) \ge \mathbb E_{q(z|x)}[\log p(x|z)] - D_{KL}(q(z|x)\,\|\,p(z))$. Första termen är rekonstruktion, andra drar den latenta fördelningen mot en normalfördelning. Suddigheten kommer av att rekonstruktionstermen ofta är en pixelvis MSE, som belönar medelvärden.

GAN: minimax mellan generator $G$ och diskriminator $D$: $\min_G\max_D \mathbb E_x[\log D(x)] + \mathbb E_z[\log(1 - D(G(z)))]$. Ingen likelihood — därför inga jämförbara perplexitetstal, och därför svårt att veta när träningen går bra.

Diffusion: en framåtprocess lägger till gaussiskt brus i $T$ steg tills bilden är rent brus; modellen lär sig den omvända processen genom att förutsäga bruset, med en enkel MSE-loss. Stabil träning, men sampling kräver många avbrusningssteg (accelereras med DDIM, destillering, consistency models).