Transformern — översikt utan formler

Vad händer när du skriver en fråga till en språkmodell? Fem steg:

1. Tokenisering. Texten delas i bitar: «Katten sover» → ["Katt", "en", " sover"] → tal [8241, 268, 23409].

2. Embedding. Varje token blir en vektor — en punkt i en karta med hundratals dimensioner, där ord med liknande betydelse ligger nära varandra. Positionsinformation läggs till, annars vet modellen inte ordningen.

3. Attention, många gånger. Varje token tittar på alla tidigare och hämtar det den behöver. «Den» tittar på «katten». Det upprepas i lager efter lager — 32 lager i en typisk modell — så att varje token bär allt mer sammanhang.

4. Utdata. Sista tokenens vektor multipliceras mot ordförrådet → en poäng per möjligt nästa ord → softmax → sannolikheter.

5. Val och upprepning. Ett ord väljs (mest troligt, eller slumpat efter sannolikheterna), läggs till, och allt börjar om.

Följ ett exempel: «Huvudstaden i Sverige är»

Steg	Vad som händer
tokens	["Huvud", "staden", " i", " Sverige", " är"]
embeddings	fem vektorer, var och en ~4 000 tal
attention lager 1–8	« är» börjar hämta från « Sverige» och «staden»
lager 9–24	representationen blir alltmer «vilket land, vilken sorts svar»
utdata	Stockholm 0,92 · en 0,02 · Göteborg 0,01 …
val	«Stockholm» läggs till, allt körs om för nästa ord

Två insikter som är värda att bära med sig:

• Modellen räknar hela vägen igenom för varje enskilt ord den skriver. Ett svar på 100 ord = 100 genomkörningar.
• Det finns ingen databas med fakta. «Stockholm» kommer ur att vikterna, tränade på enorma textmängder, gör just det ordet mest sannolikt. Därför kan den ha fel — och därför låter fel lika säkert som rätt.