Encoder–decoder-transformers

Tre familjer av transformers, med olika jobb:

Typ	Attention	Tränas med	Exempel	Bra på
Encoder-only	full, bidirektionell	maskerad token	BERT	förstå: klassificera, extrahera
Decoder-only	kausal	nästa token	GPT, Llama	generera
Encoder–decoder	encoder full, decoder kausal + cross	denoising / seq2seq	T5, BART, Whisper	omvandla A → B

Cross-attention är nyckeln i den tredje: decoderns queries hämtar från encoderns keys och values. Decodern genererar alltså sitt svar samtidigt som den hela tiden kan «titta på» hela indata — bidirektionellt, i sin helhet.

I ett encoder–decoder-block har decodern tre delsteg:

1. Kausal self-attention över det som genererats hittills: $Q,K,V$ från decoderns egna tillstånd, med triangulär mask.
2. Cross-attention: $Q$ från decodern, $K$ och $V$ från encoderns utdata $H_{enc}$ — ingen mask, hela indata är synlig.
3. Feedforward.

Det gör att indata bearbetas bidirektionellt (encodern ser hela källtexten åt båda håll) medan utdata genereras autoregressivt.

Varför decoder-only dominerar ändå: en tillräckligt stor decoder-only-modell kan lösa omvandlingsuppgifter genom att ha både indata och utdata i samma sekvens («översätt till engelska: … →»). Det ger en enda enkel arkitektur, enklare skalning och enklare träning på ostrukturerad text. Encoder–decoder behåller sin fördel när indata och utdata har tydligt olika roller och indata är långt — översättning, sammanfattning, tal-till-text (Whisper).