Ord som punkter: liknande ord nära varandra
Kunna placera ord i ett rutnät efter likhet och se att 'katt' hamnar nära 'hund'.
Förkunskaper
Intuition
Tänk dig en karta där ord är punkter. Ord som betyder liknande saker ligger nära: katt nära hund, långt från traktor. Kung och drottning nära varandra — och pilen från kung till drottning liknar pilen från man till kvinna.
En språkmodell har en sådan karta, fast med hundratals dimensioner i stället för två. Varje ord är en lista med tal — en vektor. Modellen lärde sig kartan genom att läsa: ord som förekommer i liknande sammanhang hamnar nära.
Interaktivt
Gör en egen karta: rita två axlar. x = «hur levande» (0 = sak, 10 = djur/människa). y = «hur stor» (0 = liten, 10 = enorm).
Placera: myra, elefant, sten, berg, katt, bil.
- myra (10, 1) · elefant (10, 9) · sten (0, 1) · berg (0, 10) · katt (10, 3) · bil (1, 5).
Vilka två ligger närmast? Myra och katt, eller sten och myra? Mät med linjal. Skulle en tredje axel («kan röra sig») ändra vilka som är närmast? Det är därför riktiga ordvektorer har många dimensioner.
Behärskning innebär
- Placerar ord i ett rutnät efter likhet och motiverar
- Förklarar att avstånd mellan punkter betyder likhet i betydelse
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- Wikipedia — Word embedding (CC BY-SA 4.0) — CC BY-SA 4.0
- CS Unplugged (CC BY-SA 4.0) — CC BY-SA 4.0