Manuell datamarkering
Kunna markera 30 exempel, identifiera tvetydiga fall och förstå att markering är ett medvetet val.
Intuition
En modell lär sig av markerade exempel: en bild med etiketten «katt», en kundrecension med etiketten «positiv». Någon måste sätta dessa etiketter manuellt. Det låter enkelt tills du själv gör det.
«Kundtjänsten var inte dålig.» — Positiv? «Bra leverans, men produkten var trasig.» — ?
Varje tvetydigt fall är ett val. Två personer kan markera samma text olika. Det valet kodas in i modellen. Därför skriver man instruktioner (riktlinjer) och mäter hur ofta markörerna håller med varandra.
Interaktivt
Gör så här: Skriv 30 korta meddelanden (eller ta utdrag från en kundchatt ni får tillgång till). Markera varje meddelande som «vänligt», «neutralt» eller «otrevligt». Låt en kollega markera samma 30 meddelanden utan att se dina svar.
Räkna ut: Hur många gånger höll ni med om etiketten? 24 av 30 = 80 % överensstämmelse. Gå igenom de 6 där ni var oense. Skriv en regel som avgör dem (t.ex. «Ironi räknas som otrevlig om …»). Markera om. Ökade överensstämmelsen?
Det är exakt så professionella dataset byggs.
Behärskning innebär
- Markerar exempel enligt en instruktion och identifierar tvetydiga fall
- Förklarar att markering är ett val som påverkar modellens beteende
Förkunskaper
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- CS Unplugged (CC BY-SA 4.0) — CC BY-SA 4.0
- Wikipedia — Inter-rater reliability (CC BY-SA 4.0) — CC BY-SA 4.0