Textförbehandling

Innan text blir features måste den städas. Vanliga steg, i ordning:

1. Unicode-normalisering (NFC) — «é» kan lagras på två sätt; gör dem lika.
2. Gemener — «Hund» och «hund» blir samma token.
3. Ta bort eller behåll skiljetecken — beror på uppgiften.
4. Tokenisera — dela i ord (eller delord).
5. Stoppord — ta bort «och», «att», «det» om de bara är brus.
6. Stemming/lemmatisering — «springer», «sprang», «spring» → samma grundform.

Men varje steg kastar information. Gemener förstör «SOS» vs «sos». Att ta bort ! förstör tonläge. Stoppord förstör «att vara eller inte vara».

import re, unicodedata

STOPPORD = {"och", "att", "det", "en", "är", "som", "på", "med", "för", "av", "den", "till"}

def normalisera(text, gemener=True, ta_bort_stoppord=False):
    t = unicodedata.normalize("NFC", text)
    if gemener:
        t = t.lower()
    tokens = re.findall(r"\w+(?:-\w+)?", t)          # behåller bindestreck i «e-post»
    if ta_bort_stoppord:
        tokens = [x for x in tokens if x not in STOPPORD]
    return tokens

s = "Det är AI-grafen, och den är bra!"
print(normalisera(s))                       # ['det','är','ai-grafen','och','den','är','bra']
print(normalisera(s, ta_bort_stoppord=True))  # ['ai-grafen','bra']

Regeln: varje steg ska motiveras av uppgiften, och samma förbehandling måste användas vid träning och i produktion. En modell tränad på gemener som får versaler i drift presterar sämre — och ingen märker det förrän användarna klagar.

För moderna språkmodeller sköts det mesta av tokenizern (BPE), och då gör man mindre förbehandling, inte mer. Rensa bara det som är verkligt brus: HTML-taggar, dubbletter, kontrolltecken.