Python — strängar och textbehandling

Nästan all data en språkmodell möter är text. Att kunna bearbeta text i Python är därför grundläggande.

En sträng är en följd av tecken. Du kan:

• indexera och skiva: s[0], s[-1], s[2:5]
• normalisera: s.lower(), s.strip()
• dela och sätta ihop: s.split(), " ".join(lista)
• byta ut: s.replace("a", "b")
• fråga: "ai" in s, s.startswith("Hej")

Strängar är oföränderliga: metoderna ger en ny sträng, originalet ändras inte.

rad = "  Anna, 14, Göteborg  "
delar = [d.strip() for d in rad.strip().split(",")]
print(delar)                     # ['Anna', '14', 'Göteborg']
namn, alder, stad = delar
print(f"{namn} är {int(alder) + 1} nästa år")   # Anna är 15 nästa år

text = "AI är kul. AI är svårt."
print(text.lower().count("ai"))          # 2
ord = text.lower().replace(".", "").split()
print(len(ord), ord[:3])                 # 6 ['ai', 'är', 'kul']

Tokenisering i en språkmodell börjar precis så här: normalisera, dela upp, räkna.