E· Universitetsprakmodeller· ca 240 min· utvecklande· verifierad 2026-09-20
Projekt E: ett NLP-system end-to-end
Kunna bygga, utvärdera och servera ett NLP-system med tester och evals.
Förkunskaper
Intuition
Projekt E: ett komplett, körbart NLP-system. Förslag: klassificera inkommande supportärenden (kategori + brådska) och exponera det som API.
Leverabler:
- Data: ≥ 800 märkta exempel (egna, syntetiska med granskning, eller öppet dataset), riktlinje, κ på ett stickprov, stratifierad train/val/test.
- Baslinjer: majoritet + TF-IDF/LR, tunade.
- Modell: finjusterad encoder; macro-F1 med bootstrap-KI; förväxlingsmatris; felanalys av 30 fall.
- Tjänst: FastAPI med validering, /healthz, 503-degradering (fall tillbaka till TF-IDF-modellen när transformern saknas!), loggning utan text.
- CI: tester + eval-harness med tröskel och regressionslista.
- Rapport: hypotes, metod, resultat med osäkerhet, begränsningar, reproducerbarhetsinfo (commit, data-hash, frön).
Interaktivt
Bedömningsmatris (använd den på dig själv innan du lämnar in):
| Del | Godkänt | Starkt |
|---|---|---|
| Data | split utan läckage | κ rapporterat, gränsfall i riktlinjen |
| Baslinje | finns | tunad, med KI |
| Modell | slår baslinjen | slår den utanför KI, felanalys leder till åtgärd |
| API | svarar rätt | validering, 503-fallback testad |
| CI | tester gröna | eval-tröskel + regressioner blockerar merge |
| Rapport | komplett | negativa resultat och begränsningar redovisade |
Vanligaste bristen: rapporten saknar osäkerhet och baslinjen är otunad. Näst vanligast: fallback finns i koden men har aldrig körts.
Behärskning innebär
- Bygger ett NLP-system end-to-end: data → finjusterad modell → API
- Har tester, eval-harness i CI och degraderat läge
- Rapporterar resultat med baslinje och osäkerhet
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- Hugging Face — dokumentation (Apache-2.0) — Apache-2.0
- scikit-learn User Guide (BSD-3) — BSD-3-Clause
- FastAPI — dokumentation (MIT) — MIT