Baslinjer och kontroller

«Vår modell får 91 %.» Är det bra? Om 90 % av exemplen tillhör en klass får «gissa alltid majoriteten» 90 %. Då är 91 % nästan ingenting.

Baslinjer i stigande ordning:

1. Slump / majoritet — golvet.
2. Enkel regel — nyckelord, tröskel, «samma som i går». Ofta förvånansvärt stark.
3. Enkel modell — logistisk regression på TF-IDF, k-NN på embeddings. Snabb att träna, svår att slå med liten data.
4. Standardmetod — den förtränade modellen alla använder, tunad ordentligt.
5. Människa — vad får en tränad person på samma testset?

Din metod ska rapporteras bredvid alla dessa. Och baslinjen ska ha fått samma kärlek — samma tid på hyperparametrar, samma data — annars jämför du din bästa dag mot dess sämsta.

import numpy as np
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_score

baslinjer = {
  "majoritet": DummyClassifier(strategy="most_frequent"),
  "slump": DummyClassifier(strategy="stratified", random_state=0),
  "tfidf+lr": make_pipeline(TfidfVectorizer(ngram_range=(1, 2), min_df=2), LogisticRegression(max_iter=1000, C=3.0)),
}
for namn, m in baslinjer.items():
    s = cross_val_score(m, texter, y, cv=5, scoring="f1_macro")
    print(f"{namn:10s} {s.mean():.3f} ± {s.std():.3f}")
# majoritet  0.31 ± 0.00
# slump      0.33 ± 0.02
# tfidf+lr   0.78 ± 0.03   ← din transformer måste slå detta tydligt, med samma cv