Dataläckage

Dataläckage = information som inte finns vid beslutstillfället smyger in i träningen. Resultatet blir strålande i utvärderingen och dåligt i verkligheten.

Fem vanliga former:

Typ	Exempel
Mållläckage	en feature som räknats fram ur svaret («antal_paminnelser» när man förutsäger utebliven betalning)
Tidsläckage	tränar på framtiden, testar på dåtiden
Grupplläckage	samma patient/kund i både träning och test
Förbehandlingsläckage	skalning eller urval beräknat på all data före splitten
Dubbletter	samma rad finns i båda mängderna

Varningssignalen: resultatet är förvånansvärt bra. 0,99 AUC på ett svårt problem är nästan alltid läckage, inte genialitet.

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score, GroupKFold

# FEL: urval och skalning på all data → läckage
# X_sel = SelectKBest(k=20).fit_transform(X, y)
# cross_val_score(LogisticRegression(), X_sel, y, cv=5)     # optimistiskt

# RÄTT: allt inuti pipelinen, anpassas per fold
pipe = make_pipeline(StandardScaler(), SelectKBest(k=20), LogisticRegression(max_iter=1000))
print(cross_val_score(pipe, X, y, cv=GroupKFold(5), groups=patient_id).mean())

Checklista innan du tror på ett bra resultat:

1. Kan varje feature verkligen observeras före det du förutsäger?
2. Finns dubbletter mellan träning och test? (set(hash(rad)))
3. Är splitten gjord per grupp och per tid där det behövs?
4. Är all förbehandling inuti pipelinen?
5. Vilken enda feature ger nästan hela resultatet? Ta bort den och se — ofta är den läckaget.