Cinquième module du challenge #100JoursDeML. Avant d'empiler les algorithmes, il faut maîtriser les concepts transversaux qui gouvernent tous les modèles supervisés. Ce sont ces notions — pas la liste des algorithmes — qui font la différence en entretien technique. Chaque leçon est détaillée ci-dessous avec sa vidéo.
📥 La checklist offerte du challenge
Recevez le PDF avec les 100 leçons à cocher et suivez votre progression jour après jour.
Leçon 1 — Les 4 piliers de l'apprentissage supervisé
L'apprentissage supervisé consiste à prédire une variable cible à partir de variables explicatives (features), en s'entraînant sur des exemples étiquetés. Deux familles de problèmes : la régression quand la cible est numérique (un prix, une demande), la classification quand elle est catégorielle (fraude/pas fraude). La leçon pose les quatre piliers : les données, la fonction de coût à minimiser, l'algorithme d'optimisation, et l'évaluation sur des données jamais vues.
Leçon 2 — Fonctions de coût et métriques de régression
La fonction de coût mesure l'écart entre prédictions et réalité — c'est elle que l'entraînement minimise. En régression, les métriques d'évaluation qui en découlent : la MAE (erreur absolue moyenne — robuste, lisible dans l'unité d'origine), la MSE et sa racine la RMSE (qui pénalisent fortement les grosses erreurs), et le R² (la part de variance de la cible expliquée par le modèle, de 0 à 1). La leçon explique quand privilégier l'une ou l'autre selon le coût métier des erreurs.
Leçon 3 — Évaluer un modèle de classification
Tout part de la matrice de confusion — le tableau croisant prédictions et réalité : vrais/faux positifs, vrais/faux négatifs. On en dérive les métriques essentielles : l'accuracy (taux global de bonnes prédictions), la précision (parmi mes alertes, combien sont justes ?), le rappel (parmi les vrais cas, combien ai-je détectés ?), le F1-score (moyenne harmonique des deux) et l'AUC-ROC (la capacité du modèle à classer un positif au-dessus d'un négatif, tous seuils confondus).
from sklearn.metrics import confusion_matrix, classification_report, roc_auc_score
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred)) # précision, rappel, F1 par classe
print(roc_auc_score(y_test, y_proba)) # AUC sur les probabilités
💡 À retenir : l'accuracy est la métrique la plus trompeuse qui soit. Sur des données déséquilibrées (99 % de non-fraude), un modèle qui prédit toujours « non » atteint 99 % d'accuracy… et ne détecte aucune fraude. Choisissez la métrique alignée sur le coût métier de l'erreur.
Leçon 4 — Overfitting et underfitting : les ennemis du ML
Le surapprentissage (overfitting) survient quand un modèle mémorise ses données d'entraînement — bruit compris — au lieu d'apprendre à généraliser. Son symétrique, l'underfitting, désigne un modèle trop simple pour capturer la structure des données. Le symptôme classique de l'overfitting : d'excellentes performances en entraînement, médiocres en test.
Leçon 5 — Détecter, prévenir et corriger l'overfitting
L'arsenal anti-overfitting : les courbes d'apprentissage (comparer erreur d'entraînement et de validation quand la taille des données croît), la régularisation (pénaliser la complexité), plus de données, moins de variables, l'arrêt précoce (early stopping) et la simplification du modèle. La leçon montre comment diagnostiquer avant de corriger.
Leçon 6 — Le compromis biais-variance
Le cadre théorique qui unifie tout : le biais est l'erreur due à un modèle trop simpliste (il rate la structure), la variance est l'erreur due à une sensibilité excessive aux données d'entraînement (il apprend le bruit). Augmenter la complexité réduit le biais mais augmente la variance — l'erreur totale suit une courbe en U, et tout l'art du machine learning est d'en trouver le creux.
📌 Exemple : le même phénomène explique une partie des hallucinations des grands modèles de langage — un déséquilibre entre la complexité du modèle et les données disponibles, comme l'expliquait Didier Gaultier via les lois de Vapnik dans l'épisode sur les IA génératives.
Leçon 7 — Comment choisir le meilleur modèle
La démarche de sélection : partir d'une baseline simple (prédire la moyenne, la classe majoritaire — le score à battre), comparer plusieurs familles de modèles à conditions égales, arbitrer entre performance, interprétabilité, temps d'entraînement et contraintes de production. Le meilleur modèle n'est pas le plus sophistiqué : c'est celui qui répond au besoin.
Leçon 8 — Les 5 mythes du machine learning
Déconstruction des idées reçues qui coûtent cher : « plus de données résout tout », « le deep learning est toujours meilleur », « un bon modèle n'a pas besoin d'humain »… Un vaccin contre le battage médiatique, indispensable avant de parler IA en entreprise.
Leçon 9 — La validation croisée expliquée simplement
La validation croisée (cross-validation) évalue un modèle de façon robuste. En k-fold, on découpe les données en k blocs : on entraîne k fois, en gardant à chaque fois un bloc différent pour le test, puis on moyenne les scores — chaque observation sert ainsi une fois à l'évaluation. La variante stratifiée préserve la proportion des classes dans chaque bloc, indispensable en classification déséquilibrée.
Leçon 10 — La validation croisée avec scikit-learn
Mise en pratique : cross_val_score, KFold, StratifiedKFold, et l'usage de la validation croisée pour comparer des modèles et régler les hyperparamètres (les réglages fixés avant l'entraînement) avec GridSearchCV — sans jamais toucher au jeu de test final, réservé au verdict ultime.
from sklearn.model_selection import cross_val_score, GridSearchCV
scores = cross_val_score(model, X, y, cv=5, scoring="f1")
print(scores.mean(), scores.std()) # performance moyenne ± stabilité
grid = GridSearchCV(model, {"max_depth": [3, 5, 10]}, cv=5)
grid.fit(X_train, y_train)
print(grid.best_params_) # hyperparamètres optimaux
La suite
Les fondations sont posées. Place aux deux modèles que tout data scientist doit maîtriser parfaitement : le Module 6 : régressions linéaire et logistique.
Références
- Hastie, Tibshirani & Friedman, The Elements of Statistical Learning — téléchargeable gratuitement
- Documentation scikit-learn : métriques d'évaluation et validation croisée
- Kohavi, R. (1995), « A study of cross-validation and bootstrap for accuracy estimation », IJCAI
- Dilemme biais-variance (Wikipédia)
