ML basics : Apprentissage supervisée �Cours d’Analyse de données�

​

​

​

Constanza Corentin

Polytech Lyon, Département MAM

20/05/2025

​

Apprentissage supervisé ? Un exemple…

Reconnaître si un patient à le cancer

• A partir d’image biomédical (photo, RX, CT, IRM, MN…)
• Data (X): the image
• Labell (y): cancereux ?

​

2

Esteva, Andre, et al. "Dermatologist-level classification of skin cancer with deep neural networks." Nature 542.7639 (2017): 115.

05 - Analyse de données - MAM 3A - Constanza Corentin

Apprentissage supervisé ? Plus d’exemple…

​

• Prédire les prix des actions à l’avenir
• à partir des informations sur les entreprises & des prix passés (et autres)
• Ciblage publicitaire
• à partir des données utilisateur
• Estimer le redshift d’une galaxie
• à partir d’une image photométrique avec quelques couleurs
• Prédire si un paiement par carte est frauduleux
• à partir de données historiques sur des fraudes & habitude des utilisateurs
• Classer les courriels indésirables comme spam
• à partir des mail déjà classé comme spam

​

Un large éventail de problèmes → nombreuses applications

​

3

05 - Analyse de données - MAM 3A - Constanza Corentin

Apprentissage supervisé - formellement

• Estimer la fonction : y = f(X)
• X mesurable
• y impossible (future) ou trop chère/complexe à mesurer�
• y est continue → regression
• Prix, redshift, taux métaboliques …
• y est discret → classification
• Cancereux ? images de chien vs chat …

​

​

4

05 - Analyse de données - MAM 3A - Constanza Corentin

Apprentissage supervisé comme curve fitting

• Data: (X, y) paires
• X : input data
• y : ce qu’on veux prédire
• Ex : surface → prix
• Objectif : y pour un nouveau X
• Modèle simple:
• Linéaire
• y = f(X, w) = w₀ + x * w₁

​

• Comment trouver w₀ et w₁ ?
• Minimiser l’erreur !
• (y - f(X, w))²

5

05 - Analyse de données - MAM 3A - Constanza Corentin

Apprentissage supervisé - optimisation

​

• Data: paires (X, y)
• Modèle : f (ex : y = f(X, w) = w₀ + x * w₁)
• L, Loss function : une métrique à minimiser (ex : (y - f(X, w))²)
• Objectif : trouver le minimum de L en fonction de w
• Généralement pas de solution analytique → méthodes de gradient
• L = height, w₀ = latitude, w₁ = longitude
• Local minima

6

https://kraj3.com.np/blog/2019/06/introduction-to-gradient-descent-algorithm-and-its-variants/

05 - Analyse de données - MAM 3A - Constanza Corentin

Loss functions

• Régression
• Mean squared error (MSE)
• Mean absolute error (MAE)
• Robuste au valeur aberrante
• Log-cosh loss
• Se comporte comme le MAE quand l’erreur est large et comme le MSE quand l’erreur est faible�
• Classification
• Binaire
• = 0 ou 1�
• est la proba de la prédiction �
• Multiclass
• = 1 si l’échantillons i appartient à c, 0 sinon�
• est la proba pour l'échantillon i et la classe c�
• La somme des doit être égales à 1 pour chaque échantillons

7

05 - Analyse de données - MAM 3A - Constanza Corentin

Overfitting/underfitting

Analogie:

• train dataset = devoirs
• test dataset = exam
• Overfitting = apprentissage par coeur des exos du cours et échec à l'examen
• On a besoin d’une validation

8

05 - Analyse de données - MAM 3A - Constanza Corentin

Overfitting/underfitting

9

data points underfitting just right

data points overfitting just right

05 - Analyse de données - MAM 3A - Constanza Corentin

Métriques

• On minimise une Loss function, qui n’a parfois aucun sens pour le pb initial :
• On utilise une ou plusieurs métriques pour évaluer le modèle (peut être la Loss parfois)
• Objectifs d’une métriques :
• Informatives
• “Justifié”
• Facilement comprehensible (si possible)
• Un meilleur modèles à un meilleur score
• Exemple :
• MNIST (0-1-2-3-4-5-6-7-8-9)
• Le modèles prédis si l’image est un 0 ou pas
• Métriques : accuracy
• 90%
• Bon modèle ?
• Ça depends…
• Cancer pre-screening
• Prédit si le patient à le cancer à partir d’un test sanguin
• Métriques : accuracy
• 99% accuracy, is it good?
• Métriques : précision (TP/(TP + FP))
• 50%, is it good?

​

10

05 - Analyse de données - MAM 3A - Constanza Corentin

Quelques métriques pour la régression

• Mean absolute error (MAE)�

​

• Mean squared error (MSE)�

​

• Root mean squared error (RMSE)��
• R² - coefficient of determination^�
• Pearson correlation

​

• Max error�

​

11

05 - Analyse de données - MAM 3A - Constanza Corentin

Quelques métriques pour la classification

​

• Classification Binaire (0-1, negative-positive)
• TP: true positive
• FP: false positive
• TN: true negative
• FN: false negative�
• Accuracy�
• TPR - true positive rate (recall, sensitivity)�
• TNR - true negative rate (specificity)�
• FPT - false positive rate: 1 - TNR

​

• F1 score, précision …

​

​

12

https://towardsdatascience.com/demystifying-confusion-matrix-29f3037b0cfa

05 - Analyse de données - MAM 3A - Constanza Corentin

Tips pour le projets

• Plotting, plotting plotting
• Faites un maximum de visualisation
• Une bonne exploration des données :
• Meilleure compréhension du dataset et de vos modèles
• Debug plus simple

​

• N’oubliez pas de l’étape de préparation des données !

​

• Baseline models
• Commencez par des modèles simple !
• Regression Lineaire
• Random forest avec les paramètre par défauts
• Avant de passer à des modèles plus complexe

​

• Faite attention à la validation de vos modèles
• Simuler l’utilisation en condition réelles.
• Faites attention au effets confondants.

​

13

05 - Analyse de données - MAM 3A - Constanza Corentin

Résumé

14

http://valyrics.vas3k.com/blog/machine_learning/

05 - Analyse de données - MAM 3A - Constanza Corentin