PyDA Course
📖 Leçon 17 Avancé ⏱ 40 minutes ⚡ +100 XP ColabKagglenbviewerBinderDeepnoteGitHub régression · moindres-carrés · résidus · hypothèses

Régression et corrélation, faites correctement

Ajuster une droite, lire sa pente comme un taux, vérifier les quatre hypothèses, et voir pourquoi r et la pente sont deux vues d'une même chose.

🎯 Ce que vous apprendrez :
  • Ajuster une droite des moindres carrés à la main sur un petit jeu de données
  • Lire la pente comme un taux avec unités, et l'ordonnée à l'origine comme une moyenne conditionnelle
  • Calculer r et expliquer sa relation exacte avec la pente et les écarts types
  • Vérifier les quatre hypothèses de la régression sur un graphique des résidus
  • Expliquer quand une droite ajustée ne doit pas être extrapolée

Ce que cela signifie

Une droite de régression résume comment une réponse yy varie avec un prédicteur xx. La droite des moindres carrés minimise la somme des distances verticales au carré entre les points et la droite :

y^=b0+b1x,b1=r sysx,b0=yˉ−b1xˉ.\hat{y} = b_0 + b_1 x, \qquad b_1 = r\,\frac{s_y}{s_x}, \qquad b_0 = \bar{y} - b_1 \bar{x}.

La pente est la corrélation remise à l’échelle des unités des données : multipliez rr par le rapport des deux écarts types et vous obtenez « de combien d’unités yy bouge par unité de xx ». C’est pourquoi rr et b1b_1 ont toujours le même signe : ils expriment la même relation sur des échelles différentes.

Ce que cela apporte

La corrélation dit que deux variables varient ensemble ; la régression dit de combien, dans des unités exploitables. « Corrélation 0,7 » est difficile à utiliser ; « chaque heure d’étude supplémentaire est associée à 6,3 points de plus » est une phrase sur laquelle une décision peut se construire.

La régression produit aussi les résidus — les parties de yy que la droite n’explique pas — et c’est sur ces résidus que se fait toute vérification des hypothèses.

Calcul à la main

Encore les cinq étudiants : heures x=1,2,3,4,5x = 1,2,3,4,5 ; scores y=50,55,65,70,80y = 50,55,65,70,80.

D’après la leçon sur la corrélation : xˉ=3\bar{x} = 3, yˉ=64\bar{y} = 64, sx≈1.581s_x \approx 1.581, sy≈11.94s_y \approx 11.94, r≈0.987r \approx 0.987.

Étape 1 — la pente.

b1=0.987×11.941.581≈0.987×7.55≈7.45b_1 = 0.987 \times \frac{11.94}{1.581} \approx 0.987 \times 7.55 \approx 7.45

Étape 2 — l’ordonnée à l’origine.

b0=64−7.45×3=64−22.35=41.65b_0 = 64 - 7.45 \times 3 = 64 - 22.35 = 41.65

Étape 3 — la droite. y^=41.65+7.45x\hat{y} = 41.65 + 7.45x.

Étape 4 — lisez-la. Chaque heure d’étude supplémentaire est associée à environ 7,5 points de plus. L’ordonnée à l’origine, 41,65, est le score prédit pour zéro heure — une moyenne conditionnelle, pas l’affirmation qu’un étudiant qui ne fait rien obtient 41,65 au sens causal.

Étape 5 — les résidus. Prédit contre réel :

xxyyy^\hat{y}résidu
15049,1+0,9
25556,6−1,6
36564,0+1,0
47071,4−1,4
58078,9+1,1

Les résidus s’annulent (aux arrondis près), alternent de signe et restent petits — un ajustement sain pour une droite.

🧩 Défi, réfléchissez d'abord, puis révélez

Prédisez le score pour 10 heures d’étude. Quelle est la prédiction, et pourquoi faut-il s’en méfier ?

💡 Réponse : $\hat{y} = 41.65 + 74.5 = 116.15$ — au-dessus du score maximal possible. C'est une extrapolation : la droite a été ajustée sur 1 à 5 heures et rien ne montre que la relation reste linéaire au-delà de cette plage. Un score ne peut pas dépasser 100, donc le modèle est déjà en dehors de son domaine valide.

Les quatre hypothèses

Vérifiez-les sur les résidus, pas sur le nuage brut :

  1. Linéarité — les résidus ne montrent aucune courbe. Un motif en U signifie que la relation se courbe.
  2. Dispersion égale — les résidus s’évasent (ou se resserrent) quand xx augmente, c’est l’hétéroscédasticité ; les erreurs types issues de l’ajustement seront alors fausses.
  3. Indépendance — les résidus ne sont pas corrélés à l’ordre de collecte, au groupe ou au temps.
  4. Normalité approximative des résidus — nécessaire pour les valeurs p et les intervalles, moins critique pour l’estimation de la pente elle-même.
python
import numpy as np

x = np.array([1, 2, 3, 4, 5], dtype=float)
y = np.array([50, 55, 65, 70, 80], dtype=float)

b1, b0 = np.polyfit(x, y, 1)
print(round(b1, 2), round(b0, 2))         # 7.45 41.65

resid = y - (b0 + b1 * x)
print(np.round(resid, 2))                  # [ 0.9 -1.6  1.0 -1.4  1.1]

Avec pandas et scipy, vous obtenez la même pente plus l’erreur type que vous rapporteriez :

python
from scipy import stats
res = stats.linregress(x, y)
print(res.slope, res.intercept, res.rvalue, res.pvalue, res.stderr)

Le voir géométriquement

La droite des moindres carrés est celle qui minimise l’aire totale des carrés dessinés sur chaque résidu. Déplacez un point dans l’explorateur de régression de GeoGebra et regardez la droite basculer — et observez qu’un seul point éloigné à l’extrémité de la plage la fait levier bien plus fort qu’un point proche du milieu.

Quand l’utiliser

  • Quantifier une relation dans les unités des données, avec une pente que vous pouvez citer.
  • Ajuster sur une seconde variable, ce que fait la régression multiple et qui vous sauve du paradoxe de Simpson.
  • Produire des prédictions à l’intérieur de la plage observée, avec l’incertitude attachée.

Limites

  • Une droite ne peut pas représenter une courbe. Si les résidus montrent une courbure, le modèle est faux quel que soit le rr.
  • La corrélation n’est toujours pas la causalité. Une pente de régression hérite de tous les facteurs de confusion de la corrélation.
  • Des points influents peuvent fixer la pente. Un point à un xx extrême peut déplacer la droite de façon spectaculaire ; vérifiez en réajustant sans lui.
  • L’extrapolation est dangereuse au-delà de la plage ajustée, comme le montre l’exemple des 10 heures.
  • Une plage restreinte atténue la pente. Ajustez seulement parmi les meilleurs et la pente s’aplatit.

Pièges courants

  • Rapporter rr alors que vous avez ajusté une pente (ou l’inverse) sans dire lequel.
  • Lire l’ordonnée à l’origine comme une référence réelle quand x=0x = 0 est en dehors des données.
  • Ignorer le graphique des résidus parce que rr était élevé.
  • Qualifier la pente de causale quand le plan d’étude était observationnel.

🧩 Défis

🧩 Défi, réfléchissez d'abord, puis révélez

Deux variables ont r=0.6r = 0.6, sx=2s_x = 2 et sy=10s_y = 10. Quelle est la pente de yy sur xx ? Et celle de xx sur yy ? Pourquoi ne sont-elles pas réciproques ?

💡 Réponse : $b_{y \mid x} = 0.6 \times 10/2 = 3$ ; $b_{x \mid y} = 0.6 \times 2/10 = 0.12$. Leur produit vaut $r^2 = 0.36$, pas 1. Les moindres carrés minimisent les distances verticales, donc inverser la variable placée en ordonnée ajuste une autre droite ; les deux droites ne coïncident que lorsque $r = \pm1$.

🤔 Questions socratiques

  • Pourquoi la droite des moindres carrés passe-t-elle par le point (xˉ,yˉ)(\bar{x}, \bar{y}) ?
  • Si r=0r = 0, quelle est la pente des moindres carrés, et que prédit la droite pour chaque xx ?
  • Pourquoi les résidus s’annulent-ils toujours pour un modèle avec ordonnée à l’origine ?
  • Qu’implique un graphique de résidus en éventail sur l’intervalle de confiance de la pente ?

✅ Vérification rapide

1. Une régression du score sur les heures donne une pente de 7,45. Que signifie-t-elle ?

2. Le graphique des résidus montre un U net. Quel est le problème ?

3. Pourquoi extrapoler une droite ajustée au-delà de la plage des données est-il risqué ?

régressionmoindres-carrésrésidushypothèses