Les tests d'hypothèse
L'hypothèse nulle, la valeur p et les quatre décisions qui s'ensuivent : ce qu'un test établit et ce qu'il n'établit jamais.
- Énoncer une hypothèse nulle et une hypothèse alternative pour une comparaison concrète
- Calculer une statistique t à la main à partir de deux moyennes de groupe et de leurs erreurs
- Interpréter correctement une valeur p, y compris les trois lectures erronées courantes
- Expliquer la différence entre signification statistique et signification pratique
Ce que cela signifie
Un test d’hypothèse demande à quel point les données seraient surprenantes s’il n’y avait aucun effet. Vous énoncez deux hypothèses :
- , l’hypothèse nulle : il n’y a pas de différence, l’effet est nul ;
- , l’hypothèse alternative : il y a une différence, dans une direction que vous énoncez à l’avance.
Ensuite vous calculez une statistique mesurant à quel point les données observées s’écartent de ce que prédit , vous la convertissez en valeur p — la probabilité d’obtenir des données au moins aussi extrêmes si était vraie — et vous la comparez à un seuil fixé à l’avance, conventionnellement 0,05.
Pour comparer deux moyennes, la statistique est un rapport :
Le numérateur est l’effet que vous avez observé. Le dénominateur est de combien cette différence oscillerait sous . Un rapport élevé signifie que l’effet est grand par rapport au bruit.
Ce que cela apporte
Il donne une réponse disciplinée à la question « est-ce que ce ne serait pas simplement le hasard ? », que toute comparaison soulève. Il force à décider la direction et le seuil avant de voir les données, ce qui protège contre le talent humain à trouver une histoire dans le bruit.
C’est aussi là que réside une grande partie des erreurs statistiques publiées, donc le connaître est autant défensif que constructif.
Calcul à la main
Deux groupes de livraisons, l’un avec un nouveau système de routage :
- Itinéraire actuel : , moyenne 18,0 min, écart type 6,0.
- Nouvel itinéraire : , moyenne 15,0 min, écart type 5,0.
Étape 1 — les hypothèses. : les moyennes sont égales. : le nouvel itinéraire est plus rapide.
Étape 2 — les erreurs types.
Étape 3 — l’erreur type de la différence. Pour des groupes indépendants, les variances s’additionnent :
Étape 4 — la statistique.
Étape 5 — la valeur p. Avec environ 58 degrés de liberté, un de 2,10 est dépassé dans une queue avec une probabilité d’environ 0,020. Comme dit « plus rapide », la valeur p unilatérale vaut environ 0,02 ; bilatérale, environ 0,04. Dans les deux cas, elle est inférieure à 0,05.
Étape 6 — la décision, énoncée honnêtement. « Le nouvel itinéraire est associé à un temps de livraison moyen inférieur de 3 minutes, , . L’intervalle de confiance pour la différence va approximativement de 0,1 à 5,9 minutes. » Remarquez combien l’intervalle en dit plus que le verdict : l’effet pourrait être trivial ou substantiel.
🧩 Défi, réfléchissez d'abord, puis révélez
La même différence de 3 minutes est trouvée avec par groupe. Que devient la valeur p, et la conclusion devient-elle plus importante ?
💡 Réponse : Les erreurs types diminuent d'un facteur d'environ 3,2, donc $t$ monte à environ 6,7 et la valeur p devient minuscule. L'effet reste inchangé à 3 minutes — la conclusion est plus certaine, pas plus grande. C'est la différence entre la signification statistique (la preuve qu'un effet existe) et la signification pratique (savoir s'il vaut la peine d'agir).
Ce qu’une valeur p n’est pas
- Pas la probabilité que soit vraie. Elle est calculée en supposant vraie.
- Pas la probabilité que vous ayez tort. C’est une affirmation sur les données, pas sur votre conclusion.
- Pas une mesure de la taille d’effet. Un effet minuscule avec un échantillon énorme donne une valeur p minuscule.
- Pas une licence pour pêcher. Tester de nombreuses hypothèses et rapporter la plus petite valeur p garantit des faux positifs ; avec 20 tests à 0,05, attendez-vous à un résultat « significatif » fallacieux.
La même chose en Python
from scipy import stats
current = [17, 18, 19, 18, 16, 20] # illustrative samples
new = [14, 15, 16, 15, 13, 17]
res = stats.ttest_ind(new, current, alternative='less')
print(round(res.statistic, 2), round(res.pvalue, 4))Affichez toujours l’effet et son intervalle en même temps que le test :
import statistics as st
diff = st.mean(current) - st.mean(new)
se = (st.stdev(current)**2 / len(current) + st.stdev(new)**2 / len(new)) ** 0.5
print(round(diff, 2), round(diff - 2*se, 2), round(diff + 2*se, 2))Le voir géométriquement
La statistique t est la distance entre deux distributions d’échantillonnage mesurée dans leur propre dispersion. Dans l’explorateur de test t de GeoGebra, vous pouvez écarter les moyennes de groupe ou agrandir les échantillons et voir le chevauchement diminuer — la même image que la valeur p qui baisse.
Quand l’utiliser
- Une comparaison spécifiée à l’avance entre deux groupes ou par rapport à une référence.
- Vérifier si une différence observée est plus grande que ce que produirait le bruit d’échantillonnage.
- Comme une entrée d’une décision qui pèse aussi le coût, la taille d’effet et le contexte.
Limites
- Il répond à une question étroite — « l’effet est-il nul ? » — et ne dit rien de sa taille ni de son importance.
- Les hypothèses comptent. L’indépendance, et des données à peu près normales ou de grands échantillons ; les violer invalide la valeur p.
- Les comparaisons multiples gonflent les faux positifs sauf correction.
- Il récompense les grands échantillons par de la signification pour des effets dont personne ne se soucie.
- Il ne peut pas sauver un plan biaisé. Un test sur un échantillon biaisé donne une réponse précise à la mauvaise question.
Pièges courants
- Choisir l’hypothèse après avoir vu les données, ce qui convertit discrètement une découverte exploratoire en confirmation fallacieuse.
- Rapporter p < 0,05 comme une « preuve » ; c’est une preuve contre un modèle nul, pas la preuve d’un mécanisme.
- Cacher la taille d’effet. Une valeur p sans différence de moyennes ni intervalle est ininterprétable.
- Confondre tests unilatéraux et bilatéraux, ce qui change le seuil sans changer les données.
🧩 Défis
🧩 Défi, réfléchissez d'abord, puis révélez
Une étude rapporte « p = 0,049, significatif » et une autre « p = 0,051, non significatif » pour la même taille d’effet et la même taille d’échantillon. L’une des conclusions est-elle réelle et l’autre non ?
💡 Réponse : Non. Les deux valeurs p sont essentiellement le même nombre, et la ligne de 0,05 est une convention, pas un fait sur le monde. Les traiter comme des conclusions opposées est l'erreur du « la différence entre significatif et non significatif n'est pas elle-même significative ». Rapportez les deux avec leurs intervalles et laissez le lecteur voir à quel point les preuves sont similaires.
🤔 Questions socratiques
- Pourquoi l’hypothèse doit-elle être énoncée avant de regarder les données ?
- Si un test n’est pas significatif, avez-vous montré qu’il n’y a aucun effet ?
- Qu’apporte un intervalle de confiance à 95 % qu’une valeur p n’apporte pas ?
- Pourquoi tester vingt hypothèses garantit-il environ un faux positif au seuil de 0,05 ?
✅ Vérification rapide
1. Que signifie une valeur p de 0,03 ?
2. Une différence est statistiquement significative avec un échantillon énorme. Que devez-vous vérifier d'autre ?