Statistique
Tests d'hypothèse
En anglais : Hypothesis testing
Un test d'hypothèse répond à une seule question : l'écart observé entre deux situations est-il plus grand que ce que le hasard d'échantillonnage produit tout seul ?
La logique du test
On part d'une hypothèse nulle : il n'y a pas de différence. On calcule ensuite la probabilité d'observer un écart au moins aussi grand que celui mesuré, si cette hypothèse était vraie. C'est la valeur p.
Si cette probabilité est faible — sous un seuil fixé à l'avance, très souvent 5 % — on conclut que l'hypothèse nulle est peu crédible et qu'une différence existe. Sinon, on ne conclut rien : l'absence de preuve n'est pas la preuve de l'absence.
Cette asymétrie est le point que tout le monde escamote. Un test qui ne détecte rien ne dit pas « les deux sont identiques » ; il dit « avec ces données-là, je ne peux pas l'affirmer ». La différence est peut-être réelle et l'échantillon trop petit pour la voir.
Choisir le bon test
Le choix dépend de trois choses : la nature des données, le nombre de groupes comparés, et la question posée.
Comparer des moyennes — test de Student pour deux groupes, analyse de la variance au-delà. Comparer des dispersions — tests sur les variances, souvent oubliés alors qu'une différence de régularité est parfois plus importante qu'une différence de moyenne. Comparer des proportions ou des comptages — test du khi-deux et apparentés.
Ces tests supposent des conditions : indépendance des observations, souvent une distribution proche de la normale, parfois des dispersions comparables. Quand elles ne tiennent pas, des tests non paramétriques prennent le relais, au prix d'un peu de puissance.
Les deux risques, et celui qu’on oublie
Le risque alpha est celui de conclure à une différence qui n'existe pas — c'est le seuil qu'on fixe, 5 % en général. Le risque bêta est celui de manquer une différence réelle, et personne ne le fixe jamais.
C'est pourtant lui qui décide de la taille de l'échantillon. Un test conduit sur trop peu de données a une forte probabilité de ne rien voir, quelle que soit la réalité — et on repart alors avec la conviction rassurante qu'il n'y a rien à voir. Calculer la taille d'échantillon nécessaire AVANT de collecter est la seule parade.
Les erreurs fréquentes
Confondre significativité statistique et importance pratique. Sur dix mille mesures, un écart de délai de deux minutes ressort comme hautement significatif. La question suivante — cet écart change-t-il quelque chose pour le client ? — n'est pas statistique, et c'est celle qui décide.
Décider du seuil après avoir vu le résultat, ou multiplier les tests jusqu'à ce que l'un passe. Sur vingt tests au seuil de 5 %, un ressort significatif par pur hasard. C'est mécanique, et c'est ce qui produit les conclusions irreproductibles.
Sur le terrain — Logistique
Deux méthodes de préparation de commandes affichaient 4 % d'écart de productivité sur un mois. Le test n'a rien conclu : la variabilité entre opérateurs dépassait largement l'écart entre méthodes. La collecte reprise sur les mêmes opérateurs, chacun testant les deux méthodes, a montré l'écart réel — et il allait dans l'autre sens.
Questions fréquentes
Que signifie une valeur p de 0,03 ?
Que si aucune différence n'existait, on aurait 3 % de chances d'observer un écart au moins aussi grand que celui mesuré. Ce n'est pas la probabilité que l'hypothèse nulle soit vraie, ni la probabilité de se tromper en concluant — deux lectures fausses et extrêmement répandues.
Pourquoi le seuil est-il à 5 % ?
Par convention, pas par nécessité. C'est un compromis hérité de la pratique agronomique du début du vingtième siècle. Un contexte où se tromper coûte cher — sécurité, santé — justifie un seuil plus exigeant ; une décision réversible peut s'accommoder d'un seuil plus large. Ce qui compte est de le fixer avant de regarder les données.
Combien de données faut-il pour un test ?
Cela se calcule, à partir de trois éléments : l'écart qu'on veut être capable de détecter, la variabilité du processus, et les risques acceptés. Un écart faible sur un processus dispersé demande beaucoup de données. Faire ce calcul avant la collecte évite le scénario le plus fréquent : un test qui ne conclut rien parce qu'il ne pouvait pas conclure.
Un test remplace-t-il un graphique ?
Jamais. Le graphique montre la forme, les valeurs extrêmes, les groupes cachés, l'ordre chronologique — tout ce qu'un test résume en un nombre unique et perd. La séquence utile est toujours : tracer d'abord, tester ensuite pour confirmer ce que l'œil a suggéré.
Voir aussi
S'entraîner sur ce thème
Le parcours Six Sigma Green Belt comporte des questions sur ce sujet. Il fait partie de l’accès complet.
Voir le parcours