10 erreurs fréquentes quand on interprète des essais cliniques (2/10)

Un peu d’autocritique n’a jamais fait de mal à personne. Si vous lisez des essais cliniques et si vous tentez d’interpréter leurs résultats, les expliquer à des confrères ou les transposer à votre pratique de terrain, il faut veiller à ne pas tomber dans quelques pièges classiques récapitulés sur le blog the Conversation. Vous pouvez être certain d’avoir commis au moins une fois une des 10 boulettes répertoriées dans les notes qui vont suivre : 10 erreurs en 10 semaines sur ActuKiné : en voiture !!!

Mr METLAMOILA est voyant, astrologue, médium, apiculteur et magnétiseur à mi-temps depuis son plus jeune âge (celui qui est indiqué sur sa carte d’identité). Dans son cabinet, les miracles se succèdent : retour de l’être aimé, départ de l’être détesté, aller-retour de l’être hésitant, amaigrissement (y compris du portefeuille) et bien entendu (je vous vois arriver bande de petits pervers narcissiques !) allongement du kiki (je ne parle pas du jouet pour enfant). Il a depuis longtemps une passion pour la Science et se targue d’avoir participé à un essai contrôlé randomisé prouvant l’efficacité de sa technique*.

Dans cette étude, vous lisez effectivement que trois groupes ont bien été comparés : contrôle, placebo et méthode Metlamoila©. Le critère de mesure principal est la mesure de l’allongement du kiki par kikimètre (un dispositif laser mis au point par la NASA dans les années 60 pour tirer à la courte paille quel astronaute on envoyait dans l’espace pour un crash test expérimental). Sans appel, la méthode manuelle du marabout montre un allongement statistiquement significatif sur les groupes placebo (p<0.002) et contrôle (p<0.003).

Alors que vous portiez la main à la poche (550 euros la séance payable d’avance avec "rallonge" possible) et le kiki sur la table, votre regard se pose sur une partie de l’article où il est écrit "taille d’effet". A cet endroit est mentionné un chiffre qui vous semble d’un seul coup bien minuscule : 0.047mm. Il semble donc que la méthode rallonge la chose mais pas vraiment autant que ce que vous escomptiez. Armé de votre kiki et de votre couteau, vous bondissez hors du cabinet de toilette de ce marabout en jurant de ne plus vous y faire prendre (le magnétiseur avait déjà entamé son travail manuel sans vous avertir !).

Les effets d’une technique peuvent parfois être à la fois statistiquement significatifs et cliniquement inutiles. Les associations (comme les corrélations) sont parfaites pour tomber sous le coup de cette boulette, en particulier lorsque les études ont un nombre de participants important.

Un exemple moins poétique :
Une étude comprenant 22 000 sujets a trouvé une association significative (p <0,00001) entre prise d’aspirine régulière et prévention des infarctus du myocarde. Cependant, la taille d’effet était minuscule : la différence, en termes de probabilité, de faire un infarctus du myocarde entre les individus consommant de l’aspirine tous les jours et ceux qui n’en consommaient pas était de 0.77% ; autant dire pas grand-chose et avec les risques d’effets secondaires liés à une telle consommation.

* Metlamoila O. Effects of dubious manual therapy on the lengthening of Kiki : a randomised controlled trial. Cock and Cook, 69, p169-269.