1/ Les auteurs rappellent que 85% des ressources de la recherche biomédicale partent en fumée dans des travaux biaisés (2).
2/ On peut faire la différence entre reproductibilité et réplicabilité (3)* :
– Reproductibilité : une équipe indépendante analyse les mêmes données et doit retomber sur les mêmes résultats.
– Réplicabilité : une équipe indépendante produit de nouvelles données avec le même design et doit retomber sur les mêmes données.
3/ Des facteurs qui peuvent limiter la R&R sont :
– Un manque de transparence dans le report des données : informations incomplètes pour le calcul du nombre de sujets nécessaires, les modalités précises des traitements utilisés, l’adhérence, les caractéristiques détaillées de mesure de la douleur, biais de sélection, etc.
– Un manque de puissance des études : par exemple, en psychologie, en répliquant des études primaires avec une puissance correcte, la taille d’effet retrouvée chute en moyenne de 50% (4).
– Les « Researcher degrees of freedom » : comme je n’ai pas trouvé de traduction officielle et résident non loin du Cap d’Agde, je nommerais ça du « libertinage méthodologique » : par exemple, dans le domaine de la recherche en stimulation cérébrale, 30% des chercheurs retirent les valeurs aberrantes sans raison statistique, 30% excluent des données après avoir observé les résultats et 38% enlève des données d’instinct (5).
– Des raisons contextuelles : le succès, les récompenses ou encore les forts taux de citations semblent augmenter le risque d’emploi d’une méthode pauvre.
4/ Des solutions à adopter pour améliorer la R&R sont :
– La « preregistration » : on enregistre le plan de recherche avant de collecter les données : elle permet de contrôler les biais de reporting, spins et p-hacking.
– Les « registered reports » : le pré-enregistrement passe en peer-review et si les données qui arrivent dans un second temps correspondent, l’article est accepté par la revue : ils permettent de contrôler les biais de publication.
– Le plein partage des données y compris des codes d’analyses statistiques.
– L’adhésion aux recommandations de reporting type CONSORT.
Pourquoi est-ce important pour nous les Kikis ?
Même avec une méthode rigoureuse, une seule étude ne permet pas de se prononcer en faveur ou en défaveur d’un protocole/traitement/hypothèse, etc. Les exemples de travaux douteux sont fréquents (un exemple ici).
Références
(2) Macleod MR, Michie S, Roberts I, Dirnagl U, Chalmers I, Ioannidis JPA, Salman RAS, Chan AW, Glasziou P. Biomedical research: increasing value, reducing waste. Lancet 2017;383:101–4.
(3) Patil P, Peng RD, Leek JT. A statistical definition for reproducibility and replicability. BioRxiV 2017. Preprint.
* En savoir plus sur la reproductibilité en sciences
(4) Open Science Collaboration. Estimating the reproducibility of psychological science. Science 2015;349:aac4716.
(5) Héroux ME, Taylor JL, Gandevia SC. The use and abuse of transcranial magnetic stimulation to modulate corticospinal excitability in humans. PLoS One 2015;10:e0144151.
