Pourquoi tant de revues restent indéfendables
Une étude de méta-recherche souvent citée a montré que la très grande majorité des revues systématiques rapportaient encore leurs stratégies de recherche de manière insuffisamment reproductible — et qu'une seule revue sur cent dans l'échantillon étudié avait fourni suffisamment de détails pour être entièrement reproductible. Ce chiffre est préoccupant. Il ne signifie pas que le travail a été mal fait, mais qu'il n'a pas été suffisamment documenté pour être évalué ou reproduit.
Cet article propose une checklist structurée pour les étapes finales de votre revue, du protocole à la rédaction.
Checklist complète pour une revue défendable
1. Protocole et préenregistrement
- ☐ La question de recherche est formulée avec un cadre explicite (PICO, PCC, SPIDER ou équivalent)
- ☐ Le type de revue est nommé et justifié
- ☐ Les critères d'inclusion et d'exclusion sont définis avant la recherche
- ☐ Le protocole est enregistré (PROSPERO en santé, OSF Registries dans les autres disciplines) ou la raison de non-enregistrement est expliquée
- ☐ La date de préenregistrement est antérieure à la date de début de recherche documentaire
2. Stratégie de recherche documentaire
- ☐ Toutes les bases consultées sont nommées (avec les interfaces utilisées)
- ☐ Les requêtes complètes sont rapportées ou placées en annexe (PRISMA-S)
- ☐ Les dates de recherche sont indiquées pour chaque base
- ☐ Les limites appliquées (langue, période, type de document) sont justifiées
- ☐ La recherche complémentaire est documentée : citation chaining, recherche manuelle, littérature grise, registres d'essais
- ☐ Le dédoublonnage est décrit (outil utilisé, nombre de doublons supprimés)
3. Sélection des études (screening)
- ☐ Le nombre total de références obtenues est indiqué
- ☐ Le processus de screening est décrit (titres/résumés, puis textes intégraux)
- ☐ Les décisions ont été prises par au moins un réviseur, idéalement deux avec accord inter-juges
- ☐ Les raisons d'exclusion des études au stade texte intégral sont listées
- ☐ Un diagramme de flux (PRISMA flow diagram) est inclus, avec les chiffres à chaque étape
4. Extraction des données
- ☐ Un tableau d'extraction standardisé est utilisé
- ☐ Le tableau inclut au minimum : citation, type d'étude, contexte/population, méthode, résultats clés, limites, note d'appraisal
- ☐ L'extraction a été vérifiée sur un sous-échantillon par un second réviseur
5. Évaluation critique de la qualité
- ☐ L'outil d'appraisal est nommé et justifié selon le type d'étude (outils JBI, checklists CASP, RoB 2, ROBINS-I…)
- ☐ Les résultats d'appraisal sont rapportés (pas seulement cités) — au moins un résumé par étude
- ☐ L'impact des études de faible qualité sur les conclusions est discuté
6. Synthèse et rédaction
- ☐ La méthode de synthèse est explicitée (narrative, méta-analyse, synthèse thématique, méta-ethnographie…)
- ☐ Les tableaux récapitulatifs ou figures sont cohérents avec le corps du texte
- ☐ Les limites de la revue sont discutées explicitement (biais potentiels, lacunes de la littérature)
- ☐ Les conclusions sont proportionnées à la qualité et à la quantité des preuves
7. Note sur l'usage de l'IA
- ☐ L'usage éventuel d'outils d'IA est déclaré (outils utilisés, usage effectif, vérification humaine)
- ☐ Aucun outil d'IA n'est listé comme auteur
- ☐ La déclaration est placée dans la section Méthodes et/ou les remerciements selon les exigences de la revue
8. Dépôt et accessibilité
- ☐ Le protocole ou la revue complète est déposée sur OSF ou en annexe institutionnelle si les normes de la discipline l'encouragent
- ☐ Les données d'extraction sont disponibles en annexe ou sur demande
- ☐ Le diagramme de flux est joint en figure haute résolution
Le principe PRISMA-S pour la stratégie de recherche
PRISMA-S (Preferred Reporting Items for Systematic Review and Meta-Analysis literature Searches) est une extension de PRISMA 2020 dédiée au reporting des stratégies de recherche documentaire. Ses 16 éléments couvrent :
- L'identification des bases (avec interfaces et dates)
- Les requêtes complètes pour chaque base
- Les méthodes de gestion des références (logiciel de gestion bibliographique, dédoublonnage)
- Les recherches supplémentaires (citation chaining, registres, littérature grise)
Mon conseil pratique : même pour une revue narrative ambitieuse, adoptez une « version allégée de PRISMA-S » pour votre annexe méthodologique. C'est ce qui sépare un travail défendable d'un travail fragile face à la critique.
Où déposer votre protocole ou votre revue
- PROSPERO — Pour les protocoles de revues systématiques en santé et en sciences connexes. Gratuit, public, horodaté.
- OSF Registries (Open Science Framework) — Infrastructure générale, transdisciplinaire, gratuite. Accepte des protocoles de tout type de revue. Idéal pour les disciplines non biomédicales.
- INPLASY — Alternative pour certains types de protocoles (avec frais d'enregistrement).
- Dépôt institutionnel — Votre université ou votre laboratoire peut avoir un dépôt. Scholar peut être ce dépôt pour votre propre revue si vous êtes dans son réseau.
Ce que votre lecteur doit pouvoir reconstruire
La question ultime pour évaluer la reproductibilité d'une revue est la suivante : un lecteur indépendant, avec les mêmes ressources que vous, pourrait-il répliquer votre recherche documentaire et obtenir un résultat comparable ?
Si la réponse est « probablement pas », c'est qu'une partie de la documentation manque. Ce n'est pas toujours un problème insurmontable — certaines contraintes pratiques sont légitimes. Mais elles doivent être explicitées comme des limites, pas ignorées.