Revues systématiques

AMSTAR-2 (A MeaSurement Tool to Assess systematic Reviews)

Devis de rechercheRevues systématiques d'essais cliniques randomisés et d'études non randomisées
Nombre de critères16
Cotationoui, non (d'autres choix de réponse disponible selon les critères comme partiellement oui et pas de méta-analyse effectuée)
ValiditéUne réunion en face à face a été organisée avec un groupe d'experts afin de mettre à jour l'outil à partir des résultats d'une revue de littérature sur des outils d'évaluation de la qualité des revues systématiques, de sondages auprès des utilisateurs d'AMSTAR, de l'expérience des participants aux ateliers AMSTAR offerts lors de congrès, des commentaires sur le site web AMSTAR et des critiques publiées sur l'outil (Shea et al 2017).

Études sur la validité:
• Lorenz, R. C. (2020). AMSTAR 2 overall confidence rating: lacking discriminating capacity or requirement of high methodological quality? Journal of Clinical Epidemiology, 119, 142.
• Lorenz, R. C., Matthias, K., Pieper, D., Wegewitz, U., Morche, J., Nocon, M., et al. (2019). A psychometric study found AMSTAR 2 to be a valid and moderately reliable appraisal tool. Journal of Clinical Epidemiology, 114, 133-140.
FidélitéÉtudes sur la fidélité sur AMSTAR:
• Bühn, S., Ober, P., Mathes, T., Wegewitz, U., Jacobs, A., & Pieper, D. (2021). Measuring test-retest reliability (TRR) of AMSTAR provides moderate to perfect agreement–a contribution to the discussion of the importance of TRR in relation to the psychometric properties of assessment tools. BMC medical research methodology, 21(1), 1-7.
• García-Alamino, J. M., López-Cano, M., Kroese, L., Helgstrand, F., & Muysoms, F. (2019). Quality Assessment and Risk of Bias of Systematic Reviews of Prophylactic Mesh for Parastomal Hernia Prevention Using AMSTAR and ROBIS Tools. World Journal of Surgery, 43(12), 3003-3012.
• Gates, A., Gates, M., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2018). Evaluation of the reliability, usability, and applicability of AMSTAR, AMSTAR 2, and ROBIS: protocol for a descriptive analytic study. Systematic reviews, 7(1), 85.
• Gates, M., Gates, A., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2020). Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. Journal of Clinical Epidemiology, 125, 9-15.
• Inuganti, B., Inuganti, A., Vsn, M., Hyderboini, R., Chakrawarthy, M., Chidirala, S., et al (2018). A Comparison of Amstar and Robis Tools for Methodological Quality Assessment of Systematic Reviews of Alzheimer’s Disease. Value in Health, 21, S230.
• Leclercq, V., Beaudart, C., Tirelli, E., & Bruyère, O. (2020). Psychometric measurements of AMSTAR 2 in a sample of meta-analyses indexed in PsycINFO. Journal of Clinical Epidemiology, 119, 144-145.
• Lorenz, R. C., Matthias, K., Pieper, D., Wegewitz, U., Morche, J., Nocon, M., et al. (2019). A psychometric study found AMSTAR 2 to be a valid and moderately reliable appraisal tool. Journal of Clinical Epidemiology, 114, 133-140.
• Pieper, D., Buechter, R. B., Li, L., Prediger, B., & Eikermann, M. (2015). Systematic review found AMSTAR, but not R (evised)-AMSTAR, to have good measurement properties. Journal of Clinical Epidemiology, 68(5), 574-583.
• Pieper, D., Jacobs, A., Weikert, B., Fishta, A., & Wegewitz, U. (2017). Inter-rater reliability of AMSTAR is dependent on the pair of reviewers. BMC Medical Research Methodology, 17(1), 98.
• Pieper, D., Puljak, L., González-Lorenzo, M., & Minozzi, S. (2019). Minor differences were found between AMSTAR 2 and ROBIS in the assessment of systematic reviews including both randomized and nonrandomized studies. Journal of Clinical Epidemiology, 108, 26-33.
Autres informationsVersion précédente: AMSTAR développé en 2007.
AMSTAR-2 a été développé en 2017.
https://amstar.ca/Amstar-2.php
Principales références• Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., et al. (2017). AMSTAR 2: A critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. British Medical Journal, 358, j4008.
• Shea, B. J., Hamel, C., Wells, G. A., Bouter, L. M., Kristjansson, E., Grimshaw, J., et al (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of clinical epidemiology, 62(10), 1013-1020.

ROBIS (Risk of Bias in Systematic Reviews)

Devis de rechercheRevues systématiques
Nombre de critères4 domaines (5 à 6 items dans chaque domaine)
Cotationoui, probablement oui, probablement non, non, pas d'information
ValiditéUn groupe composé de 11 experts a défini le champ d'application de l'outil. Des items ont été identifiés à partir d'une revue de 40 outils existants, d'une revue de revues et de lignes directrices du Methodological Expectations of Cochrane Intervention Review. Une première ébauche de l'outil a été élaborée à partir d'une réunion en face à face tenue lors d'un congrès. Le contenu de l'outil ont été affinés au cours d'une étude Delphi. L'outil a été testé lors de congrès (Whiting et al 2016).

Études sur la validité:
• Jaca, A., Ndze, V. N., Wiysonge, C. S. (2019). Assessing the methodological quality of systematic reviews of interventions aimed at improving vaccination coverage using AMSTAR and ROBIS checklists. Human Vaccines & Immunotherapeutics, 15(12), 2824-2835.
FidélitéÉtudes sur la fidélité:
• Banzi, R., Cinquini, M., Gonzalez-Lorenzo, M., Pecoraro, V., Capobussi, M., & Minozzi, S. (2018). Quality assessment versus risk of bias in systematic reviews: AMSTAR and ROBIS had similar reliability but differed in their construct and applicability. Journal of Clinical Epidemiology, 99, 24-32.
• Bühn, S., Mathes, T., Prengel, P., Wegewitz, U., Ostermann, T., Robens, S., & Pieper, D. (2017). The risk of bias in systematic reviews tool showed fair reliability and good construct validity. Journal of Clinical Epidemiology, 91, 121-128.
• García-Alamino, J. M., López-Cano, M., Kroese, L., Helgstrand, F., & Muysoms, F. (2019). Quality Assessment and Risk of Bias of Systematic Reviews of Prophylactic Mesh for Parastomal Hernia Prevention Using AMSTAR and ROBIS Tools. World Journal of Surgery, 43(12), 3003-3012.
• Gates, A., Gates, M., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2018). Evaluation of the reliability, usability, and applicability of AMSTAR, AMSTAR 2, and ROBIS: protocol for a descriptive analytic study. Systematic Reviews, 7(1), 85.
• Gates, M., Gates, A., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2020). Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. Journal of Clinical Epidemiology, 125, 9-15.
• Inuganti, B., Inuganti, A., Vsn, M., Hyderboini, R., Chakrawarthy, M., Chidirala, S., et al. (2018). A Comparison of Amstar and Robis Tools for Methodological Quality Assessment of Systematic Reviews of Alzheimer’s Disease. Value in Health, 21, S230.
• Pieper, D., Puljak, L., González-Lorenzo, M., & Minozzi, S. (2019). Minor differences were found between AMSTAR 2 and ROBIS in the assessment of systematic reviews including both randomized and nonrandomized studies. Journal of Clinical Epidemiology, 108, 26-33.
Autres informationshttps://www.bristol.ac.uk/population-health-sciences/projects/robis/
Principales référencesWhiting, P., Savovic, J., Higgins, J. P., Caldwell, D. M., Reeves, B. C., Shea, B., et al. (2016). ROBIS: A new tool to assess risk of bias in systematic reviews was developed. Journal of Clinical Epidemiology, 69(1), 225-234.

Mixed Methods Systematic Reviews Appraisal Tool (MMSR)

Devis de rechercheRevues mixtes
Nombre de critères27 items (sur les méthodes utilisées pour le repérage et la sélection des études, l'analyse des études quantitatives et qualitatives, et sur l'analyse des chaines causales et conclusions)
Cotationoui, non, partiel, non applicable
ValiditéOutil développé à partir de cadres conceptuels sur les méthodes mixtes et d'outils d'évaluation de la qualité des revues systématiques. L'outil a été commenté par des experts en méthodes mixtes et testé par deux évaluateurs indépendants qui ont évalué 7 articles (Jimenez et al 2018).
FidélitéN/A
Autres informationsN/A
Principales références• Jimenez, E., Waddington, H., Goel, N., Prost, A., & Pullin, A. (2018) Mixing and Matching: Using Qualitative Methods to Improve Quantitative Impact Evaluations (IEs) and Systematic Reviews (SRs) of Development Outcomes. London, UK: Centre of Excellence for Development Impact and Learning (CEDIL) Inception Paper 5.
• Jimenez, E., Waddington, H., Goel, N., Prost, A., Pullin, A., White, H., et al. (2018). Mixing and matching: using qualitative methods to improve quantitative impact evaluations (IEs) and systematic reviews (SRs) of development outcomes. Journal of Development Effectiveness, 10(4), 400-421.

Quality standards for realist synthesis

Devis de rechercheRevue avec une synthèse réaliste
Nombre de critères9 critères
CotationInadéquat, adéquat, bon, excellent
ValiditéOutil développé à partir diverses sources telles que des discussions dans une liste de distribution qui compte plus de 300 membres, d'experts méthodologiques, et d'ateliers méthodologiques (Wong et al 2014).
FidélitéN/A
Autres informationshttps://www.ramesesproject.org/Standards_and_Training_materials.php
Principales références• Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: The RAMESES (Realist And Meta-narrative Evidence Syntheses - Evolving Standards) project. Health Services and Delivery Research, 2(30).

Quality standards for meta-narrative synthesis

Devis de rechercheRevue avec une synthèse méta-narrative
Nombre de critères10 critères
CotationInadéquat, adéquat, bon, excellent
ValiditéOutil développé à partir diverses sources telles que des discussions dans une liste de distribution qui compte plus de 300 membres, d'experts méthodologiques, et d'ateliers méthodologiques (Wong et al 2014).
FidélitéN/A
Autres informationshttps://www.ramesesproject.org/Standards_and_Training_materials.php
Principales références• Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: The RAMESES (Realist And Meta-narrative Evidence Syntheses - Evolving Standards) project. Health Services and Delivery Research, 2(30).