AMSTAR-2 (A MeaSurement Tool to Assess systematic Reviews)
| Devis de recherche | Revues systématiques d'essais cliniques randomisés et d'études non randomisées |
| Nombre de critères | 16 |
| Cotation | oui, non (d'autres choix de réponse disponible selon les critères comme partiellement oui et pas de méta-analyse effectuée) |
| Validité | Une réunion en face à face a été organisée avec un groupe d'experts afin de mettre à jour l'outil à partir des résultats d'une revue de littérature sur des outils d'évaluation de la qualité des revues systématiques, de sondages auprès des utilisateurs d'AMSTAR, de l'expérience des participants aux ateliers AMSTAR offerts lors de congrès, des commentaires sur le site web AMSTAR et des critiques publiées sur l'outil (Shea et al 2017). Études sur la validité: • Lorenz, R. C. (2020). AMSTAR 2 overall confidence rating: lacking discriminating capacity or requirement of high methodological quality? Journal of Clinical Epidemiology, 119, 142. • Lorenz, R. C., Matthias, K., Pieper, D., Wegewitz, U., Morche, J., Nocon, M., et al. (2019). A psychometric study found AMSTAR 2 to be a valid and moderately reliable appraisal tool. Journal of Clinical Epidemiology, 114, 133-140. |
| Fidélité | Études sur la fidélité: • Bühn, S., Ober, P., Mathes, T., Wegewitz, U., Jacobs, A., & Pieper, D. (2021). Measuring test-retest reliability (TRR) of AMSTAR provides moderate to perfect agreement–a contribution to the discussion of the importance of TRR in relation to the psychometric properties of assessment tools. BMC medical research methodology, 21(1), 1-7. • García-Alamino, J. M., López-Cano, M., Kroese, L., Helgstrand, F., & Muysoms, F. (2019). Quality Assessment and Risk of Bias of Systematic Reviews of Prophylactic Mesh for Parastomal Hernia Prevention Using AMSTAR and ROBIS Tools. World Journal of Surgery, 43(12), 3003-3012. • Gates, A., Gates, M., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2018). Evaluation of the reliability, usability, and applicability of AMSTAR, AMSTAR 2, and ROBIS: protocol for a descriptive analytic study. Systematic reviews, 7(1), 85. • Gates, M., Gates, A., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2020). Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. Journal of Clinical Epidemiology, 125, 9-15. • Inuganti, B., Inuganti, A., Vsn, M., Hyderboini, R., Chakrawarthy, M., Chidirala, S., et al (2018). A Comparison of Amstar and Robis Tools for Methodological Quality Assessment of Systematic Reviews of Alzheimer’s Disease. Value in Health, 21, S230. • Leclercq, V., Beaudart, C., Tirelli, E., & Bruyère, O. (2020). Psychometric measurements of AMSTAR 2 in a sample of meta-analyses indexed in PsycINFO. Journal of Clinical Epidemiology, 119, 144-145. • Lorenz, R. C., Matthias, K., Pieper, D., Wegewitz, U., Morche, J., Nocon, M., et al. (2019). A psychometric study found AMSTAR 2 to be a valid and moderately reliable appraisal tool. Journal of Clinical Epidemiology, 114, 133-140. • Pieper, D., Buechter, R. B., Li, L., Prediger, B., & Eikermann, M. (2015). Systematic review found AMSTAR, but not R (evised)-AMSTAR, to have good measurement properties. Journal of Clinical Epidemiology, 68(5), 574-583. • Pieper, D., Jacobs, A., Weikert, B., Fishta, A., & Wegewitz, U. (2017). Inter-rater reliability of AMSTAR is dependent on the pair of reviewers. BMC Medical Research Methodology, 17(1), 98. • Pieper, D., Puljak, L., González-Lorenzo, M., & Minozzi, S. (2019). Minor differences were found between AMSTAR 2 and ROBIS in the assessment of systematic reviews including both randomized and nonrandomized studies. Journal of Clinical Epidemiology, 108, 26-33. • Swierz, M. J., Storman, D., Zajac, J., Koperny, M., Weglarz, P., Staskiewicz, W., et al. (2021). Similarities, reliability and gaps in assessing the quality of conduct of systematic reviews using AMSTAR-2 and ROBIS: systematic survey of nutrition reviews. BMC Medical Research Methodology, 21(1), 261. |
| Autres informations | Version précédente: AMSTAR développé en 2007. AMSTAR-2 a été développé en 2017. https://amstar.ca/Amstar-2.php |
| Principales références | • Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., et al. (2017). AMSTAR 2: A critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. British Medical Journal, 358, j4008. • Shea, B. J., Hamel, C., Wells, G. A., Bouter, L. M., Kristjansson, E., Grimshaw, J., et al (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of clinical epidemiology, 62(10), 1013-1020. |
ROBIS (Risk of Bias in Systematic Reviews)
| Devis de recherche | Revues systématiques |
| Nombre de critères | 4 domaines (5 à 6 items dans chaque domaine) |
| Cotation | oui, probablement oui, probablement non, non, pas d'information |
| Validité | Un groupe composé de 11 experts a défini le champ d'application de l'outil. Des items ont été identifiés à partir d'une revue de 40 outils existants, d'une revue de revues et de lignes directrices du Methodological Expectations of Cochrane Intervention Review. Une première ébauche de l'outil a été élaborée à partir d'une réunion en face à face tenue lors d'un congrès. Le contenu de l'outil ont été affinés au cours d'une étude Delphi. L'outil a été testé lors de congrès (Whiting et al 2016). Études sur la validité: • Jaca, A., Ndze, V. N., Wiysonge, C. S. (2019). Assessing the methodological quality of systematic reviews of interventions aimed at improving vaccination coverage using AMSTAR and ROBIS checklists. Human Vaccines & Immunotherapeutics, 15(12), 2824-2835. |
| Fidélité | Études sur la fidélité: • Banzi, R., Cinquini, M., Gonzalez-Lorenzo, M., Pecoraro, V., Capobussi, M., & Minozzi, S. (2018). Quality assessment versus risk of bias in systematic reviews: AMSTAR and ROBIS had similar reliability but differed in their construct and applicability. Journal of Clinical Epidemiology, 99, 24-32. • Bühn, S., Mathes, T., Prengel, P., Wegewitz, U., Ostermann, T., Robens, S., & Pieper, D. (2017). The risk of bias in systematic reviews tool showed fair reliability and good construct validity. Journal of Clinical Epidemiology, 91, 121-128. • García-Alamino, J. M., López-Cano, M., Kroese, L., Helgstrand, F., & Muysoms, F. (2019). Quality Assessment and Risk of Bias of Systematic Reviews of Prophylactic Mesh for Parastomal Hernia Prevention Using AMSTAR and ROBIS Tools. World Journal of Surgery, 43(12), 3003-3012. • Gates, A., Gates, M., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2018). Evaluation of the reliability, usability, and applicability of AMSTAR, AMSTAR 2, and ROBIS: protocol for a descriptive analytic study. Systematic Reviews, 7(1), 85. • Gates, M., Gates, A., Duarte, G., Cary, M., Becker, M., Prediger, B., et al. (2020). Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. Journal of Clinical Epidemiology, 125, 9-15. • Inuganti, B., Inuganti, A., Vsn, M., Hyderboini, R., Chakrawarthy, M., Chidirala, S., et al. (2018). A Comparison of Amstar and Robis Tools for Methodological Quality Assessment of Systematic Reviews of Alzheimer’s Disease. Value in Health, 21, S230. • Pieper, D., Puljak, L., González-Lorenzo, M., & Minozzi, S. (2019). Minor differences were found between AMSTAR 2 and ROBIS in the assessment of systematic reviews including both randomized and nonrandomized studies. Journal of Clinical Epidemiology, 108, 26-33. • Swierz, M. J., Storman, D., Zajac, J., Koperny, M., Weglarz, P., Staskiewicz, W., et al. (2021). Similarities, reliability and gaps in assessing the quality of conduct of systematic reviews using AMSTAR-2 and ROBIS: systematic survey of nutrition reviews. BMC Medical Research Methodology, 21(1), 261. |
| Autres informations | https://www.bristol.ac.uk/population-health-sciences/projects/robis/ |
| Principales références | Whiting, P., Savovic, J., Higgins, J. P., Caldwell, D. M., Reeves, B. C., Shea, B., et al. (2016). ROBIS: A new tool to assess risk of bias in systematic reviews was developed. Journal of Clinical Epidemiology, 69(1), 225-234. |
Mixed Methods Systematic Reviews Appraisal Tool (MMSR)
| Devis de recherche | Revues mixtes |
| Nombre de critères | 27 items (sur les méthodes utilisées pour le repérage et la sélection des études, l'analyse des études quantitatives et qualitatives, et sur l'analyse des chaines causales et conclusions) |
| Cotation | oui, non, partiel, non applicable |
| Validité | Outil développé à partir de cadres conceptuels sur les méthodes mixtes et d'outils d'évaluation de la qualité des revues systématiques. L'outil a été commenté par des experts en méthodes mixtes et testé par deux évaluateurs indépendants qui ont évalué 7 articles (Jimenez et al 2018). |
| Fidélité | N/A |
| Autres informations | N/A |
| Principales références | • Jimenez, E., Waddington, H., Goel, N., Prost, A., & Pullin, A. (2018) Mixing and Matching: Using Qualitative Methods to Improve Quantitative Impact Evaluations (IEs) and Systematic Reviews (SRs) of Development Outcomes. London, UK: Centre of Excellence for Development Impact and Learning (CEDIL) Inception Paper 5. • Jimenez, E., Waddington, H., Goel, N., Prost, A., Pullin, A., White, H., et al. (2018). Mixing and matching: using qualitative methods to improve quantitative impact evaluations (IEs) and systematic reviews (SRs) of development outcomes. Journal of Development Effectiveness, 10(4), 400-421. |
Quality standards for realist synthesis
| Devis de recherche | Revue avec une synthèse réaliste |
| Nombre de critères | 9 critères |
| Cotation | Inadéquat, adéquat, bon, excellent |
| Validité | Outil développé à partir diverses sources telles que des discussions dans une liste de distribution qui compte plus de 300 membres, d'experts méthodologiques, et d'ateliers méthodologiques (Wong et al 2014). |
| Fidélité | N/A |
| Autres informations | https://www.ramesesproject.org/Standards_and_Training_materials.php |
| Principales références | • Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: The RAMESES (Realist And Meta-narrative Evidence Syntheses - Evolving Standards) project. Health Services and Delivery Research, 2(30). |
Quality standards for meta-narrative synthesis
| Devis de recherche | Revue avec une synthèse méta-narrative |
| Nombre de critères | 10 critères |
| Cotation | Inadéquat, adéquat, bon, excellent |
| Validité | Outil développé à partir diverses sources telles que des discussions dans une liste de distribution qui compte plus de 300 membres, d'experts méthodologiques, et d'ateliers méthodologiques (Wong et al 2014). |
| Fidélité | N/A |
| Autres informations | https://www.ramesesproject.org/Standards_and_Training_materials.php |
| Principales références | • Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: The RAMESES (Realist And Meta-narrative Evidence Syntheses - Evolving Standards) project. Health Services and Delivery Research, 2(30). |
Critical Appraisal Tool for Health Promotion and Prevention Reviews (CAT HPPR)
| Devis de recherche | Ouitil pour évaluer la qualité de différents types de revues (revues systématiques, revues rapides, revues de la portée, etc.) dans le domaine de la promotion et prévention de la santé. |
| Nombre de critères | 15 items |
| Cotation | oui, non, non applicable |
| Validité | Le CAT HPPR a été développé à l'aide de 14 outils existants pour évaluer la qualité de revues. Il a été testé avec 14 revues pour obtenir des commentaires de la part d'utilisateurs et d'experts. |
| Fidélité | N/A |
| Autres informations | |
| Principales références | • Heise, T. L., Seidler, A., Girbig, M., Freiberg, A., Alayli, A., Fischer, M., Haß, W., & Zeeb, H. (2022). CAT HPPR: a critical appraisal tool to assess the quality of systematic, rapid, and scoping reviews investigating interventions in health promotion and prevention. BMC Medical Research Methodology, 22(1), 1-10. https://doi.org/10.1186/s12874-022-01821-4 |
