Entwicklung von Kriterien für die prospektive Einschätzung des Aktualisierungsbedarfs von Leitlinienempfehlungen: AGIL-Kriterien

Abstract

Hintergrund: Evidenzbasierte Leitlinien- und Impfempfehlungen sollten fortlaufend auf dem aktuellsten Stand sein, um eine angemessene Gesundheitsversorgung zu unterstützen Gleichzeitig sind die Ressourcen für die Aktualisierung von Leitlinien begrenzt. Ziel des Projekts war es, eine Kriterienliste für die prospektive Einschätzung des Aktualisierungsbedarfs einzelner Leitlinien- oder Impfempfehlungen zu entwickeln, die zum Zeitpunkt der Fertigstellung einer Leitlinie oder Leitlinienaktualisierung anwendbar sind. Methoden: In diesem Artikel wird die methodische Entwicklung der sogenannten AGIL-Kriterien beschrieben (AGIL: AktualisierunGsprIorität von Leitlinienempfehlungen; Innovationsfonds-Fördernr.: 01VSF20019). Die AGIL-Kriterien wurden in fünf Schritten entwickelt: 1) Erarbeitung einer initialen Kriterienliste innerhalb des Projektteams; 2) Durchführung eines Online-Surveys zur Befragung von Leitlinienexpert*innen zur initialen Kriterienliste; 3) Überarbeitung der Kriterienliste auf der Basis der Ergebnisse des Online-Surveys; 4) Durchführung eines Workshops zur Kriterienliste im Rahmen des EbM-Kongresses 2023; 5) Erstellung von Version 1.0 der AGIL-Kriterien, basierend auf den Ergebnissen des Workshops. Ergebnisse: Die initiale Liste umfasste die folgenden drei Kriterien: 1) Relevanz der Fragestellung, 2) Verfügbarkeit neuer relevanter Evidenz und 3) Einfluss potenzieller neuer Evidenz. Die Rücklaufquote des Online-Surveys für vollständig ausgefüllte Fragebögen betrug 31,0 % (N = 195; 630 Leitlinienexpert*innen wurden per E-Mail kontaktiert). Für 90,3 % (n = 176) der Befragten enthielt die Kriterienliste alle für die Einschätzung des Aktualisierungsbedarfs von Leitlinienempfehlungen wesentlichen Aspekte. Mehr als drei Viertel der Befragten bewerteten die Wichtigkeit der drei Kriterien als „sehr wichtig“ oder „wichtig“ (Kriterium 1–3: 75,3 %, 86,1 %, 85,2 %) und – mit Ausnahme von Kriterium 1 – die Verständlichkeit als „sehr verständlich“ oder „verständlich“ (Kriterium 1–3: 58,4 %, 75,9 %, 78,5 %). Die Ergebnisse des Online-Surveys und des Workshops bestätigten insgesamt die drei Kriterien und ihre jeweils zwei Unterfragen. Die Einarbeitung sämtlichen Feedbacks resultierte in den AGIL-Kriterien (Version 1.0), zusammengefasst: 1) Relevanz der Fragestellung bezüglich a) PICO-Komponenten und b) weiterer Faktoren, z. B. epidemiologische Aspekte; 2) Verfügbarkeit neuer Evidenz a) zum gesundheitsbezogenen Nutzen und Schaden und b) zu anderen Entscheidungsfaktoren, z. B. Umsetzbarkeit, Akzeptanz; 3) Einfluss neuer Evidenz a) auf die Vertrauenswürdigkeit der Evidenz, auf der die Empfehlung basiert, und b) auf die vorliegende Empfehlung, z. B. Empfehlungsstärke. Diskussion: Die moderate Rücklaufquote des Online-Surveys könnte die Repräsentativität eingeschränkt haben. Dennoch bewerten wir die Rücklaufquote in diesem Forschungskontext als zufriedenstellend. Der Einbezug vieler Expert*innen im Rahmen des Online-Surveys und des EbM-Kongress-Workshops stellt eine Stärke des Projekts dar und unterstützt die Qualität der Ergebnisse. Schlussfolgerungen: Die AGIL-Kriterien bieten eine strukturierte Hilfestellung für die prospektive Einschätzung des Aktualisierungsbedarfs einzelner Leitlinienempfehlungen und anderer evidenzbasierter Empfehlungen. Die Implementierung und Evaluierung der AGIL-Kriterien 1.0 im Rahmen eines Praxistests ist in Planung.

Background: Evidence-based guideline and vaccination recommendations should continuously be updated to appropriately support health care decisions. However, resources for updating guidelines are often limited. The aim of this project was to develop a list of criteria for the prospective assessment of the need for updating individual guideline or vaccination recommendations, which can be applied from the time a guideline or guideline update is finalised. Methods: In this article we describe the development of the AGIL criteria (Assessment of Guidelines for Updating Recommendations). The AGIL criteria were developed by experienced scientists and experts in the field of guideline development in a multi-step process. The five steps included: 1) development of an initial list of criteria by the project team; 2) online survey of guideline experts on the initial version of the criteria list; 3) revision of the criteria list based on the results of the online survey; 4) workshop on the criteria list at the EbM Congress 2023; 5) creation of version 1.0 of the AGIL criteria based on the workshop results. Results: The initial list included the following three criteria: 1) relevance of the question 2) availability of new relevant evidence, and 3) impact of potentially new evidence. The response rate of the online survey for fully completed questionnaires was 31.0 % (N = 195; 630 guideline experts were contacted by email). For 90.3 % (n = 176) of the respondents, the criteria list included all essential aspects for assessing the need for updating guideline recommendations. More than three quarters of respondents rated the importance of the three criteria as “very important” or “important” (criteria 1–3: 75.3 %, 86.1 %, 85.2 %) and – with the exception of criterion 1 – comprehensibility as “very comprehensible” or “comprehensible” (criteria 1–3: 58.4 %, 75.9 %, 78.5 %). The results of the online survey and the workshop generally confirmed the three criteria with their two sub-questions. The incorporation of all feedback resulted in the AGIL criteria (version 1.0), recapping: 1) relevance of the question regarding a) PICO components and b) other factors, e. g. epidemiological aspects; 2) availability of new evidence a) on health-related benefits and harms and b) on other decision factors, e. g. feasibility, acceptability; 3) impact of new evidence a) on the certainty of evidence on which the recommendation is based and b) on the present recommendation, e. g. strength of recommendation. Discussion: The moderate response rate of the online survey may have limited its representativeness. Nevertheless, we consider the response rate to be satisfactory in this research context. The inclusion of many experts in the online survey and the EbM Congress workshop is a strength of the project and supports the quality of the results. Conclusions: The AGIL criteria provide a structured guidance for the prospective assessment of the need for updating individual guideline recommendations and other evidence-based recommendations. The implementation and evaluation of the AGIL criteria 1.0 in a field test is planned.