Die Qualitätsüberprüfung von medizinischen Leitlinien erfolgt in der BRD durch Clearing-Verfahren. Die letzte umfassende Übersicht über Ergebnisse und Leistungsfähigkeit solcher
Clearing-Verfahren datiert aus dem Jahre 2009 (1).
Von 1999 bis 2005 wurden insgesamt 15 Clearing-Berichte erarbeitet. Dabei ergaben sich im Wesentlichen folgende Resultate:
- Untersucht wurden insgesamt 260 Leitlinien
- Die Qualität der Leitlinien war überwiegend unzureichend
- Insgesamt erreichten die Leitlinien im Mittel 48% der maximal möglichen Punktzahl
- Die besten Resultate ergaben sich bei Inhalt und Format
-
Die schlechtesten Ergebnisse bei der Anwendbarkeit
-
Die formale Verwertung im Clearing-Verfahren stützte sich auf das Instrument „Checkliste zur methodischen Qualität von Leitlinien“ (2) sowie auf das begleitende Nutzermanual (3)
-
Das Leitlinienmanual von AWMF und ÄZQ (4)
2001 wurde der europäische Fragenkatalog zur Qualitätsbeurteilung von Leitlinien eingeführt (AGREE-Instrument) (5).
Das AGREE-Instrument enthält 6 Domänen:
- Geltungsbereich und Zweck
-
Beteiligung von Interessengruppen
(u.a. Einbeziehung von Patientenmeinung)
-
Methodologische Exaktheit der Leitlinienentwicklung
(Beachtung der Evidenz, Empfehlungen auf Basis von Evidenz, Überprüfung der Leitlinien durch ein externes Kontrollorgan, Regelung der Aktualisierung)
- Klarheit und Gestaltung
(keine willkürlichen Behauptungen, leicht identifizierbare Schlüssel-Informationen)
- Anwendbarkeit
(finanzielle Grenzen sind zu beachten)
- Redaktionelle Unabhängigkeit
(Ausschluss von Interessenskonflikten von Mitgliedern der LL- Entwicklungsgruppe)
Das AGREE-Instrument ist inzwischen internationales Standardinstrument.
2005 wurde das „Deutsche Instrument zur methodischen Leitlinienbewertung“ (DELBI) veröffentlicht (6).
Die ersten sechs Domänen von DELBI entsprechen den formalen Anforderungen des AGREE-Instruments.
Den sechs Domänen des AGREE wurde eine siebte Domäne hinzugefügt und zwar die Domäne „Anwendbarkeit im deutschen Gesundheitssystem“. Diese siebte Domäne spiegelt im Wesentlichen die Ergebnisse
der Clearing-Verfahren und der hierbei identifizierten Schwachstellen beurteilter Leitlinien wider.
Die Domäne 7, also die Anwendbarkeit im deutschen Gesundheitssystem enthält folgende Fragen:
- Liegen Empfehlungen zu präventiven, diagnostischen, therapeutischen und rehabilitativen Maßnahmen vor?
- Werden unzweckmäßige Maßnahmen benannt?
-
Ist die klinische Information der Leitlinie leicht nachvollziehbar und schnell erfassbar?
- Ist die Leitlinie leicht zugänglich?
-
Ist die Implementierung der Leitlinie beschrieben?
-
Ist das methodische Vorgehen in einem Leitlinienreport dargelegt?
Seit 2003 ist für die Leitlinienbewertung das Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) zuständig. Diese Zuständigkeit wurde 2003 durch Novellierung des
Sozialgesetzbuches V (SGB V) gesetzlich festgeschrieben. Nach SGB V § 139 a Satz 3 sind die Aufgaben des IQWiG definiert:
„Das Institut wird zu Fragen von grundsätzlicher Bedeutung für die Qualität und Wirtschaftlichkeit auf folgenden Gebieten tätig:
- Bewertung evidenzbasierter Leitlinien für die epidemiologisch wichtigsten Krankheiten
In der Begründung des Gesetzestextes wird festgestellt, dass das IQWiG Leitlinien im Hinblick auf die den Empfehlungen zu Grunde liegenden Belege (Evidenz) zu bewerten hat.
Die Leitlinienbewertung hat folgende wesentliche Ansätze zu beachten:
- Überprüfung formaler Kriterien (Transparenz des Entstehungsprozesses)
- Prüfung der zu Grunde liegenden Evidenz
- Bewertung der Angemessenheit von Empfehlungen
- Evaluation der Effekte durch die Anwendung der Leitlinie (outcome-Evaluation)
Bei der Überprüfung der Empfehlungsebenen werden folgende Grundvoraussetzungen diskutiert:
- Überprüfung der zur Empfehlung herangezogenen Evidenz, idealerweise in Form von Evidenztabellen
- Überprüfung, ob die Autoren der Leitlinie mit hinreichender Sorgfalt gearbeitet haben
- Überprüfung, ob die beste zur Verfügung stehende Evidenz berücksichtigt wurde (durch eigene systematische Literaturaufbereitung (des IQWiG)).
Eine empfohlene Maßnahme gilt als angemessen wenn folgende Kriterien erfüllt sind:
- Nutzen nachgewiesen, d.h. Nutzen-Schaden-Abwägung führt zu einer positiven Entscheidung
-
Relevanz für das deutsche Gesundheitssystem
- Maßnahme muss verfügbar und zugelassen sein
- Maßnahme muss notwendig sein
- Eine sichere Anwendung der Maßnahme muss möglich sein
- Die Maßnahme muss umsetzbar und finanzierbar sein
Ungeklärt ist die Frage, welche Zusammensetzung ein Gremium des IQWiG haben muss, um eine hinreichende Legitimation zur Beurteilung der Leitlinien zu haben.
1998 wurde von Helou (7) publiziert, dass die Qualität der AWMF-Leitlinien dramatische Qualitätsmängel aufzeigten. Daraufhin wurden im Konsens zwischen Fachgesellschaften und der
Selbstverwaltung „methodische Standards der Entwicklung Evidenz-basierter Leitlinien in Deutschland“ entwickelt (8). Das Ergebnis lässt sich durch folgende Formel charakterisieren:
-
Leitlinienqualität = Evidenzqualität + Konsensqualität
Bei den methodischen Standards wurden formalisierte Konsensverfahren festgelegt, um Intransparenz, Verzerrungen durch Prozesse, Status- und Persönlichkeitsvariablen der Teilnehmer sowie
systematische Verzerrungen durch deren politische und wirtschaftliche Interessen zu vermeiden.
Zudem wurde festgelegt, dass in die Leitliniengruppen Patientenvertreter einzubinden seien.
Das Klassifikationssystem der AWMF unterscheidet bei der Entwicklung von Leitlinien drei Stufen: S1, S2 und S3:
- S1: Handlungsempfehlungen von Experten, Gremium selektiert, keine systematische Entwicklung, methodische Legitimation niedrig, politische Legitimation normativ niedrig
-
S2: Konsensbasierte LL, Gremium repräsentativ; formalisiertes Konsensverfahren; methodische Legitimation niedrig, politische Legitimation normativ hoch
- S3: Evidenz- und konsensbasierte LL, Gremium repräsentativ, systematische Evidenzbasierung, formalisiertes Konsensverfahren, methodische Legitimation hoch, politische Legitimation normativ
hoch
Zugleich wurde eine Clearing-Stelle Leitlinien durch die AWMF eingerichtet (7). Diese Clearing-Stelle der AWMF verstand sich nicht als Konkurrenz oder Substitut des Clearing-Verfahrens, sondern
stellte eine Maßnahme des internen Qualitätsmanagements der AWMF dar.
Die Qualitätssicherung durch die AWMF hat folgende wesentliche Ziele:
- Verbesserung der Berichtsqualität von S3-Leitlinien durch die Einführung eines Leitlinienreports mit Angaben zur Entwicklung der Leitlinie (die Einführung eines Leitlinienreports betrifft
also ausschließlich S3-Leitlinien, Anm. d. Verf.)
- Kennzeichnung der Leitlinien als S1, S2 oder S3-Entwicklungsstufe
- Die Priorisierung von Themen für die eine Entwicklung einer S3-Leitlinie anzustreben ist
- Erarbeitung eines Manuals für Leitlinienentwickler
- Die Verpflichtung der Fachgesellschaften zur Angabe eines „Gültigkeitszeitraums“
- Interdisziplinärer Abgleich von bestehenden Leitlinien zu gleichen oder überlappenden Themenfeldern
Aktuell liegen 750 AWMF-Leitlinien vor. Die Fallzahlen bezüglich der Klassifikationsgrade stellen sich wie folgt dar:
Bei der Suche nach „Leitlinien Infektiologie“ ergaben sich 87 Treffer. Die Klassifikationsgrade stellen sich wie folgt dar:
Wie viele Leitlinien einem Clearing-Verfahren unterzogen wurden, ließ sich nicht klären.
Von Seiten der AWMF wird immer wieder auf die Bedeutung des Konsenses hingewiesen. Die in formalisierten Konsensprozessen abgestimmten Empfehlungen stellen das entscheidende Charakteristikum dar,
welches Leitlinien von anderen Quellen einer aufbereiteten Evidenz unterscheidet. Für die Anforderungen an die Transparenz von Leitlinien sind die Vorschläge der internationalen GRADE Working
Group zur Empfehlungsformulierung von erheblicher Bedeutung (8).
Das Clearing-Verfahren hat die Entwicklung der Leitlinienerstellung unter dem Dach der AWMF wesentlich beeinflusst.
Es wäre von großem Interesse, die jetzt vorliegenden S3-Leitlinien einer systematischen formalen Bewertung zu unterziehen.
2002 wurde auf Initiative der Bundesärztekammer das Programm für nationale VersorgungsLeitlinien (NVL) initiert.
Das NVL-Programm enthält folgende Kernelemente:
- Zusammenstellung der Evidenz aus Leitlinien, systematische Übersichtsarbeiten, Primärstudien
- Herleitung von Empfehlungen aus der Evidenz in Leitlinien
- Auswahl von Schlüsselempfehlungen einer Leitlinie und Vergabe von Empfehlungsgraden
- Exakte Dokumentation zwischen Empfehlung und Evidenz
- Beteiligung betroffener Leistungsträger mit Hilfe multidisziplinär zusammengesetzter Leitliniengruppen
- Beteiligung betroffener Patienten mit Hilfe Leitlinien-basierter Patientenleitlinien, erstellt durch Vertreter der Patientenselbsthilfe
- Beteiligung von Leitliniennutzer und interessierter Dritter durch ein formalisiertes internetgestütztes Konsultationsverfahren
- Verbreitung der NVL über das Deutsche Ärzteblatt und andere Publikationsorgane
- Implementierung der NVL durch leitlinienbasierte Fortbildungs- und Qualitätsmanagementsprojekte
- Regelmäßige Aktualisierung der Leitlinien
Verantwortlich für die Erarbeitung der NVL sind Fachgesellschaften (Mitgliedsgesellschaften der AWMF) und die Arzneimittelkommission der Deutschen Ärzteschaft.
Bestandteil einer NVL ist die Erstellung so genannter Leitliniensynopsen, genauer Empfehlungssynopsen. Die Leitlinien werden formal mit DELBI bewertet. Leitlinien, welche die vorher festgelegten
methodischen Einschlusskriterien erfüllen, werden bei der weiteren Erarbeitung der NVL berücksichtigt. Zu den Schlüsselfragen werden die Empfehlungen von Leitlinien einander gegenübergestellt,
sowohl bezüglich der Inhalte als auch der mit den Empfehlungen verknüpften Literatur (z.B. Vergleich Leitlinie „Neuroborreliose“ der DGN, 2018 und der zu aktualisierenden Leitlinie der Deutschen
Borreliose Gesellschaft, Anm. d. Verf.).
Zu Beginn eines jeden NVL-Projektes ist ein Clearing-Verfahren durchzuführen.
Die fertiggestellten Leitlinien (NVL) werden in der Entwurfsfassung einem öffentlich zugänglichen Diskussionsforum zugänglich gemacht. Zudem werden Experten und potentielle Nutzer der NVL um
Begutachtung gebeten. Die Koordination des Programms für NVL erfolgt durch die ÄZQ (Ärztliches Zentrum für Qualität in der Medizin).
Allerdings liegen bisher nur zu 6 Themen NVL vor.
Zusammenfassend kann festgestellt werden, dass das NVL-Programm die konsequente Umsetzung der Ergebnisse und Erfahrungen aus dem Clearing- Verfahren darstellt.
Die letzte umfassende kritische Bewertung medizinischer Leitlinien von Lelgeman, 2009 (1) hat im Wesentlichen folgende Inhalte:
- Die Validität der Leitlinien hängt von der Zusammensetzung der Autorengruppe, der besten verfügbaren Evidenz und einer formalisierten Empfehlungsformulierung ab
- (sinngemäß) Zur Qualitätssicherung hochwertiger Leitlinien haben sich Foren gebildet (z.B. AGREE)
- Leitlinien-Clearingstellen überprüfen auf dieser Basis die Qualität von Leitlinien
- Leitlinien-Clearingberichte stehen der Öffentlichkeit zur Verfügung
- Von 1999 bis 2004 oblag die Überprüfung von Leitlinien der ärztlichen Zentralstelle für Qualitätssicherung, im Wesentlichen getragen von Ärztekammer und Kassenärztlicher Vereinigung
- 2003 nach Novellierung des Sozialgesetzbuches V (SGB V) obliegt die Leitlinienbewertung nach SGB V § 139a Satz 3 dem Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
- Methodik des deutschen Leitlinien-Clearingsverfahrens:
-
- Systematische Leitlinienrecherche
- Bewertung der Leitlinien unter Anwendung der Checkliste „Methodische Qualität von Leitlinien“
- Inhaltliche Bewertung der Leitlinien durch einen Expertenkreis (Focusgruppe)
- Die verschiedenen Schritte des Ablaufes eines Clearingverfahrens sind definiert. Der Abschlussbericht von Clearingverfahren wird über Internet der Öffentlichkeit zugänglich gemacht
(Clearingbericht)
- Die Leitlinien basieren auf einer systematischen Literaturrecherche unter Nutzung aller relevanter Leitliniendatenbanken
- Werden alle Fragen im Rahmen des Clearingverfahrens bejaht, wird eine maximale Punktzahl von 40 erreicht
-
Das Clearingverfahren betrifft die Domänen Entwicklung, Inhalt und Format, Anwendbarkeit
- Von 1999 bis 2004 wurden 15 Leitlinienclearingverfahren durchgeführt
- Die Gesamtqualität der geprüften Leitlinien lag im Durchschnitt bei 48% der maximal zu erreichenden Punktzahl
- Von 1996 bis 2004 lag die Qualität der geprüften LL jeweils in gleicher Größenordnung
- Die Qualität deutscher Leitlinien unterschied sich nicht wesentlich von der Qualität internationaler Leitlinien (deutsche Leitlinien 48%, internationale Leitlinien 49% der maximal zu
erreichenden Punktzahl)
- In den Clearingverfahren erfüllte keine der geprüften Leitlinien die von der Expertengruppe (Focusgruppe) geforderten Anforderungen
- Eine exemplarisch gute Leitlinie wurde in keinem Clearingverfahren genannt
-
Formale Leitlinienbewertung: Sämtliche einem Clearingverfahren unterzogene Leitlinien zeigen deutliche Mängel der Qualität und zwar in allen geprüften Domänen (Entwicklung, Inhalt / Format
und Anwendbarkeit). Es zeigen sich kaum Unterschiede zwischen den verschiedenen Domänen
- DELBI (Deutsches Instrument zur Methodischen Leitlinienbewertung) prüft die methodologische Exaktheit entsprechend der Domäne 3:
-
- Bei Suche nach Evidenz werden systematische Methoden angewendet
- Kriterien für die Auswahl der Evidenz sind klar beschrieben. Die zur Formulierung der Empfehlungen verwendeten Methoden sind klar beschrieben
- Bei der Formulierung der Empfehlung wurden gesundheitlicher Nutzen, Nebenwirkungen und Risiken berücksichtigt
- Die Verbindung zwischen den Empfehlungen und der zu Grunde liegenden Evidenz ist explizit dargestellt
- AWMF empfiehlt den unter ihrem Dach arbeitenden Leitliniengruppen Empfehlungen auf der Basis der Evidenz nur bei Schlüsselfragen. Die Priorisierung als relevant erachteter Fragen erfolgt
durch die Leitliniengruppe. Auch die methodische Rigorosität, mit der die Beantwortung einer Frage erfolgt, liegt in der Entscheidung der Leitliniengruppe. Ein solches Vorgehen ist akzeptabel,
wenn es transparent und nachvollziehbar für die einzelnen Empfehlungen dargelegt wird. Diese Differenzierung wird bisher bei dem Clearingverfahren nicht berücksichtigt
-
Lehrbuch Evidenzbasierte Medizin in Klinik und Praxis, Kritische Bewertung von Leitlinien, Deutscher Ärzteverlag Köln, 2007 (9) enthält folgende Empfehlungen:
-
- Systematische Recherche der besten verfügbaren Evidenz
- Bewertung der Evidenz anhand nachvollziehbarer Kriterien
-
Prüfung, ob Empfehlungen auf evidenzbasierter Literatur beruhen
- Überprüfung, ob die Empfehlungsgrade mit der Evidenzeinstufung nachvollziehbar sind
- Bei den Clearingverfahren wurden keine Methoden der formalen
Konsensfindung eingesetzt
-
Die Checkliste „Methodische Qualität von Leitlinien“, die im Clearingverfahren
zur Anwendung kommt, enthält folgende Positionen:
-
- Qualität der Leitlinienentwicklung
-
Inhalt und Format der Leitlinie
- Anwendbarkeit der Leitlinie