Cut-Off-Werte
Die Bestimmung von Cut-Off-Werten
ACOMED statistik ist ein Statistik-Dienstleister mit dem Schwerpunkt der Planung und Auswertung von diagnostischen Studien. Wir bieten weiterhin Statistik-Beratung
und Statistik-Schulungen
an. Darüber hinaus unterstützen wir Unternehmen der Pharmaindustrie, Medizinprodukte-Industrie
sowie CRO bei der statistischen Planung und Auswertung klinischer Studien sowie bei der SAS-Programmierung.
Auf dieser Seite finden Sie einige Hinweise zu Cut-Off-Werten, Ihrer Berechnung, ihrem Anwendung und ihrer Interpretation. Wenn Sie Unterstützung bei der Planung und Analyse Ihrer diagnostischen Studie benötigen, zögern Sie nicht, Kontakt mit uns aufzunehmen (Tel.: +49 (0) 341 3910195).
Die Bestimmung von Cut-Off-Werten als regulatorische Aufgabe
Hersteller von diagnostischen Tests sind angehalten, Werte anzugeben, die den Wertebereich der Messwerte in Test-Positive und Test-Negative aufteilen. Dieser Wert - der Cut-Off-Wert - gehört zu den Eigenschaften eines diagnostischen Tests. Dies sieht auch die neue EU-Verordnung 2017/746 so vor.
Die Bestimmung des Cut-Off als medizinische Aufgabe
Verschiedene Cut-Off-Werte sind jeweils mit unterschiedlichen Werten für Sensitivität und Spezifität verbunden, und zwar im Sinne eines Trade-Offs: höhere Sensitivitäten sind mit niedrigeren Spezifitäten verbunden und umgekehrt. In folgender Abbildung ist dieser Trade-Off gut zu erkennen.
Die Festlegung des Cut-Offs ist von daher vordergründig ein klinisch/medizinisches, ggf. auch gesundheitsökonomisches Problem: Will man den Test eher mit einer hohen Spezifität (wenig Falsch-Positive) oder einer mit einer hohen Sensitivität (wenig Falsch-Negative) anwenden?
Folgende Abbildung zeigt solche Festlegungen am Beispiel des Tumormarkers Cyfra 21-1 für das Bronchialkarzinom (Daten aus : Keller T, Bitterlich N, Hilfenhaus S, Bigl H, Löser T, Leonhardt P (1998): Tumour markers in the diagnosis of bronchial carcinoma: new options using fuzzy logic based tumour marker profiles. J Cancer Res Clin Oncol 124: 565-574),
wobei die ROC-Kurve
zur Hilfe genommen wird.
Ein Beispiel für eine derartige Festlegung ist der PSA-Test zur Diagnostik des Prostata-Ca des Mannes: Hier wird der Cut-Off so gewählt, dass eine hohe Sensitivität erreicht wird (ca. 90%), und nimmt eine sehr niedrige Spezifität (30 ... 40%) mit den entsprechenden Folgen (z. B. invasive Folgeuntersuchungen) in Kauf.
Schlussfolgerung für die Bestimmung von Cut-Off-Werten:
Aus klinisch medizinischer Sicht ist also der entscheidende Schritt, Spezifitäten oder Sensitivitäten festzulegen, die der Test aufweisen soll. Dann wird der zugehörige Cut-Off-Wert bestimmt, sowie die zugehörige Sensitivität oder Spezifität angegeben.
Hiermit ist eine wichtige Konsequenz verbunden: die häufig anzutreffende Festlegung des Cut-Off-Wertes über Kriterien wie die maximale diagnostische Güte ist nicht zielführend.
Die Bestimmung des Cut-Off als statistische Aufgabe
Die Schätzung des Cut-Off über statistische Methoden entspricht der Schätzung eines Perzentils in einer Verteilung. Soll der Cut-Off z. B. bei 90% Spezifität bestimmt werden, so ist die 90%-Perzentile der Verteilung der Nichterkrankten anzugeben. Hierfür kommen eine Reihe von Verfahren in Frage, in der Regel wird die Perzentile nichtparametrisch bestimmt. So sieht es auch die entsprechende CLSI-Guideline EP28-A3 vor. In dieser Richtlinie wird ein Stichprobenumfang von 130 genannt, der allerdings von verschiedenen Randbedingungen abhängt.
Wichtig ist es, sich die Unsicherheit der Schätzung der Perzentile zu vergegenwärtigen. Diese kann durch das Konfidenzintervall angegeben werden, wobei die CLSI EP28-A3-Richtlinie das 90%-Konfidenzintervall verwendet. Dieses ist (unerwartet) breit, folgende Abbildung zeigt dies für den Cut-Off von Cyfra 21-1 aus der oben genannten Studie:
Die Abbildung zeit die Verteilung der benignen Fälle (N=131), zusammen mit dem Cut-Off (3,2 ng/ml) für eine vorab festgelegte Spezifität von 85%, zusammen mit dem 90%-Konfidenzintervall (2,8 - 3,9 ng/ml).
Obwohl der Stichprobenumfang mit 131 recht hoch ist, ist der Cut-Off ziemlich unsicher.
Schlussfolgerung: Der Cut-Off-Wert ist mit seinem Konfidenzintervall anzugeben.
Man sieht auch, dass die Verteilung der benignen Fälle heterogen ist, insbesondere der rechte "Schwanz" der Verteilung setzt sich offensichtlich aus Unterverteilungen zusammen. Von daher ist die Cut-Off-Ermittlung mit parametrische Verfahren quasi unmöglich.
Die Nichtädequatheit der Bestimmung des Cut-Off-Wertes über die maximale diagnostische Güte zeigt sich übrigens auch aus statistischer Sicht: Ermittelt man nämlich das Konfidenzintervall für diese Cut-Off-Schätzung (untere Abb.links), so ist es wesentlich breiter als im oben gezeigten Beispiel.
Cut-Off und Konfidenzintervall (graue horizontale Linien) für max. Youden-Index (links) und fixierte Spezifität (rechts):
Youden-Index: 3.2 ng/ml, 90%-CI: 2,4 - 5,0 ng/ml
fixierte Spezifität: 3.2 ng/ml, 90%-CI: 2,8 - 3,9 ng/ml
Hinweis: Dass die Cut-Off-Werte gleich sind, ist Zufall.
