Cut-Off ROC curve, Berechnung Cut-Off-Wert

 

Willkommen ! English Version Biometrie & Statistik Schwerpunkt Diagnostik Klinische Diagnosestudien Diagnostische Güte ROC-Analysen ROC-Kurven ACOMED-Software-Tools andere Software Schwerpunkt BE/PK/Tox Schwerpunkt Labor Statistische Beratung Schwerpunkt Software Referenzen/Projekte Links ACOMED Kontakt / Anfahrt Vorstellung Stellenangebote / Praktika Ablauf / Konditionen Impressum

 

A. Sikoralski, Leipzig: Die wahre ROC-Kurve
disease cluster

Sie befinden sich: Diagnostik - Analyse-Methoden - Cut-Off-Werte

Cut-Off-Werte

Der Cut-Off-Wert ist der Wert in einem quantitativen diagnostischen Test, der zwischen zwei Testergebnissen (positiv, negativ) unterscheidet und damit einen Patienten einem der zwei untersuchten Krankheitszuständen (z.B. krank vs. nicht krank oder Erkrankung 1 vs. Erkrankung 2) zuordnet. Dabei gibt immer einen Überlappungsbereich, in dem je nach Lage des Cut-Off-Punktes Patienten testpositiv oder testnegativ eingeordnet werden. Deshalb ist die Auswahl des Cut-Off-Punktes sorgfältig vorzunehmen.

Beschreibung Cut-Off (1)

Abb.1: Beispiel für Überlappungsbereich: Verteilung der CEA-Werte (CEA: carcinoembryonales Antigen: Tumormarke) für Patienten mit Bronchialkarzinom bzw. mit einer benignen Lungenerkrankung, N=100, benigne: 31 Pat, maligne: 69 Pat. Die Zahl N=100 wird hier gewählt, um die Unsicherheit der Verfahren zu demonstrieren. Diese Daten wurden auch für das Beispiel einer ROC-Kurve ausgewählt.

Bei der Auswahl der Cut-Off-Werte sind eine Reihe von Kriterien zu berücksichtigen. Die Wahl des Cut-Off-Wertes hängt ab

  • generell von der Methode (Achtung bei Methodenwechsel oder Vergleich von Ergebnissen von Tests unterschiedlicher Hersteller !!)

  • von der klinischen Anwendungssituation (Bsp.: Bedeutet "nicht Krank" gesund, oder leidet der "nicht Kranke" an einer benignen statt an einer malignen Erkrankung? Achtung! Bei vielen neu entwickelten Tests für Tumorerkrankungen werden auf Kongressen oder in Veröffentlichungen die Ergebnisse an der malignen Gruppe Ergebnissen einer Gesundgruppe gegenübergestellt. In der Praxis muss der Arzt aber zwischen einer Entzündung und einer Tumorerkrankung unterscheiden. In dieser Konstellation verschwinden dann meist die diagnostische Trennschärfe der angepriesenen Tests.)

  • von wirtschaftlichen/ethischen Gesichtspunkten (wieviel fälschlicherweise als krank erkannte Patienten werden in Kauf genommen) - vergleiche hierzu Verfahren 3.

Die Bestimmung der Cut-Off-Werte ist im Consensus-Papier der CLSI Nr. C28-A2 geregelt. ACOMED-statistik bietet Ihnen die Berechnung nach diesem Modus an. Nehmen Sie hierzu Kontakt mit uns auf.

Die Berechnung der Cut-Off-Werte ist einfach - wenn es um den konkreten Wert geht: hierfür werden untenstehend die Verfahren angegeben. Komplex dagegen ist es, die Genauigkeit (den Vertrauensbereich) für den Cut-Off-Wert anzugeben, die erforderlichen Fallzahlen auszurechnen usw. Hierfür wird auf die untenstehende Literatur verwiesen.

Verfahren 1: Ziel ist eine Spezifität, z.B. 95% oder 99%. Hier wird mit Hilfe der Werte der Gruppe der Nicht-Kranken (oder der Gruppe, der das testnegative Ergebnis entspricht) das entsprechende Perzentil berechnet. (95%-Perzentil: der 95. Wert bei 100, der Größe nach geordneten Werte. Bei N<>100 wird entsprechend interpoliert). In MS-Excel kann dafür die Funktion "=QUANTIL(Zellbereich;0,95) verwendet werden. - Nach Möglichkeit sollte das Konfidenzintervall angegeben werden. Dies erlaubt z.B. die Software Medcalc. In folgendem Artikel wird die Berechnung des Konfidenzintervalls unter Verwendung der Binomialverteilung beschrieben: Campbell MJ, Gardner MJ (1988): Calculating confidence intervals for some non-parametric analyses. British Medical Journal, 296, 1454-1456. (Download von PubMed)

Bemerkungen:

  • In der CLSI-Guideline C28-A2 wird eine Fallzahl von 120 empfohlen.

  • Dieses Verfahren erlaubt den Vergleich mehrerer Methoden, da eine Vergleich nur auf der Basis gleicher Spezifitäten möglich ist.

Bsp.: Im gezeigten Beispiel ergibt sich bei 95% Spezifität ein Cut-Off-Wert von 4,2 ng/ml. Die nächsten Werte liegen bei 3,7 und 4,6 ng/ml. Hiermit wird die Unsicherheit deutlich, die mit der geringen Fallzahl zusammenhängt.

Verfahren 2: Ziel ist ein optimaler Cut-Off-Wert, d.h. möglichst wenig Patienten sollen falsch eingeordnet werden. Dann ordnet man die Patienten in der Reihenfolge der Werte, berechnet im Überlappungsbereich Sensitivität und Spezifität für jeden der Einzelwerte, und legte denjenigen als Cut-Offwert fest, für den 0,5*(Sensitivität + Spezifität) maximal ist.

Berechung Cut-Off-Werte (2)

Abb.2: Berechnung des Cut-Off-Wertes mit Verfahren 1. Der ermittelte Wert liegt bei 3,9 ng/ml. Die benachbarten Werte liegen bei 3,7 bzw. 4 ng/ml. Der Cut-Off-Wert entspricht einer Sensitivität von 64% und einer Spezifität von 93%.

Verfahren 3: Ziel ist eine Optimierung des Cut-Off-Wertes hinsichtlich der "Kosten". Der Begriff "Kosten" umfasst hier den medizinischen und ökonomischen Aufwand sowie die Belastung für die den einzelnen Testzuordnungen zugehörigen Patientengruppen (richtig Positive, falsch Positive, ...) und wird mit c(rp), c(fp), c(rn), c(fn) gekennzeichnet. Der Aufwand muss nicht unbedingt quantitativ ermittelt werden - auch mit Hilfe eine Rating oder von Scores bekommt man Hinweise auf die Wahl des Cut-Off. Zur Ermittlung wählt man den Punkt der ROC-Kurve, dessen Anstieg A folgender Größe entspricht (präv - Prävalenz der Kranken):

A=(1-präv)/präv * (c(fp)-c(rn)) / (c(fn)-c(rp))

Bsp.: Bei Screening-Tests liegt im Allgemeinen eine geringe Prävalenz vor. D.h. der erste Term wird sehr groß; man wird also den Cut-Off-Punkt nahe der linken Seite (hohe Spezifitäten) legen. Nur so kann man eine hohe Falsch-Positiv-Rate vermeiden.

Bsp. Im Falle eines Tumormarkers kann man die Kosten wie folgt charakterisieren:

  • c(fp): teuer, da ein "Gesunder" weiteren Diagnosemethoden und Behandlungen ausgesetzt wird.

  • c(rn): kostenfrei

  • c(fn): sehr teuer, da z.B. Patient verkürzte Lebensdauer hat.

  • c(rp): teuer, da weitere Diagnosemethoden und Behandlungen folgen.

Es folgt, dass c(fp)-c(rn) > c(fn)-c(rp) gilt. D.h. der zweite Term wird groß; man wird also den Cut-Off-Punkt eher bei hohen Spezifitäten ansetzen. Das Beispiel macht aber auch deutlich, dass diese Methode ihre Schwierigkeiten hat, denn es werden verschiedene Kostenarten wie Behandlungskosten vs. Wert eines längeren Überleben miteinander verglichen (= "Äpfel mit Birnen vergleichen"). Trotzdem gibt diese Methode wertvolle Hinweise zur Effizienz der Cut-Off-Wahl.

Literatur:

CLSI. How To Define and Determine Refernce Intervals in the Clinical Laboratory; Approved Guideline - Second Edition. CLSI document C28-A2 (ISBN 1-56238-406-6)
Horn PS, Pesce AJ, Copeland BE: A robust approach ... . Clin. Chem. (1998) 44, 622-631
Linnet C: Nonparametric Estimation ... . Clin. Chem. (2000) 46, 867-869
Schäfer H: Constructing a Cut-Off Point ... . Stat Med. (1989) 8, 1381-1391

 
ROC curve, ROC curves, DAC method
Copyright: ACOMED   
{short description of image}
{short description of image} {short description of image} {short description of image}