Utvärdering av binära klassificatorer - Evaluation of binary classifiers

Terminologi och härledningar
från en förvirringsmatris

tillstånd positivt (P) antalet riktigt positiva fall i uppgifterna tillstånd negativt (N) antalet verkliga negativa fall i uppgifterna sant positivt (TP) ekv. med träff sant negativt (TN) ekv. med korrekt avslag falskt positivt (FP) ekv. med falskt larm , typ I-fel eller underskattning falskt negativ (FN) ekv. med miss, typ II-fel eller överskattning känslighet , återkallelse , träfffrekvens eller sann positiv frekvens (TPR) ${\ displaystyle \ mathrm {TPR} = {\ frac {\ mathrm {TP}} {\ mathrm {P}}} = {\ frac {\ mathrm {TP}} {\ mathrm {TP} + \ mathrm {FN} }} = 1- \ mathrm {FNR}}$ specificitet , selektivitet eller sann negativ frekvens (TNR) ${\ displaystyle \ mathrm {TNR} = {\ frac {\ mathrm {TN}} {\ mathrm {N}}} = {\ frac {\ mathrm {TN}} {\ mathrm {TN} + \ mathrm {FP} }} = 1- \ mathrm {FPR}}$ precision eller positivt prediktivt värde (PPV) ${\ displaystyle \ mathrm {PPV} = {\ frac {\ mathrm {TP}} {\ mathrm {TP} + \ mathrm {FP}}} = 1- \ mathrm {FDR}}$ negativt prediktivt värde (NPV) ${\ displaystyle \ mathrm {NPV} = {\ frac {\ mathrm {TN}} {\ mathrm {TN} + \ mathrm {FN}}} = 1- \ mathrm {FOR}}$ missfrekvens eller falsk negativ ränta (FNR) ${\ displaystyle \ mathrm {FNR} = {\ frac {\ mathrm {FN}} {\ mathrm {P}}} = {\ frac {\ mathrm {FN}} {\ mathrm {FN} + \ mathrm {TP} }} = 1- \ mathrm {TPR}}$ fall-out eller falskt positivt (FPR) ${\ displaystyle \ mathrm {FPR} = {\ frac {\ mathrm {FP}} {\ mathrm {N}}} = {\ frac {\ mathrm {FP}} {\ mathrm {FP} + \ mathrm {TN} }} = 1- \ mathrm {TNR}}$ falsk upptäckt (FDR) ${\ displaystyle \ mathrm {FDR} = {\ frac {\ mathrm {FP}} {\ mathrm {FP} + \ mathrm {TP}}} = 1- \ mathrm {PPV}}$ falsk utelämningsgrad (FOR) ${\ displaystyle \ mathrm {FOR} = {\ frac {\ mathrm {FN}} {\ mathrm {FN} + \ mathrm {TN}}} = 1- \ mathrm {NPV}}$ prevalensgräns (PT) ${\ displaystyle \ mathrm {PT} = {\ frac {{\ sqrt {\ mathrm {TPR} (- \ mathrm {TNR} +1)}} + \ mathrm {TNR} -1} {(\ mathrm {TPR} + \ mathrm {TNR} -1)}}$ hotpoäng (TS) eller kritiskt framgångsindex (CSI) ${\ displaystyle \ mathrm {TS} = {\ frac {\ mathrm {TP}} {\ mathrm {TP} + \ mathrm {FN} + \ mathrm {FP}}}}$ noggrannhet (ACC) ${\ displaystyle \ mathrm {ACC} = {\ frac {\ mathrm {TP} + \ mathrm {TN}} {\ mathrm {P} + \ mathrm {N}}} = {\ frac {\ mathrm {TP} + \ mathrm {TN}} {\ mathrm {TP} + \ mathrm {TN} + \ mathrm {FP} + \ mathrm {FN}}}}$ balanserad noggrannhet (BA) ${\ displaystyle \ mathrm {BA} = {\ frac {TPR + TNR} {2}}}$ F1-poäng är det harmoniska medelvärdet av precision och känslighet : ${\ displaystyle \ mathrm {F} _ {1} = 2 \ gånger {\ frac {\ mathrm {PPV} \ times \ mathrm {TPR}} {\ mathrm {PPV} + \ mathrm {TPR}}} = {\ frac {2 \ mathrm {TP}} {2 \ mathrm {TP} + \ mathrm {FP} + \ mathrm {FN}}}}$ Matthews korrelationskoefficient (MCC) ${\ displaystyle \ mathrm {MCC} = {\ frac {\ mathrm {TP} \ times \ mathrm {TN} - \ mathrm {FP} \ times \ mathrm {FN}} {\ sqrt {(\ mathrm {TP} + \ mathrm {FP}) (\ mathrm {TP} + \ mathrm {FN}) (\ mathrm {TN} + \ mathrm {FP}) (\ mathrm {TN} + \ mathrm {FN})}}}$ Fowlkes – Mallows index (FM) ${\ displaystyle \ mathrm {FM} = {\ sqrt {{\ frac {TP} {TP + FP}} \ times {\ frac {TP} {TP + FN}}}} = {\ sqrt {PPV \ times TPR }}}$ informedness eller bookmaker informness (BM) ${\ displaystyle \ mathrm {BM} = \ mathrm {TPR} + \ mathrm {TNR} -1}$ markering (MK) eller deltaP (Δp) ${\ displaystyle \ mathrm {MK} = \ mathrm {PPV} + \ mathrm {NPV} -1}$ Källor: Fawcett (2006), Piryonesi och El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco & G. Jurman (2020, 2021) , Tharwat (2018).

Den utvärdering av binära klassificerare jämför två metoder för att tilldela ett binärt attribut, varav en vanligtvis är en standardmetod och den andra håller på att undersökas. Det finns många mätvärden som kan användas för att mäta prestanda för en klassificering eller prediktor; olika fält har olika preferenser för specifika mätvärden på grund av olika mål. Exempelvis används ofta känslighet och specificitet inom medicin , medan man inom datavetenskap föredrar precision och återkallande . En viktig skillnad är mellan mätvärden som är oberoende av prevalensen (hur ofta varje kategori förekommer i befolkningen) och mätvärden som beror på prevalensen - båda typerna är användbara, men de har väldigt olika egenskaper.

Beredskapstabell

Med tanke på en datauppsättning ger en klassificering (utdata från en klassificerare på den uppsättningen) två siffror: antalet positiva och antalet negativa, som sammanställer uppsättningens totala storlek. För att utvärdera en klassificerare jämför man sin produktion med en annan referensklassificering - helst en perfekt klassificering, men i praktiken produktionen av ett annat guldstandardtest - och korstabellerar data i en 2 × 2 beredskapstabell , jämför de två klassificeringarna. Man utvärderar sedan klassificeringen i förhållande till guldstandarden genom att beräkna sammanfattningsstatistik för dessa 4 siffror. Allmänhet denna statistik kommer att vara skala invariant (skalning alla talen med samma faktor ändrar inte utgången), för att göra dem oberoende av populationens storlek, vilket uppnås genom att använda förhållanden av homogen funktion , enklast homogena linjära eller homogena kvadratiska funktioner.

Säg att vi testar några människor för förekomst av en sjukdom. Några av dessa människor har sjukdomen, och vårt test säger korrekt att de är positiva. De kallas sanna positiva (TP). Vissa har sjukdomen, men testet påstår felaktigt att de inte har det. De kallas falska negativ (FN). Vissa har inte sjukdomen, och testet säger att de inte har det - sanna negativa (TN). Slutligen kan det finnas friska människor som har ett positivt testresultat - falska positiva (FP). Dessa kan ordnas i en 2 x 2 beredskapstabell ( förvirringsmatris ), konventionellt med testresultatet på den vertikala axeln och det faktiska tillståndet på den horisontella axeln.

Dessa siffror kan sedan summeras, vilket ger både ett totalsumma och marginal . Sammanfattning av hela tabellen, antalet sanna positiva, falska negativa, sanna negativa och falska positiva upp till 100% av uppsättningen. Att summera kolumnerna (lägga till vertikalt) antalet sanna positiva och falska positiva summerar upp till 100% av testet positiva, och likaså för negativa. Totalt raderna (lägg till horisontellt), antalet sanna positiva och falska negativ lägger till upp till 100% av villkoren positiva (omvänt för negativa). Den grundläggande marginalstatistiken erhålls genom att dividera 2 × 2 = 4-värdena i tabellen med marginaltotalen (antingen rader eller kolumner), vilket ger 2 extra 2 × 2-tabeller för totalt 8 förhållanden. Dessa förhållanden finns i 4 kompletterande par, varje par summerar till 1, och så kan var och en av dessa härledda 2 × 2-tabeller sammanfattas som ett par med 2 siffror, tillsammans med deras komplement. Ytterligare statistik kan erhållas genom att ta förhållanden mellan dessa förhållanden, förhållanden mellan förhållanden eller mer komplicerade funktioner.

Beredskapstabellen och de vanligaste härledda förhållandena sammanfattas nedan; se uppföljaren för mer information.

		Förutsett tillstånd
	Total befolkning	Förutsett tillstånd positivt	Förutsett tillstånd negativt	Noggrannhet (ACC) = Σ Sant positivt + Σ Sant negativt / Σ Totalt antal invånare
Faktiskt tillstånd	Verkligt tillstånd positivt	Verkligen positivt	Falskt negativt , typ II-fel	True positive rate (TPR), Recall , Sensitivity (SEN), sannolikhet för detektering, Power = Σ Verkligt positivt / Σ Verkligt positivt	Falsk negativ ränta (FNR), missfrekvens = Σ Falskt negativt / Σ Verkligt positivt
	Verkligt tillstånd negativt	Falskt positivt , typ I-fel	Verkligt negativt	Falsk positiv frekvens (FPR), Fall-out , sannolikhet för falsklarm = Σ Falskt positivt / Σ Faktiskt negativt	Specificitet (SPC), selektivitet, sann negativ frekvens (TNR) = Σ Äkta negativt / Σ Faktiskt negativt
	Prevalens = Σ Verkligt positivt / Σ Totalt antal invånare	Positivt prediktivt värde (PPV), Precision = Σ Verkligt positivt / Förutsagt positivt	Falsk utelämningsgrad (FOR) = Σ Falskt negativt / Σ Förutspått negativt	Positivt sannolikhetsförhållande (LR +) = TPR / FPR	Negativt sannolikhetsförhållande (LR−) = FNR / TNR
				Diagnostiskt oddskvot (DOR) = LR + / LR−
	se prata redigera	Falsk upptäckt (FDR) = Σ Falskt positivt / Förutsagt positivt	Negativt prediktivt värde (NPV) = Σ Äkta negativt / Σ Förutspått negativt	Matthews korrelationskoefficient (MCC) = √ TPR · TNR · PPV · NPV - √ FNR · FPR · FÖR · FDR	F 1 poäng = 2 · PPV · TPR / PPV + TPR = 2 · Precision · Återkallelse / Precision + Recall

Observera att raderna motsvarar tillståndet som faktiskt är positivt eller negativt (eller klassificeras som sådant av guldstandarden), vilket indikeras av färgkodningen, och tillhörande statistik är prevalensoberoende, medan kolumnerna motsvarar testet är positivt eller negativ, och tillhörande statistik är prevalensberoende. Det finns analoga sannolikhetsförhållanden för förutsägelsevärden, men dessa används mindre vanligt och visas inte ovan.

Känslighet och specificitet

Den grundläggande prevalensoberoende statistiken är känslighet och specificitet .

Sensitivity or True Positive Rate (TPR), även känd som återkallande , är andelen människor som testade positiva och är positiva (True Positive, TP) av alla människor som faktiskt är positiva (Condition Positive, CP = TP + FN). Det kan ses som sannolikheten att testet är positivt med tanke på att patienten är sjuk . Med högre känslighet upptäcks färre faktiska sjukdomsfall (eller, i fallet med fabrikskvalitetskontroll, färre felaktiga produkter går till marknaden).

Specificitet (SPC) eller True Negative Rate (TNR) är andelen människor som testade negativa och är negativa (True Negative, TN) av alla människor som faktiskt är negativa (Condition Negative, CN = TN + FP). Som med känslighet kan det ses som sannolikheten att testresultatet är negativt med tanke på att patienten inte är sjuk . Med högre specificitet märks färre friska människor som sjuka (eller i fabriksfallet kasseras färre bra produkter).

Förhållandet mellan känslighet och specificitet samt klassificeringsprestanda kan visualiseras och studeras med hjälp av ROC-kurvan ( Receiver Operating Characteristic ).

I teorin är känslighet och specificitet oberoende i den bemärkelsen att det är möjligt att uppnå 100% i båda (som i exemplet med röd / blå kulan som ges ovan). I mer praktiska, mindre konstruerade fall förekommer emellertid vanligtvis en avvägning, så att de i viss utsträckning är omvänt proportionella mot varandra. Detta beror på att vi sällan mäter den faktiska sak som vi vill klassificera; snarare mäter vi i allmänhet en indikator på det vi vill klassificera, kallat en surrogatmarkör . Anledningen till att 100% kan uppnås i bollexemplet är att rodnad och blåhet bestäms genom att direkt upptäcka rodnad och blåhet. Ibland äventyrs emellertid indikatorer, till exempel när icke-indikatorer efterliknar indikatorer eller när indikatorer är tidsberoende, blir bara tydliga efter en viss fördröjningstid. I följande exempel på ett graviditetstest används en sådan indikator.

Moderna graviditetstester använder inte graviditeten i sig för att bestämma graviditetsstatus; snarare används humant koriongonadotropin , eller hCG, närvarande i urinen hos gravida kvinnor, som en surrogatmarkör för att indikera att en kvinna är gravid. Eftersom hCG också kan produceras av en tumör kan specificiteten för moderna graviditetstester inte vara 100% (eftersom falska positiva är möjliga). Eftersom hCG finns i urinen i så små koncentrationer efter befruktning och tidig embryogenes kan känsligheten för moderna graviditetstester inte vara 100% (eftersom falska negativ är möjliga).

Sannolikhetsförhållanden

Positiva och negativa prediktiva värden

Förutom känslighet och specificitet kan resultatet av ett binärt klassificeringstest mätas med positivt prediktivt värde (PPV), även känt som precision och negativt prediktivt värde (NPV). Det positiva förutsägelsevärdet svarar på frågan "Om testresultatet är positivt , hur väl förutsäger det en verklig förekomst av sjukdom?". Den beräknas som TP / (TP + FP); det vill säga det är andelen sanna positiva av alla positiva resultat. Det negativa förutsägelsevärdet är detsamma, men för negativa, naturligtvis.

Effekten av prevalens på prediktionsvärden

Prevalens har en betydande inverkan på prediktionsvärden. Anta att det finns ett test för en sjukdom med 99% känslighet och 99% specificitet. Om 2000 personer testas och förekomsten (i urvalet) är 50% är 1000 av dem sjuka och 1000 av dem är friska. Således är sannolikt cirka 990 sanna positiva och 990 sanna negativa, med 10 falska positiva och 10 falska negativa. De positiva och negativa förutsägelsevärdena skulle vara 99%, så det kan finnas högt förtroende för resultatet.

Men om prevalensen bara är 5%, så av de 2000 människorna är bara 100 riktigt sjuka, ändras förutsägelsevärdena avsevärt. Det troliga resultatet är 99 sanna positiva, 1 falska negativa, 1881 sanna negativa och 19 falska positiva. Av de 19 + 99 personer som testats positivt är det bara 99 som verkligen har sjukdomen - det betyder intuitivt att med tanke på att en patients testresultat är positivt är det bara 84% chans att de verkligen har sjukdomen. Å andra sidan, med tanke på att patientens testresultat är negativt, finns det bara en chans 1882, eller 0,05% sannolikhet, att patienten har sjukdomen trots testresultatet.

Sannolikhetsförhållanden

Precision och återkallelse

Relationer

Det finns olika förhållanden mellan dessa förhållanden.

Om prevalensen, känsligheten och specificiteten är känd kan det positiva prediktiva värdet erhållas från följande identitet:

${\ displaystyle {\ text {PPV}} = {\ frac {({\ text {känslighet}}) ({\ text {prevalens}})} {({\ text {känslighet}}) ({\ text {prevalens }}) + (1 - {\ text {specificitet}}) (1 - {\ text {prevalens}})}}$

Om prevalensen, känsligheten och specificiteten är känd kan det negativa prediktiva värdet erhållas från följande identitet:

${\ displaystyle {\ text {NPV}} = {\ frac {({\ text {specificity}}) (1 - {\ text {prevalence}})} {({\ text {specificity}}) (1- { \ text {prevalens}}) + (1 - {\ text {känslighet}}) ({\ text {prevalens}})}}.}$

Enstaka mätvärden

Förutom de parade mätvärdena finns det också enstaka mätvärden som ger ett enda nummer för att utvärdera testet.

Kanske är den enklaste statistiken noggrannhet eller bråkkorrektion (FC), som mäter bråkdelen av alla fall som är korrekt kategoriserade; det är förhållandet mellan antalet korrekta klassificeringar och det totala antalet korrekta eller felaktiga klassificeringar: (TP + TN) / totalpopulation = (TP + TN) / (TP + TN + FP + FN). Som sådan jämförs uppskattningar av sannolikheten före och efter testet . Denna åtgärd är prevalensberoende . Om 90% av personer med COVID-symtom inte har COVID är den tidigare sannolikheten P (-) 0,9 och den enkla regeln "Klassificera alla sådana patienter som COVID-fria." skulle vara 90% korrekt. Diagnosen borde vara bättre än så. Man kan konstruera ett "Z-test med en proportion" med p0 som max (priors) = max (P (-), P (+)) för en diagnostisk metod som hoppas kunna slå en enkel regel med det mest troliga resultatet. Här är hypoteserna "Ho: p ≤ 0,9 vs. Ha: p> 0,9", vilket avvisar Ho för stora värden på z. En diagnostisk regel kan jämföras med en annan om den andras noggrannhet är känd och ersatt av p0 vid beräkning av z-statistiken. Om det inte är känt och beräknat utifrån data kan ett noggrannhetsjämförelsestest göras med hjälp av "Z-test med två proportioner, poolade för Ho: p1 = p2" . Kompletterande statistik används inte så mycket, fraktionen är felaktig (FiC): FC + FiC = 1, eller (FP + FN) / (TP + TN + FP + FN) - detta är summan av det antidiagonala , dividerat med total befolkning. Felaktiga kostnadsviktade fraktioner kan jämföra förväntade kostnader för felklassificering för olika metoder.

Den diagnostiska oddskvot (DOR) kan vara ett mer användbart övergripande metrisk, som kan definieras direkt som (TP × TN) / (FP × FN) = (TP / FN) / (FP / TN), eller indirekt som ett förhållande förhållandet mellan förhållanden (förhållandet mellan sannolikhetsförhållanden, som själva är förhållanden mellan verkliga hastigheter eller förutsägelsevärden). Detta har en användbar tolkning - som ett oddsförhållande - och är prevalensoberoende. Sannolikhetsförhållandet anses i allmänhet vara prevalensoberoende och tolkas lätt som multiplikatorn för att förvandla tidigare sannolikheter till bakre sannolikheter . Ett annat användbart enda mått är "area under ROC-kurvan", AUC .

Alternativa mätvärden

En F-poäng är en kombination av precision och återkallande , vilket ger en enda poäng. Det finns en enda parameterfamilj med statistik, med parameter β, som bestämmer de relativa vikterna av precision och återkallande. Den traditionella eller balanserade F-poängen ( F1-poängen ) är det harmoniska medelvärdet av precision och återkallande:

${\ displaystyle F_ {1} = 2 \ cdot {\ frac {\ mathrm {precision} \ cdot \ mathrm {remember}} {\ mathrm {precision} + \ mathrm {recall}}}$ .

F-poäng tar inte hänsyn till den sanna negativa hastigheten och är därför mer lämpade för informationshämtning och utvärdering av informationsutvinning där de sanna negativa är otaliga. Istället kan åtgärder som phi-koefficienten , Matthews korrelationskoefficient , informedskap eller Cohens kappa vara att föredra för att bedöma prestandan hos en binär klassificering. Som en korrelationskoefficient är Matthews korrelationskoefficient det geometriska medelvärdet av problemets regressionskoefficienter och dess dubbla . Komponentregressionskoefficienterna för Matthews-korrelationskoefficienten är marknad (deltap) och informedness ( Youdens J-statistik eller deltap ').

Se även

• Åtgärder för befolkningens påverkan
• Hänförlig risk
• Tillskrivbar riskprocent
• Poängregel (för sannolikhetsförutsägelser)

Referenser