Total driftskarakteristikk - Total operating characteristic

Den totale driftskarakteristikken (TOC) er en statistisk metode for å sammenligne en boolsk variabel versus en rangvariabel . TOC kan måle evnen til en indeksvariabel til å diagnostisere enten tilstedeværelse eller fravær av en egenskap. Diagnosen tilstedeværelse eller fravær avhenger av om verdien av indeksen er over en terskel. TOC vurderer flere mulige terskler. Hver terskel genererer en to-to-to beredskapstabell , som inneholder fire oppføringer: treff, glipp, falske alarmer og korrekte avslag.

Den mottaker bruksegenskap (ROC) karakteriserer også diagnostiske egenskaper, selv om ROC avslører mindre informasjon enn den TOC. For hver terskel avslører ROC to forhold, treff/(treff + bommer) og falske alarmer/(falske alarmer + riktige avslag), mens TOC viser den totale informasjonen i beredskapstabellen for hver terskel. TOC -metoden avslører all informasjonen som ROC -metoden gir, pluss ytterligere viktig informasjon som ROC ikke avslører, dvs. størrelsen på hver oppføring i beredskapstabellen for hver terskel. TOC gir også det populære området under kurven (AUC) til ROC.

TOC kan brukes til å måle diagnostisk evne på mange felt, inkludert men ikke begrenset til: landendringsvitenskap, medisinsk avbildning , værmelding , fjernmåling og materialtesting .

Grunnleggende konsept

Prosedyren for å konstruere TOC -kurven sammenligner den boolske variabelen med indeksvariabelen ved å diagnostisere hver observasjon som enten tilstedeværelse eller fravær, avhengig av hvordan indeksen forholder seg til forskjellige terskler. Hvis en observasjons indeks er større enn eller lik en terskel, blir observasjonen diagnostisert som tilstedeværelse, ellers blir observasjonen diagnostisert som fravær. Beredskapstabellen som er resultatet av sammenligningen mellom den boolske variabelen og diagnosen for en enkelt terskel, har fire sentrale oppføringer. De fire sentrale oppføringene er treff ( H ), glipp ( M ), falske alarmer ( F ) og korrekte avslag ( C ). Det totale antall observasjoner er P + Q . Begrepene "sanne positiver", "falske negativer", "falske positiver" og "sanne negativer" tilsvarer henholdsvis treff, feil, falske alarmer og riktige avslag. Oppføringene kan formuleres i en to-to-to beredskapstabell eller forvirringsmatrise, som følger:

Diagnose Boolsk	Tilstedeværelse	Fravær	Boolsk total
Tilstedeværelse	Treff ( H )	Savner ( M )	H + M = P
Fravær	Falske alarmer ( F )	Riktig avslag ( C )	F + C = Q
Diagnose totalt	H + F	M + C	P + Q

Fire informasjonsbiter bestemmer alle oppføringene i beredskapstabellen, inkludert dens marginale totaler. For eksempel, hvis vi kjenner H , M , F og C , kan vi beregne alle marginalsummene for en hvilken som helst terskel. Alternativt, hvis vi kjenner H / P , F / Q , P og Q , kan vi beregne alle oppføringene i tabellen. To biter informasjon er ikke tilstrekkelig for å fullføre beredskapstabellen. For eksempel, hvis vi bare kjenner H / P og F / Q , som er det ROC viser, er det umulig å kjenne alle oppføringene i tabellen.

Historie

Robert Gilmore Pontius Jr , professor i geografi ved Clark University , og Kangping Si i 2014 utviklet først innholdsfortegnelsen for anvendelse i landendringsvitenskap.

TOC -plass

TOC merket

TOC -kurven med fire bokser indikerer hvordan et punkt på TOC -kurven avslører treff, glipp, falske alarmer og korrekte avslag. TOC -kurven er en effektiv måte å vise den totale informasjonen i beredskapstabellen for alle terskler. Dataene som ble brukt for å lage denne TOC -kurven, er tilgjengelig for nedlasting her . Dette datasettet har 30 observasjoner, som hver består av verdier for en boolsk variabel og en indeksvariabel. Observasjonene er rangert fra den største til den minste verdien av indeksen. Det er 31 terskler, som består av de 30 verdiene til indeksen og en ekstra terskel som er større enn alle indeksverdiene, som skaper punktet ved opprinnelsen (0,0). Hvert punkt er merket for å indikere verdien av hver terskel. De horisontale aksene varierer fra 0 til 30 som er antall observasjoner i datasettet ( P + Q ). Den vertikale aksen varierer fra 0 til 10, som er den boolske variablens antall tilstedeværelsesobservasjoner P (dvs. treff + bommer). TOC -kurver viser også terskelen der den diagnostiserte mengden av tilstedeværelse samsvarer med den boolske tilstedeværelsesmengden, som er terskelpunktet som ligger rett under punktet der maksimallinjen møter treff + savner -linjen, slik TOC -kurven til venstre illustrerer . For en mer detaljert forklaring av konstruksjonen av TOC -kurven, vennligst se Pontius Jr, Robert Gilmore; Si, Kangping (2014). "Den totale driftskarakteristikken for å måle diagnostisk evne for flere terskler." International Journal of Geographical Information Science 28 (3): 570–583. ”

De følgende fire opplysningene er de sentrale oppføringene i beredskapstabellen for hver terskel:

Antall treff ved hver terskel er avstanden mellom terskelpunktet og den horisontale aksen.
Antall savninger ved hver terskel er avstanden mellom terskelpunktet og treffene + mangler horisontal linje over toppen av grafen.
Antall falske alarmer ved hver terskel er avstanden mellom terskelpunktet og den blå stiplet maksimallinjen som grenser til venstre side av innholdsfortegnelsen.
Antall riktige avslag ved hver terskel er avstanden mellom terskelpunktet og den lilla stiplet minimumslinjen som grenser til høyre side av innholdsfortegnelsen.

TOC vs. ROC kurver

TOC -kurve

ROC -kurve

Disse tallene er TOC- og ROC -kurvene som bruker de samme dataene og tersklene. Tenk på punktet som tilsvarer en terskel på 74. TOC -kurven viser antall treff, som er 3, og dermed antall feil, som er 7. I tillegg viser TOC -kurven at antallet falske alarmer er 4 og antallet riktige avslag er 16. På et gitt tidspunkt i ROC -kurven er det mulig å hente verdier for forholdene mellom falske alarmer/(falske alarmer+riktige avslag) og treff/(treff+bommer). For eksempel, ved terskel 74, er det tydelig at x -koordinaten er 0,2 og y -koordinaten er 0,3. Imidlertid er disse to verdiene utilstrekkelige til å konstruere alle oppføringer i den underliggende to-to-to beredskapstabellen.

Tolker TOC -kurver

Det er vanlig å rapportere området under kurven (AUC) for å oppsummere en TOC- eller ROC -kurve. Imidlertid klarer ikke kondensering av diagnostisk evne til et enkelt tall å sette pris på kurvens form. De følgende tre TOC -kurvene er TOC -kurver som har en AUC på 0,75, men har forskjellige former.

TOC -kurve med høyere nøyaktighet ved høye terskler.

Denne TOC -kurven til venstre eksemplifiserer et eksempel der indeksvariabelen har en høy diagnostisk evne ved høye terskler nær opprinnelsen, men tilfeldig diagnostisk evne ved lave terskler nær øvre høyre side av kurven. Kurven viser nøyaktig diagnose av tilstedeværelse til kurven når en terskel på 86. Kurven flater deretter ut og forutsier rundt den tilfeldige linjen.

TOC -kurve med middels nøyaktighet ved alle terskler.

Denne TOC -kurven eksemplifiserer et eksempel der indeksvariabelen har en middels diagnostisk evne ved alle terskler. Kurven er konsekvent over den tilfeldige linjen.

TOC -kurve med høyere nøyaktighet ved lavere terskler.

Denne TOC -kurven eksemplifiserer et eksempel der indeksvariabelen har tilfeldig diagnostisk evne ved høye terskler og høy diagnostisk evne ved lave terskler. Kurven følger den tilfeldige linjen ved de høyeste tersklene nær opprinnelsen, så diagnostiserer indeksvariabelen fravær riktig når tersklene synker nær øvre høyre hjørne.

Areal under kurven

Når du måler diagnostisk evne, er et vanlig rapportert mål området under kurven (AUC). AUC er beregningsbar fra TOC og ROC. Verdien av AUC er konsistent for de samme dataene, enten du beregner arealet under kurven for en TOC -kurve eller en ROC -kurve. AUC indikerer sannsynligheten for at diagnosen rangerer en tilfeldig valgt observasjon av boolsk tilstedeværelse høyere enn en tilfeldig valgt observasjon av boolsk fravær. AUC appellerer til mange forskere fordi AUC oppsummerer diagnostiske evner i et enkelt tall, men AUC har blitt kritisert som et potensielt misvisende tiltak, spesielt for romlig eksplisitte analyser. Noen trekk ved AUC som trekker kritikk inkluderer det faktum at 1) AUC ignorerer tersklene; 2) AUC oppsummerer testytelsen over regioner i TOC- eller ROC -rommet der man sjelden ville operere; 3) AUC veier utelatelses- og kommisjonsfeil likt; 4) AUC gir ikke informasjon om romlig fordeling av modellfeil; og, 5) valg av romlig omfang påvirker hastigheten på nøyaktig diagnostisert fravær og AUC -poengsummen. Imidlertid gjelder mesteparten av denne kritikken mange andre beregninger.

Når du bruker normaliserte enheter, er området under kurven (ofte referert til som ganske enkelt AUC) lik sannsynligheten for at en klassifiserende vil rangere en tilfeldig valgt positiv forekomst høyere enn en tilfeldig valgt negativ (antar at 'positiv' er høyere enn ' negativ'). Dette kan sees som følger: Arealet under kurven er gitt av (de integrerte grensene er reversert ettersom stor T har en lavere verdi på x-aksen)

{\ displaystyle TPR (T): T \ rightarrow y (x)}

{\ displaystyle FPR (T): T \ høyre pil x}

{\ displaystyle A = \ int _ {x = 0}^{1} {\ mbox {TPR}} ({\ mbox {FPR}}^{-1} (x)) \, dx = \ int _ {\ infty}^{-\ infty} {\ mbox {TPR}} (T) {\ mbox {FPR}} '(T) \, dT = \ int _ {-\ infty}^{\ infty} \ int _ { -\ infty}^{\ infty} I (T '> T) f_ {1} (T') f_ {0} (T) \, dT '\, dT = P (X_ {1}> X_ {0} )}

hvor er poengsummen for en positiv forekomst og er poengsummen for en negativ forekomst, og og er sannsynlighetstettheter som definert i forrige avsnitt. ${\ displaystyle X_ {1}}$ ${\ displaystyle X_ {0}}$ ${\ displaystyle f_ {0}}$ ${\ displaystyle f_ {1}}$

Det kan videre vises at AUC er nært knyttet til Mann - Whitney U , som tester om positive er rangert høyere enn negative. Det tilsvarer også Wilcoxon -testen av rangene . AUC er relatert til Gini -koeffisienten ( ) med formelen , der: ${\ displaystyle G_ {1}}$ ${\ displaystyle G_ {1} = 2 {\ mbox {AUC}}-1}$

{\ displaystyle G_ {1} = 1- \ sum _ {k = 1}^{n} (X_ {k} -X_ {k-1}) (Y_ {k}+Y_ {k-1})}

På denne måten er det mulig å beregne AUC ved å bruke et gjennomsnitt av et antall trapesformede tilnærminger.

Det er også vanlig å beregne arealet under TOC konvekse skroget (ROC AUCH = ROCH AUC) et hvilket som helst punkt på linjesegmentet mellom to prediksjonsresultater kan oppnås ved tilfeldig bruk av det ene eller det andre systemet med sannsynligheter som er proporsjonal med den relative lengden på den motsatte komponenten av segmentet. Det er også mulig å snu konkaviteter - akkurat som i figuren kan den verre løsningen reflekteres for å bli en bedre løsning; konkaviteter kan gjenspeiles i et hvilket som helst linjesegment, men denne mer ekstreme formen for sammensmelting er mye mer sannsynlig å overpasse dataene.

Et annet problem med TOC AUC er at reduksjon av TOC -kurven til et enkelt nummer ignorerer det faktum at det handler om avveiningene mellom de forskjellige systemene eller ytelsespunktene som er avsatt og ikke ytelsen til et individuelt system, samt ignorerer muligheten for konkavitetsreparasjon , slik at relaterte alternative tiltak som Informedness eller DeltaP anbefales. Disse målene er i hovedsak ekvivalente med Gini for et enkelt prediksjonspunkt med DeltaP '= informness = 2AUC-1, mens DeltaP = markness representerer det dobbelte (dvs. å forutsi prediksjonen fra den virkelige klassen) og deres geometriske gjennomsnitt er Matthews korrelasjonskoeffisient .

Mens TOC AUC varierer mellom 0 og 1 - med en uinformativ klassifikator som gir 0,5 - har de alternative tiltakene kjent som informert , Sikkerhet og Gini -koeffisient (i enkeltparameterisering eller enkelt systemtilfelle) alle fordelen at 0 representerer sjanseytelse mens 1 representerer perfekt ytelse, og −1 representerer det "perverse" tilfellet med full informasjon som alltid gir feil svar. Å bringe sjanseytelsen til 0 gjør at disse alternative skalaene kan tolkes som Kappa -statistikk. Informasjon har vist seg å ha ønskelige egenskaper for maskinlæring kontra andre vanlige definisjoner av Kappa som Cohen kappa og Fleiss kappa .

Noen ganger kan det være mer nyttig å se på en bestemt region i TOC -kurven i stedet for på hele kurven. Det er mulig å beregne delvis AUC. For eksempel kan man fokusere på kurvens område med lav falsk positiv rate, som ofte er av største interesse for populasjonsscreeningstester. En annen vanlig tilnærming for klassifiseringsproblemer der P ≪ N (vanlig i bioinformatikkapplikasjoner) er å bruke en logaritmisk skala for x-aksen.

Referanser

Videre lesning

Pontius Jr, Robert Gilmore; Si, Kangping (2014). "Den totale driftskarakteristikken for å måle diagnostisk evne for flere terskler". International Journal of Geographical Information Science . 28 (3): 570–583. doi : 10.1080/13658816.2013.862623 .
Pontius Jr, Robert Gilmore; Parmentier, Benoit (2014). "Anbefalinger for bruk av den relative driftskarakteristikken (ROC)". Landskapsøkologi . 29 (3): 367–382. doi : 10.1007/s10980-013-9984-8 .
Mas, Jean-François; Filho, Britaldo Soares; Pontius Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "En pakke med verktøy for ROC -analyse av romlige modeller" . ISPRS International Journal of Geo-Information . 2 (3): 869–887. doi : 10.3390/ijgi2030869 .
Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004). "Kalibrering og validering av en modell for skogforstyrrelser i Western Ghats, India 1920–1990". GeoJournal . 61 (4): 325–334. doi : 10.1007/s10708-004-5049-5 .
Pontius Jr, Robert Gilmore; Batchu, Kiran (2003). "Bruke den relative driftskarakteristikken til å kvantifisere sikkerhet i forutsigelsen av plasseringen av endring av landdekning i India". Transaksjoner i GIS . 7 (4): 467–484. doi : 10.1111/1467-9671.00159 .
Pontius Jr, Robert Gilmore; Schneider, Laura (2001). "Validering av modell for endring av landbruk ved en ROC-metode for Ipswich-vannskillet, Massachusetts, USA". Landbruk, økosystemer og miljø . 85 (1–3): 239–248. doi : 10.1016/s0167-8809 (01) 00187-6 .

Languages

In other projects