Caratteristica di funzionamento totale - Total operating characteristic

La caratteristica operativa totale (TOC) è un metodo statistico per confrontare una variabile booleana con una variabile di rango . Il TOC può misurare la capacità di una variabile indice di diagnosticare la presenza o l'assenza di una caratteristica. La diagnosi di presenza o assenza dipende dal fatto che il valore dell'indice sia al di sopra di una soglia. Il TOC considera più soglie possibili. Ogni soglia genera una tabella di contingenza due per due , che contiene quattro voci: risultati positivi, mancati, falsi allarmi e rifiuti corretti.

La caratteristica operativa del ricevitore (ROC) caratterizza anche la capacità diagnostica, sebbene il ROC riveli meno informazioni rispetto al TOC. Per ogni soglia, ROC rivela due rapporti, hit/(hits + miss) e falsi allarmi/(falsi allarmi + respingimenti corretti), mentre TOC mostra le informazioni totali nella tabella di contingenza per ciascuna soglia. Il metodo TOC rivela tutte le informazioni fornite dal metodo ROC, oltre ad altre importanti informazioni che il ROC non rivela, ovvero la dimensione di ogni voce nella tabella di contingenza per ciascuna soglia. Il TOC fornisce anche l' area popolare sotto la curva (AUC) del ROC.

Il TOC è applicabile per misurare la capacità diagnostica in molti campi, inclusi ma non limitati a: scienza del cambiamento del territorio, imaging medico , previsioni meteorologiche , telerilevamento e test sui materiali .

Concetto di base

La procedura per costruire la curva TOC confronta la variabile booleana con la variabile indice diagnosticando ogni osservazione come presenza o assenza, a seconda di come l'indice si riferisce alle varie soglie. Se l'indice di un'osservazione è maggiore o uguale a una soglia, l'osservazione viene diagnosticata come presenza, altrimenti l'osservazione viene diagnosticata come assenza. La tabella di contingenza che risulta dal confronto tra la variabile booleana e la diagnosi per una singola soglia ha quattro voci centrali. Le quattro voci centrali sono successi ( H ), mancati ( M ), falsi allarmi ( F ) e scarti corretti ( C ). Il numero totale di osservazioni è P + Q . I termini "veri positivi", "falsi negativi", "falsi positivi" e "veri negativi" sono equivalenti rispettivamente a risultati positivi, mancati, falsi allarmi e rifiuti corretti. Le voci possono essere formulate in una tabella di contingenza due per due o in una matrice di confusione, come segue:

Diagnosi booleano	Presenza	Assenza	Totale booleano
Presenza	Colpi ( H )	Manca ( M )	H + M = P
Assenza	Falsi allarmi ( F )	Rifiuti corretti ( C )	F + C = Q
Diagnosi totale	H + F	M + DO	P + Q

Quattro bit di informazione determinano tutte le voci nella tabella di contingenza, inclusi i suoi totali marginali. Ad esempio, se conosciamo H , M , F e C , possiamo calcolare tutti i totali marginali per qualsiasi soglia. In alternativa, se conosciamo H / P , F / Q , P e Q , possiamo calcolare tutte le voci nella tabella. Due bit di informazione non sono sufficienti per completare la tabella di contingenza. Ad esempio, se conosciamo solo H / P e F / Q , che è ciò che mostra ROC, allora è impossibile conoscere tutte le voci nella tabella.

Storia

Robert Gilmore Pontius Jr , professore di geografia alla Clark University , e Kangping Si nel 2014 hanno sviluppato per la prima volta il TOC per l'applicazione nella scienza del cambiamento del territorio.

spazio TOC

TOC etichettato

La curva TOC con quattro riquadri indica come un punto sulla curva TOC rivela i successi, i mancati, i falsi allarmi e i rifiuti corretti. La curva TOC è un modo efficace per mostrare le informazioni totali nella tabella di contingenza per tutte le soglie. I dati utilizzati per creare questa curva TOC sono disponibili per il download qui . Questo set di dati contiene 30 osservazioni, ognuna delle quali è costituita da valori per una variabile booleana e una variabile indice. Le osservazioni sono classificate dal valore maggiore a quello minore dell'indice. Ci sono 31 soglie, costituite dai 30 valori dell'indice e da una soglia aggiuntiva maggiore di tutti i valori dell'indice, che crea il punto all'origine (0,0). Ogni punto è etichettato per indicare il valore di ciascuna soglia. Gli assi orizzontali vanno da 0 a 30 che è il numero di osservazioni nel set di dati ( P + Q ). L'asse verticale va da 0 a 10, che è il numero di osservazioni di presenza P della variabile booleana (ovvero hit + miss). Le curve TOC mostrano anche la soglia alla quale la quantità di presenza diagnosticata corrisponde alla quantità di presenza booleana, che è il punto di soglia che si trova direttamente sotto il punto in cui la linea massima incontra la linea dei risultati positivi + mancati, come illustra la curva TOC a sinistra . Per una spiegazione più dettagliata della costruzione della curva TOC, vedere Pontius Jr, Robert Gilmore; Sì, Kangping (2014). "La caratteristica operativa totale per misurare la capacità diagnostica per più soglie". Rivista internazionale di scienza dell'informazione geografica 28 (3): 570-583. "

Le seguenti quattro informazioni sono le voci centrali nella tabella di contingenza per ciascuna soglia:

Il numero di riscontri a ciascuna soglia è la distanza tra il punto della soglia e l'asse orizzontale.
Il numero di mancate a ciascuna soglia è la distanza tra il punto della soglia e la linea orizzontale colpi + mancati nella parte superiore del grafico.
Il numero di falsi allarmi a ciascuna soglia è la distanza tra il punto della soglia e la linea massima tratteggiata blu che delimita il lato sinistro dello spazio TOC.
Il numero di rifiuti corretti a ciascuna soglia è la distanza tra il punto della soglia e la linea minima tratteggiata viola che delimita il lato destro dello spazio TOC.

Curve TOC vs. ROC

Curva TOC

Curva ROC

Queste cifre sono le curve TOC e ROC che utilizzano gli stessi dati e le stesse soglie. Considera il punto che corrisponde a una soglia di 74. La curva TOC mostra il numero di riscontri, che è 3, e quindi il numero di mancati, che è 7. Inoltre, la curva TOC mostra che il numero di falsi allarmi è 4 e il numero di scarti corretti è 16. In ogni punto della curva ROC è possibile ricavare i valori per i rapporti di falsi allarmi/(falsi allarmi+rifiuti corretti) e di riscontri/(risultati+mancati). Ad esempio, alla soglia 74, è evidente che la coordinata x è 0.2 e la coordinata y è 0.3. Tuttavia, questi due valori sono insufficienti per costruire tutte le voci della sottostante tabella di contingenza due per due.

Interpretazione delle curve TOC

È comune riportare l'area sotto la curva (AUC) per riassumere una curva TOC o ROC. Tuttavia, condensare la capacità diagnostica in un singolo numero non riesce ad apprezzare la forma della curva. Le tre curve TOC seguenti sono curve TOC che hanno un AUC di 0,75 ma hanno forme diverse.

Curva TOC con maggiore precisione a soglie elevate.

Questa curva TOC a sinistra esemplifica un'istanza in cui la variabile indice ha un'elevata capacità diagnostica a soglie alte vicino all'origine, ma capacità diagnostica casuale a soglie basse vicino alla parte superiore destra della curva. La curva mostra una diagnosi accurata di presenza fino a quando la curva raggiunge una soglia di 86. La curva quindi si livella e prevede intorno alla linea casuale.

Curva TOC con media precisione a tutte le soglie.

Questa curva TOC esemplifica un'istanza in cui la variabile indice ha una capacità diagnostica media a tutte le soglie. La curva è costantemente al di sopra della linea casuale.

Curva TOC con maggiore precisione a soglie inferiori.

Questa curva TOC esemplifica un'istanza in cui la variabile indice ha capacità diagnostiche casuali a soglie alte e capacità diagnostiche elevate a soglie basse. La curva segue la linea casuale alle soglie più alte vicino all'origine, quindi la variabile indice diagnostica l'assenza correttamente quando le soglie diminuiscono vicino all'angolo in alto a destra.

Area sotto la curva

Quando si misura la capacità diagnostica, una misura comunemente riportata è l'area sotto la curva (AUC). L'AUC è calcolabile dal TOC e dal ROC. Il valore dell'AUC è coerente per gli stessi dati indipendentemente dal fatto che si stia calcolando l'area sotto la curva per una curva TOC o una curva ROC. L'AUC indica la probabilità che la diagnosi classifichi un'osservazione scelta casualmente di presenza booleana più alta di un'osservazione scelta casualmente di assenza booleana. L'AUC è attraente per molti ricercatori perché l'AUC riassume la capacità diagnostica in un unico numero, tuttavia, l'AUC è stata criticata come misura potenzialmente fuorviante, specialmente per le analisi spazialmente esplicite. Alcune caratteristiche dell'UAC che suscitano critiche includono il fatto che 1) l'UAC ignora le soglie; 2) AUC riassume le prestazioni del test su regioni dello spazio TOC o ROC in cui si opererebbe raramente; 3) L'UAC pesa equamente l'omissione e commette errori; 4) L'AUC non fornisce informazioni sulla distribuzione spaziale degli errori del modello; e, 5) la selezione dell'estensione spaziale influenza fortemente il tasso di assenze accuratamente diagnosticate e i punteggi AUC. Tuttavia, la maggior parte di queste critiche si applica a molte altre metriche.

Quando si utilizzano unità normalizzate, l'area sotto la curva (spesso indicata semplicemente come AUC) è uguale alla probabilità che un classificatore classifichi un'istanza positiva scelta casualmente più alta di una negativa scelta casualmente (supponendo che "positivo" sia superiore a " negativo'). Questo può essere visto come segue: l'area sotto la curva è data da (i confini dell'integrale sono invertiti poiché T grande ha un valore inferiore sull'asse x)

TPR(T):T\rightarrow y(x)

FPR(T):T\rightarrow x

A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx=\int _{\ infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{ -\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0} )

dove è il punteggio per un'istanza positiva ed è il punteggio per un'istanza negativa e e sono densità di probabilità come definito nella sezione precedente. $X_{1}$ $X_{0}$ $f_{0}$ $f_{1}$

Si può inoltre dimostrare che l'AUC è strettamente correlato al Mann-Whitney U , che verifica se i positivi sono classificati più in alto dei negativi. È anche equivalente al test dei ranghi di Wilcoxon . L'AUC è legato al coefficiente di Gini ( ) dalla formula , dove: $G_{1}$ $G_{1}=2{\mbox{AUC}}-1$

G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})

In questo modo è possibile calcolare l'AUC utilizzando una media di un numero di approssimazioni trapezoidali.

È anche comune calcolare l'area sotto lo scafo convesso TOC (ROC AUCH = ROCH AUC) poiché qualsiasi punto sul segmento di linea tra due risultati di previsione può essere ottenuto utilizzando casualmente l'uno o l'altro sistema con probabilità proporzionali alla lunghezza relativa di la componente opposta del segmento. È anche possibile invertire le concavità – proprio come nella figura si può riflettere la soluzione peggiore per diventare una soluzione migliore; le concavità possono riflettersi in qualsiasi segmento di linea, ma è molto più probabile che questa forma di fusione più estrema superi i dati.

Un altro problema con TOC AUC è che riducendo la curva TOC a un singolo numero si ignora il fatto che si tratta dei compromessi tra i diversi sistemi o punti di prestazione tracciati e non le prestazioni di un singolo sistema, oltre a ignorare la possibilità di riparazione della concavità , in modo che siano raccomandate misure alternative correlate come Informedness o DeltaP. Queste misure sono essenzialmente equivalenti al Gini per un singolo punto di previsione con DeltaP' = informazione = 2AUC-1, mentre DeltaP = marcatezza rappresenta il duale (ovvero la previsione della previsione dalla classe reale) e la loro media geometrica è il coefficiente di correlazione di Matthews .

Considerando che TOC AUC varia tra 0 e 1 - con un classificatore non informativo che produce 0,5 - le misure alternative note come informazione , certezza e coefficiente di Gini (nel caso della singola parametrizzazione o del singolo sistema) hanno tutte il vantaggio che 0 rappresenta la prestazione casuale mentre 1 rappresenta il perfetto performance, e -1 rappresenta il caso "perverso" di piena informazione che dà sempre la risposta sbagliata. Portare le prestazioni casuali a 0 consente di interpretare queste scale alternative come statistiche Kappa. È stato dimostrato che l'informazione ha caratteristiche desiderabili per l'apprendimento automatico rispetto ad altre definizioni comuni di Kappa come Cohen kappa e Fleiss kappa .

A volte può essere più utile guardare una regione specifica della curva TOC piuttosto che l'intera curva. È possibile calcolare l'AUC parziale. Ad esempio, ci si potrebbe concentrare sulla regione della curva con un basso tasso di falsi positivi, che è spesso di interesse primario per i test di screening della popolazione. Un altro approccio comune per i problemi di classificazione in cui P ≪ N (comune nelle applicazioni di bioinformatica) consiste nell'utilizzare una scala logaritmica per l'asse x.

Riferimenti

Ulteriori letture

Pontius Jr, Robert Gilmore; Sì, Kangping (2014). "La caratteristica operativa totale per misurare la capacità diagnostica per più soglie". Giornale internazionale di scienza dell'informazione geografica . 28 (3): 570–583. doi : 10.1080/13658816.2013.862623 .
Pontius Jr, Robert Gilmore; Parmentier, Benoit (2014). "Raccomandazioni per l'utilizzo della caratteristica operativa relativa (ROC)". Ecologia del paesaggio . 29 (3): 367-382. doi : 10.1007/s10980-013-9984-8 .
Mas, Jean-François; Filho, Britaldo Soares; Pontius Jr, Robert Gilmore; Gutiérrez, Michelle Farfan; Rodrigues, Hermann (2013). "Una suite di strumenti per l'analisi ROC dei modelli spaziali" . ISPRS Giornale Internazionale di Geo-Informazioni . 2 (3): 869-887. doi : 10.3390/ijgi2030869 .
Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibrazione e convalida di un modello di disturbo forestale nei Ghati occidentali, India 1920-1990". GeoJournal . 61 (4): 325-334. doi : 10.1007/s10708-004-5049-5 .
Pontius Jr, Robert Gilmore; Batchu, Kiran (2003). "Utilizzare la relativa caratteristica operativa per quantificare la certezza nella previsione della posizione del cambiamento della copertura del suolo in India". Transazioni in GIS . 7 (4): 467-484. doi : 10.1111/1467-9671.00159 .
Pontius Jr, Robert Gilmore; Schneider, Laura (2001). "Convalida del modello di modifica dell'uso del suolo mediante un metodo ROC per lo spartiacque di Ipswich, Massachusetts, USA". Agricoltura, ecosistemi e ambiente . 85 (1–3): 239–248. doi : 10.1016/s0167-8809(01)00187-6 .

Languages

In other projects