Celková provozní charakteristika - Total operating characteristic

Celková provozní charakteristika (TOC) je statistická metoda porovnat booleovské proměnné versus hodnosti proměnné . TOC může měřit schopnost indexové proměnné diagnostikovat přítomnost nebo nepřítomnost charakteristiky. Diagnóza přítomnosti nebo nepřítomnosti závisí na tom, zda je hodnota indexu nad prahovou hodnotou. TOC zvažuje několik možných prahových hodnot. Každý práh generuje kontingenční tabulku dva po dvou , která obsahuje čtyři položky: zásahy, zmeškané chyby, falešné poplachy a správná odmítnutí.

Provozní přijímač charakteristika (ROC) charakterizuje diagnostické schopnosti, i když ROC odhaluje méně informací než TOC. Pro každou prahovou hodnotu ROC odhaluje dva poměry, zásahy/(zásahy + zmeškání) a falešné poplachy/(falešné poplachy + správné odmítnutí), zatímco TOC zobrazuje celkové informace v kontingenční tabulce pro každý práh. Metoda TOC odhaluje všechny informace, které metoda ROC poskytuje, plus další důležité informace, které ROC neprozrazuje, tj. Velikost každého záznamu v kontingenční tabulce pro každou prahovou hodnotu. TOC také poskytuje oblíbenou oblast pod křivkou (AUC) ROC.

TOC je použitelný k měření diagnostické schopnosti v mnoha oblastech, mimo jiné včetně: vědy o pozemkových změnách, lékařského zobrazování , předpovědi počasí , dálkového průzkumu Země a testování materiálů .

Základní koncept

Postup pro konstrukci křivky TOC porovnává booleovskou proměnnou s indexovou proměnnou diagnostikováním každého pozorování buď jako přítomnosti, nebo nepřítomnosti, v závislosti na tom, jak se index vztahuje k různým prahovým hodnotám. Pokud je index pozorování větší nebo roven prahové hodnotě, pak je pozorování diagnostikováno jako přítomnost, jinak je pozorování diagnostikováno jako absence. Kontingenční tabulka, která je výsledkem porovnání mezi booleovskou proměnnou a diagnózou pro jeden práh, má čtyři centrální položky. Čtyři centrální položky jsou zásahy ( H ), chyby ( M ), falešné poplachy ( F ) a správná odmítnutí ( C ). Celkový počet pozorování je P + Q . Výrazy „skutečná pozitiva“, „falešná negativa“, „falešná pozitiva“ a „skutečná negativa“ jsou ekvivalentní hitům, chybám, falešným poplachům a správným odmítnutím. Záznamy lze formulovat do kontingenční tabulky dva po dvou nebo matice záměny následovně:

Diagnóza Boolean	Přítomnost	Absence	Booleovský součet
Přítomnost	Hity ( H )	Slečny ( M )	H + M = P
Absence	Falešné poplachy ( F )	Správná zamítnutí ( C )	F + C = Q
Diagnostika celkem	H + F	M + C	P + Q

Čtyři bity informací určují všechny položky v kontingenční tabulce, včetně jejích mezních součtů. Pokud například známe H , M , F a C , pak můžeme vypočítat všechny mezní součty pro jakýkoli práh. Alternativně, pokud známe H / P , F / Q , P a Q , pak můžeme vypočítat všechny položky v tabulce. Dva bity informací nestačí k dokončení kontingenční tabulky. Pokud například známe pouze H / P a F / Q , což ukazuje ROC, pak není možné znát všechny položky v tabulce.

Dějiny

Robert Gilmore Pontius Jr. , profesor geografie na Clarkově univerzitě , a Kangping Si v roce 2014 nejprve vyvinuli TOC pro použití ve vědě o pozemkových změnách.

Prostor TOC

Označení TOC

Křivka TOC se čtyřmi poli udává, jak bod na křivce TOC odhaluje zásahy, zmeškané chyby, falešné poplachy a správná odmítnutí. Křivka TOC je účinný způsob, jak zobrazit všechny informace v kontingenční tabulce pro všechny prahové hodnoty. Data použitá k vytvoření této křivky TOC jsou k dispozici ke stažení zde . Tato datová sada má 30 pozorování, z nichž každé se skládá z hodnot pro booleovskou proměnnou a indexovou proměnnou. Pozorování jsou seřazeny od největší po nejmenší hodnotu indexu. Existuje 31 prahových hodnot, skládajících se z 30 hodnot indexu a jednoho dalšího prahu, který je větší než všechny hodnoty indexu, což vytváří bod na počátku (0,0). Každý bod je označen indikací hodnoty každého prahu. Horizontální osy se pohybují od 0 do 30, což je počet pozorování v datové sadě ( P + Q ). Svislá osa se pohybuje od 0 do 10, což je počet pozorování přítomnosti booleovské proměnné P (tj. Zásahů + chyb). Křivky TOC také ukazují práh, při kterém se diagnostikované množství přítomnosti shoduje s booleovským množstvím přítomnosti, což je prahový bod, který leží přímo pod bodem, kde se maximální čára setkává s linií zásahů + chyb, jak ukazuje křivka TOC vlevo . Podrobnější vysvětlení konstrukce křivky TOC viz Pontius Jr., Robert Gilmore; Si, Kangping (2014). "Celková provozní charakteristika pro měření diagnostické schopnosti pro více prahů." International Journal of Geographic Information Science 28 (3): 570–583. “

Následující čtyři informace jsou ústředními položkami v záložní tabulce pro každou prahovou hodnotu:

Počet zásahů na každém prahu je vzdálenost mezi bodem prahu a horizontální osou.
Počet zmeškaných na každém prahu je vzdálenost mezi bodem prahu a vodorovnou čarou zásahů + chyb v horní části grafu.
Počet falešných poplachů na každém prahu je vzdálenost mezi bodem prahu a modře přerušovanou čarou Maximum, která ohraničuje levou stranu prostoru TOC.
Počet správných odmítnutí na každém prahu je vzdálenost mezi bodem prahu a purpurovou přerušovanou minimální čarou, která ohraničuje pravou stranu prostoru TOC.

Křivky TOC vs. ROC

TOC křivka

ROC křivka

Tyto údaje jsou křivky TOC a ROC využívající stejná data a prahové hodnoty. Uvažujme bod, který odpovídá prahu 74. Křivka TOC ukazuje počet zásahů, což jsou 3, a tedy počet zmeškaných, což je 7. Křivka TOC navíc ukazuje, že počet falešných poplachů je 4 a počet správných odmítnutí je 16. V kterémkoli daném bodě křivky ROC je možné sbírat hodnoty pro poměry falešných poplachů/(falešné poplachy+správné odmítnutí) a zásahů/(zásahy+vynechání). Například na prahu 74 je evidentní, že souřadnice x je 0,2 a souřadnice y je 0,3. Tyto dvě hodnoty jsou však nedostatečné ke konstrukci všech položek podkladové kontingenční tabulky dva po dvou.

Interpretace křivek TOC

Je běžné hlásit plochu pod křivkou (AUC), aby se shrnuly křivky TOC nebo ROC. Kondenzační diagnostická schopnost do jednoho čísla však nedokáže ocenit tvar křivky. Následující tři křivky TOC jsou křivky TOC, které mají AUC 0,75, ale mají různé tvary.

Křivka TOC s vyšší přesností při vysokých prahových hodnotách.

Tato křivka TOC vlevo představuje příklad, ve kterém má proměnná indexu vysokou diagnostickou schopnost při vysokých prahových hodnotách v blízkosti počátku, ale náhodnou diagnostickou schopnost při nízkých prahových hodnotách v pravém horním rohu křivky. Křivka ukazuje přesnou diagnózu přítomnosti, dokud křivka nedosáhne prahu 86. Křivka se poté vyrovná a předpovídá kolem náhodné čáry.

Křivka TOC se střední přesností při všech prahových hodnotách.

Tato křivka TOC je příkladem instance, ve které má indexová proměnná střední diagnostickou schopnost při všech prahových hodnotách. Křivka je konzistentně nad náhodnou čarou.

Křivka TOC s vyšší přesností při nižších prahových hodnotách.

Tato křivka TOC je příkladem instance, ve které má indexová proměnná náhodnou diagnostickou schopnost při vysokých prahových hodnotách a vysokou diagnostickou schopnost při nízkých prahových hodnotách. Křivka sleduje náhodnou čáru na nejvyšších prahových hodnotách poblíž počátku, poté proměnná indexu diagnostikuje nepřítomnost správně, protože prahové hodnoty se v blízkosti pravého horního rohu snižují.

Plocha pod křivkou

Při měření diagnostické schopnosti je běžně uváděným měřítkem oblast pod křivkou (AUC). AUC lze vypočítat z TOC a ROC. Hodnota AUC je stejná pro stejná data, ať už počítáte plochu pod křivkou pro křivku TOC nebo křivku ROC. AUC udává pravděpodobnost, že diagnóza řadí náhodně zvolené pozorování booleovské přítomnosti výše než náhodně zvolené pozorování booleovské absence. AUC je pro mnoho výzkumníků přitažlivá, protože AUC shrnuje diagnostické schopnosti do jednoho čísla, nicméně AUC se dostalo do kritiky jako potenciálně zavádějící opatření, zejména pro prostorově explicitní analýzy. Některé vlastnosti AUC, které vyvolávají kritiku, zahrnují skutečnost, že 1) AUC ignoruje prahové hodnoty; 2) AUC shrnuje výkonnost testu v oblastech prostoru TOC nebo ROC, ve kterých se pracuje jen zřídka; 3) AUC váží chyby opomenutí a provize stejně; 4) AUC neposkytuje informace o prostorovém rozložení chyb modelu; a, 5) výběr prostorového rozsahu vysoce ovlivňuje rychlost přesně diagnostikovaných absencí a skóre AUC. Většina těchto kritik se však týká mnoha dalších metrik.

Při použití normalizovaných jednotek je plocha pod křivkou (často označována jednoduše jako AUC) rovna pravděpodobnosti, že klasifikátor zařadí náhodně vybranou pozitivní instanci výše než náhodně zvolenou negativní (za předpokladu, že 'pozitivní' bude vyšší než ' záporný'). To lze vidět následovně: plocha pod křivkou je dána (integrální hranice jsou obráceny, protože velké T má na ose x nižší hodnotu)

{\ Displaystyle TPR (T): T \ rightarrow y (x)}

{\ displaystyle FPR (T): T \ rightarrow x}

{\ Displaystyle A = \ int _ {x = 0}^{1} {\ mbox {TPR}} ({\ mbox {FPR}}^{-1} (x)) \, dx = \ int _ {\ infty}^{-\ infty} {\ mbox {TPR}} (T) {\ mbox {FPR}} '(T) \, dT = \ int _ {-\ infty}^{\ infty} \ int _ { -\ infty}^{\ infty} I (T '> T) f_ {1} (T') f_ {0} (T) \, dT '\, dT = P (X_ {1}> X_ {0} )}

kde je skóre pro pozitivní instanci a je skóre pro negativní instanci a jsou hustoty pravděpodobnosti definované v předchozí části. ${\ displaystyle X_ {1}}$ ${\ displaystyle X_ {0}}$ ${\ displaystyle f_ {0}}$ ${\ displaystyle f_ {1}}$

Dále lze ukázat, že AUC je úzce spjata s Mann -Whitney U , která testuje, zda jsou pozitivy hodnoceny výše než negativy. Rovněž je ekvivalentní Wilcoxonovu testu hodností . AUC souvisí s Giniho koeficientem ( ) podle vzorce , kde: ${\ displaystyle G_ {1}}$ ${\ displaystyle G_ {1} = 2 {\ mbox {AUC}}-1}$

{\ Displaystyle G_ {1} = 1- \ sum _ {k = 1}^{n} (X_ {k} -X_ {k-1}) (Y_ {k}+Y_ {k-1})}}

Tímto způsobem je možné vypočítat AUC pomocí průměru několika lichoběžníkových aproximací.

Je také běžné vypočítat plochu pod konvexním trupem TOC (ROC AUCH = ROCH AUC), protože jakéhokoli bodu na úsečce mezi dvěma výsledky predikce lze dosáhnout náhodným použitím jednoho nebo druhého systému s pravděpodobnostmi úměrnými relativní délce opačná složka segmentu. Je také možné invertovat konkávnosti - stejně jako na obrázku může být promítnuto horší řešení, aby se stalo lepším řešením; konkávnosti se mohou odrazit v libovolném segmentu čáry, ale tato extrémnější forma fúze mnohem pravděpodobněji převyšuje data.

Dalším problémem TOC AUC je, že snížení křivky TOC na jediné číslo ignoruje skutečnost, že jde o kompromisy mezi různými systémy nebo vynesenými výkonnostními body, a nikoli o výkonnost jednotlivého systému, stejně jako ignorování možnosti opravy konkávnosti , takže jsou doporučena související alternativní opatření, jako je informovanost nebo DeltaP. Tato opatření jsou v podstatě ekvivalentní Gini pro jeden predikční bod s DeltaP '= informovanost = 2AUC-1, zatímco DeltaP = značnost představuje dvojí (viz. Předpovídání predikce ze skutečné třídy) a jejich geometrický průměr je Matthewův korelační koeficient .

Zatímco AUC TOC se pohybuje mezi 0 a 1 - s neinformativním klasifikátorem poskytujícím 0,5 - alternativní opatření známá jako informovanost , jistota a Giniho koeficient (v případě jediné parametrizace nebo jediného systému) mají tu výhodu, že 0 představuje výkon šance, zatímco 1 představuje perfektní −1 představuje „zvrácený“ případ plné informovanosti, která vždy dává špatnou odpověď. Snížení náhodného výkonu na 0 umožňuje tyto alternativní škály interpretovat jako statistiku Kappa. Ukázalo se, že informovanost má žádoucí vlastnosti pro strojové učení oproti jiným běžným definicím Kappa, jako jsou Cohen kappa a Fleiss kappa .

Někdy může být užitečnější podívat se na konkrétní oblast křivky TOC než na celou křivku. Je možné vypočítat částečnou AUC. Dalo by se například zaměřit na oblast křivky s nízkou mírou falešně pozitivních výsledků, která je často hlavním zájmem populačních screeningových testů. Dalším běžným přístupem ke klasifikačním problémům, ve kterých P ≪ N (běžný v aplikacích bioinformatiky) je použití logaritmické stupnice pro osu x.

Reference

Další čtení

Pontius ml., Robert Gilmore; Si, Kangping (2014). „Celková provozní charakteristika pro měření diagnostické schopnosti pro více prahů“. International Journal of Geographic Information Science . 28 (3): 570–583. doi : 10,1080/13658816.2013.862623 .
Pontius ml., Robert Gilmore; Parmentier, Benoit (2014). „Doporučení pro používání relativní provozní charakteristiky (ROC)“. Krajinná ekologie . 29 (3): 367–382. doi : 10,1007/s10980-013-9984-8 .
Mas, Jean-François; Filho, Britaldo Soares; Pontius ml., Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). „Sada nástrojů pro ROC analýzu prostorových modelů“ . ISPRS International Journal of Geo-Information . 2 (3): 869–887. doi : 10,3390/ijgi2030869 .
Pontius ml., Robert Gilmore; Pacheco, Pablo (2004). „Kalibrace a validace modelu narušení lesa v západním Ghátu, Indie 1920–1990“. GeoJournal . 61 (4): 325–334. doi : 10,1007/s10708-004-5049-5 .
Pontius ml., Robert Gilmore; Batchu, Kiran (2003). „Použití relativní provozní charakteristiky ke kvantifikaci jistoty v predikci polohy změny krajinného pokryvu v Indii“. Transakce v GIS . 7 (4): 467–484. doi : 10,1111/1467-9671.00159 .
Pontius ml., Robert Gilmore; Schneider, Laura (2001). „Ověření modelu změny využití půdy metodou ROC pro rozvodí Ipswich, Massachusetts, USA“. Zemědělství, ekosystémy a životní prostředí . 85 (1–3): 239–248. doi : 10,1016/s0167-8809 (01) 00187-6 .

Languages

In other projects