F-skóre - F-score

Přesnost a odvolání

Ve statistické analýze binární klasifikace je F-skóre nebo F-míra měřítkem přesnosti testu . Vypočítává se z přesnosti a odvolání testu, kde přesnost je počet skutečně pozitivních výsledků děleno počtem všech pozitivních výsledků, včetně těch, které nebyly správně identifikovány, a vyvolání je počet skutečných pozitivních výsledků děleno počet všech vzorků, které měly být identifikovány jako pozitivní. Přesnost je také známá jako pozitivní prediktivní hodnota a odvolání je také známé jako citlivost v diagnostické binární klasifikaci.

F ₁ skóre je harmonický průměr o přesnost a úplnost. Obecnější skóre aplikuje další váhy, hodnotí jedno z přesnosti nebo si pamatují více než druhé. ${\ displaystyle F _ {\ beta}}$

Nejvyšší možná hodnota F-skóre je 1,0, což naznačuje dokonalou přesnost a vyvolání, a nejnižší možná hodnota je 0, pokud je přesnost nebo vyvolání nulové. Skóre F ₁ je také známé jako koeficient Sørensen – Dice nebo koeficient podobnosti kostek (DSC).

Etymologie

Předpokládá se, že název F-measure je pojmenován po jiné funkci F v knize Van Rijsbergena, když byl představen na konferenci o porozumění čtvrté zprávě (MUC-4, 1992).

Definice

Tradiční F-opatření nebo dáno F-skóre ( F ₁ skóre ) je harmonická střední přesnosti a stažení:

${\ displaystyle F_ {1} = {\ frac {2} {\ mathrm {připomenout ^ {- 1}} + \ mathrm {přesnost ^ {- 1}}}} = 2 \ cdot {\ frac {\ mathrm {přesnost } \ cdot \ mathrm {recall}} {\ mathrm {precision} + \ mathrm {recall}}} = {\ frac {\ mathrm {tp}} {\ mathrm {tp} + {\ frac {1} {2} } (\ mathrm {fp} + \ mathrm {fn})}}}$.

${\ displaystyle F _ {\ beta}}$

Obecnější skóre F , které používá pozitivní reálný faktor β, kde β je zvoleno tak, že vyvolání je považováno za β krát stejně důležité jako přesnost, je: ${\ displaystyle F _ {\ beta}}$

${\ displaystyle F _ {\ beta} = (1+ \ beta ^ {2}) \ cdot {\ frac {\ mathrm {přesnost} \ cdot \ mathrm {recall}} {(\ beta ^ {2} \ cdot \ mathrm {precision}) + \ mathrm {recall}}}}$.

Pokud jde o chyby typu I a typu II, stane se toto:

${\ displaystyle F _ {\ beta} = {\ frac {(1+ \ beta ^ {2}) \ cdot \ mathrm {true \ positive}} {(1+ \ beta ^ {2}) \ cdot \ mathrm {true \ positive} + \ beta ^ {2} \ cdot \ mathrm {false \ negative} + \ mathrm {false \ positive}}} \,}$.

Dvě běžně používané hodnoty pro β jsou 2, což váží vyvolání vyšší než přesnost, a 0,5, které váží vyvolání nižší než přesnost.

F-míra byla odvozena tak, že „měří efektivitu vyhledávání s ohledem na uživatele, který připisuje β krát větší důležitost k vyvolání jako přesnost“. Je založen na měřítku účinnosti Van Rijsbergena${\ displaystyle F _ {\ beta}}$

${\ displaystyle E = 1- \ left ({\ frac {\ alpha} {p}} + {\ frac {1- \ alpha} {r}} \ right) ^ {- 1}}$.

Jejich vztah je kde . ${\ displaystyle F _ {\ beta} = 1-E}$${\ displaystyle \ alpha = {\ frac {1} {1+ \ beta ^ {2}}}}$

Diagnostické testování

To souvisí s oblastí binární klasifikace, kde se odvolání často nazývá „citlivost“.

Normalizovaný střední harmonický graf, kde x je přesnost, y je vyvolána a svislá osa je skóre F ₁ , v procentních bodech

Závislost F-skóre na nevyváženosti třídy

Williams ukázal explicitní závislost křivky precizního vyvolání, a tedy skóre, na poměru pozitivních a negativních testovacích případů. To znamená, že srovnání F-skóre mezi různými problémy s různými poměry tříd je problematické. Jedním ze způsobů, jak tento problém vyřešit (viz např. Siblini et al, 2020), je při takovém srovnání použít standardní poměr tříd . ${\ displaystyle F _ {\ beta}}$${\ displaystyle r}$${\ displaystyle r_ {0}}$

Aplikace

F-skóre se často používá v oblasti vyhledávání informací pro měření výkonu vyhledávání , klasifikace dokumentů a klasifikace dotazů . Dřívější práce se zaměřovaly především na skóre F ₁ , ale s rozšířením rozsáhlých vyhledávačů se výkonnostní cíle změnily tak, aby kladly větší důraz buď na přesnost, nebo na odvolání, což je vidět v široké aplikaci. ${\ displaystyle F _ {\ beta}}$

F-skóre se také používá ve strojovém učení . F-opatření však nezohledňují skutečná negativa, proto mohou být pro hodnocení výkonu binárního klasifikátoru preferována opatření jako Matthewsův korelační koeficient , informovanost nebo Cohenova kappa .

F-skóre bylo široce používáno v literatuře pro zpracování přirozeného jazyka, například při hodnocení rozpoznávání pojmenovaných entit a segmentaci slov .

Kritika

David Hand a další kritizují rozšířené používání skóre F _1, protože dává stejnou důležitost přesnosti a odvolání. V praxi způsobují různé typy nesprávné klasifikace různé náklady. Jinými slovy, relativní důležitost přesnosti a odvolání je aspektem problému.

Podle Davide Chicca a Giuseppe Jurmana je skóre F ₁ méně pravdivé a informativní než Matthewsův korelační koeficient (MCC) v klasifikaci binárního hodnocení.

David Powers poukázal na to, že F ₁ ignoruje Pravé negativy, a je tedy zavádějící pro nevyvážené třídy, zatímco kappa a korelační míry jsou symetrické a hodnotí oba směry předvídatelnosti - klasifikátor předpovídající pravou třídu a skutečná třída předpovídající předpovědi klasifikátoru, navrhuje samostatná multiklasová opatření Informovanost a Značnost pro oba směry s tím, že jejich geometrický průměr je korelace.

Rozdíl od indexu Fowlkes – Mallows

Zatímco F-míra je harmonickým průměrem odvolání a přesnosti, Fowlkes-Mallowův index je jejich geometrickým průměrem .

Rozšíření klasifikace více tříd

F-skóre se také používá k hodnocení klasifikačních problémů s více než dvěma třídami ( klasifikace více tříd ). V tomto nastavení je konečné skóre získáno mikroprůměrováním (ovlivněno frekvencí třídy) nebo makroprůměrováním (přičemž všechny třídy jsou stejně důležité). Pro makroprůměrování uchazeči použili dva různé vzorce: F-skóre (aritmetické) třídní přesnosti a vyvolávacího prostředku nebo aritmetický průměr třídních F-skóre, kde druhý vykazuje žádoucí vlastnosti.

Viz také

• BLEU
• Matice zmatku
• Testy hypotéz na přesnost
• METEOR
• NIST (metrické)
• Provozní charakteristika přijímače
• ROUGE (metrický)
• Koeficient nejistoty , aka Znalost
• Míra chyb slov
• LEPOR

Reference