Logit - Logit

Graf logitu ( p ) v doméně 0 až 1, kde základ logaritmu je e .

V statistik je logit ( / l oʊ dʒ ɪ t / LOH -jit ) funkce je funkce kvantil spojené s standardní logistické distribuce . Má mnoho využití v analýze dat a strojovém učení, zejména v transformacích dat .

Matematicky je logit je inverzní k standardní logistická funkce , takže logit je definován jako ${\ Displaystyle \ sigma (x) = 1/(1+e^{-x})}$

${\ displaystyle \ operatorname {logit} (p) = \ sigma ^{-1} (p) = \ ln \ left ({\ frac {p} {1-p}} \ right) \ quad {\ text {for }} \ quad p \ v (0,1)}$.

Z tohoto důvodu je logit je také nazýván přihlašovacích šance , protože se rovná logaritmu o poměr šancí , kde p je pravděpodobnost. Logit je tedy typ funkce, která mapuje hodnoty pravděpodobnosti od do reálných čísel v , podobné funkci probit . ${\ displaystyle {\ frac {p} {1-p}}}$${\ Displaystyle (0,1)}$${\ Displaystyle (-\ infty,+\ infty)}$

Definice

Pokud p je pravděpodobnost , pak p /(1 - p ) je odpovídající pravděpodobnost ; logit pravděpodobnosti je logaritmus kurzy, tedy

${\ displaystyle \ operatorname {logit} (p) = \ ln \ left ({\ frac {p} {1-p}} \ right) = \ ln (p)-\ ln (1-p) =-\ ln \ left ({\ frac {1} {p}}-1 \ right) \ ,.}$

Základ použité logaritmické funkce má v tomto článku malý význam, pokud je větší než 1, ale nejčastěji se používá přirozený logaritmus se základnou e . Volba báze odpovídá volbě logaritmické jednotky pro hodnotu: báze 2 odpovídá shannonu , báze  e „ nat “ a základna 10 hartley ; tyto jednotky se používají zejména v informačně teoretických interpretacích. Pro každý výběr báze přebírá funkce logit hodnoty mezi záporným a kladným nekonečnem.

Funkce „logistiky“ jakéhokoli čísla je dána inverzním logem : ${\ Displaystyle \ alpha}$

${\ displaystyle \ operatorname {logit} ^{-1} (\ alpha) = \ operatorname {logistic} (\ alpha) = {\ frac {1} {1+ \ operatorname {exp} (-\ alpha)}} = {\ frac {\ operatorname {exp} (\ alpha)} {\ operatorname {exp} (\ alpha) +1}}}$

Rozdíl mezi logy dvou pravděpodobností je logaritmus poměru šancí ( R ), což poskytuje zkratku pro psaní správné kombinace poměrů šancí pouze sčítáním a odčítáním :

${\ displaystyle \ operatorname {ln} (R) = \ ln \ left ({\ frac {{p_ {1}}/(1-p_ {1})} {{p_ {2}}/(1-p_ { 2})}} \ right) = \ ln \ left ({\ frac {p_ {1}} {1-p_ {1}}} \ right)-\ ln \ left ({\ frac {p_ {2}} {1-p_ {2}}} \ right) = \ operatorname {logit} (p_ {1})-\ operatorname {logit} (p_ {2}) \ ,.}$

Dějiny

Bylo vyvinuto několik úsilí o přizpůsobení metod lineární regrese doméně, kde je výstupem hodnota pravděpodobnosti , místo jakéhokoli skutečného čísla . V mnoha případech, toto úsilí se zaměřila na modelování tento problém tím, že mapuje rozsah se a pak spuštěním lineární regrese na tyto transformované hodnoty. V roce 1934 Chester Ittner Bliss použil kumulativní normální distribuční funkci k provedení tohoto mapování a nazval svůj modelový probit zkratkou pro „ probability un it “;. To je však výpočetně dražší. V roce 1944 použil Joseph Berkson log pravděpodobností a nazval tuto funkci logit, zkratka pro „ log istic un it “ podle analogie pro probit. Logové kurzy hojně používal Charles Sanders Peirce (konec 19. století). GA Barnard v roce 1949 razil běžně používaný termín log-odds ; log-šance na událost je logit pravděpodobnosti události. ${\ Displaystyle (0,1)}$${\ Displaystyle (-\ infty,+\ infty)}$${\ Displaystyle (0,1)}$${\ Displaystyle (-\ infty,+\ infty)}$

Použití a vlastnosti

• Logit v logistické regrese je zvláštní případ spoje funkce v zobecněné lineární model : je to kanonický odkaz funkce pro distribuci Bernoulliho .
• Funkce logit je záporem derivace funkce binární entropie .
• Logit je také ústředním bodem pravděpodobnostní Rasch modelu pro měření , který má uplatnění v psychologické a pedagogické hodnocení, mimo jiných oblastech.
• Funkce inverzní logit (tj. Logistická funkce ) je také někdy označována jako expit funkce.
• V epidemiologii chorob rostlin se logit používá k přizpůsobení dat logistickému modelu. U modelů Gompertz a Monomolecular jsou všechny tři známé jako rodinné modely Richards.
• Log-odds funkce pravděpodobností se často používá v algoritmech odhadu stavu , protože má numerické výhody v případě malých pravděpodobností. Namísto vynásobení velmi malých čísel s pohyblivou řádovou čárkou lze pravděpodobnosti logových šancí sečíst a vypočítat společnou pravděpodobnost (log-odds).

Srovnání s probitem

Srovnání funkce logit s zmenšen probit (tj inverzní CDF z normálního rozdělení ), porovnávající vs. , což svahy stejnou v y -origin.${\ displaystyle \ operatorname {logit} (x)}$${\ displaystyle {\ tfrac {\ Phi ^{-1} (x)} {\, {\ sqrt {\ pi /8 \,}} \,}}}$

S funkcí logit (a modelem logit ) úzce souvisí funkce probit a model probit . Logit a probit jsou oba sigmoidní funkce s doménou mezi 0 a 1, což jim umožňuje obě kvantil funkce - tj inverze na kumulativní distribuční funkce (CDF), o rozdělení pravděpodobnosti . Ve skutečnosti, logit je funkce kvantil z logistického rozdělení , zatímco probit je funkce kvantil normálního rozdělení . Probit funkce se označuje , kde je CDF normálního rozdělení, jak bylo právě uvedeno: ${\ displaystyle \ Phi ^{-1} (x)}$${\ displaystyle \ Phi (x)}$

${\ Displaystyle \ Phi (x) = {\ frac {1} {\ sqrt {2 \ pi}}} \ int _ {-\ infty}^{x} e^{-{\ frac {y^{2} } {2}}} dy.}$

Jak ukazuje graf vpravo, funkce logit a probit jsou extrémně podobné, když je funkce probit škálována, takže její sklon v y = 0 odpovídá sklonu logitu . V důsledku toho se někdy místo logitových modelů používají probitové modely, protože pro určité aplikace (např. V Bayesovské statistice ) je implementace jednodušší.

Viz také

• Sigmoidní funkce , inverzní funkce logit
• Diskrétní volba pro binární logit, multinomiální logit, podmíněný logit, vnořený logit, smíšený logit, rozložený logit a uspořádaný logit
• Omezená závislá proměnná
• Daniel McFadden , nositel Nobelovy ceny za ekonomii za vývoj konkrétního logitového modelu používaného v ekonomii
• Logitová analýza v marketingu
• Multinomiální logit
• Ogee , křivka podobného tvaru
• Perceptron
• Probit , další funkce se stejnou doménou a rozsahem jako logit
• Ridit skóruje
• Transformace dat (statistika)
• Arcsin (transformace)
• Rasch Model

Reference

Další čtení

• Ashton, Winifred D. (1972). Logit Transformation: se zvláštním zřetelem na jeho použití v Bioassay . Griffinovy ​​statistické monografie a kurzy. 32 . Charles Griffin. ISBN 978-0-85264-212-2.