Regresie logistică - Logistic regression

În statistici , modelul logistic (sau modelul logit ) este utilizat pentru a modela probabilitatea ca o anumită clasă sau eveniment să existe, cum ar fi trece / eșuează, câștigă / pierde, viu / mort sau sănătos / bolnav. Acest lucru poate fi extins pentru a modela mai multe clase de evenimente, cum ar fi determinarea dacă o imagine conține o pisică, un câine, un leu etc. Fiecărui obiect detectat în imagine i se va atribui o probabilitate între 0 și 1, cu o sumă de unul.

Regresia logistică este un model statistic care, în forma sa de bază, folosește o funcție logistică pentru a modela o variabilă dependentă de binar , deși există multe extensii mai complexe . În analiza regresiei , regresia logistică (sau regresia logit ) estimează parametrii unui model logistic (o formă de regresie binară ). Matematic, un model logistic binar are o variabilă dependentă cu două valori posibile, cum ar fi trecere / eșuare care este reprezentată de o variabilă indicator , unde cele două valori sunt etichetate „0” și „1”. În modelul logistic, a log-cote (The logaritm din cote ) pentru valoarea etichetată „1“ este o combinație liniară a uneia sau mai multor variabile independente ( „predictori“); variabilele independente pot fi fiecare o variabilă binară (două clase, codificate de o variabilă indicator) sau o variabilă continuă (orice valoare reală). Probabilitatea corespunzătoare a valorii etichetate „1” poate varia între 0 (cu siguranță valoarea „0”) și 1 (cu siguranță valoarea „1”), de unde și etichetarea; funcția care convertește probabilitatea jurnalului în probabilitate este funcția logistică, de unde și numele. Unitatea de măsură pentru scara logaritmică-cote este numit un logit , din jurnalul ONU istic că , prin urmare , numele alternative. Pot fi utilizate și modele analoge cu o funcție sigmoidă diferită în locul funcției logistice, cum ar fi modelul probit ; caracteristica definitorie a modelului logistic este aceea că creșterea uneia dintre variabilele independente scalează în mod multiplicativ șansele rezultatului dat la o rată constantă , fiecare variabilă independentă având propriul parametru; pentru o variabilă dependentă de binar, aceasta generalizează raportul de șanse .

Într-un model de regresie logistică binară, variabila dependentă are două niveluri ( categorice ). Rezultatele cu mai mult de două valori sunt modelate prin regresie logistică multinomială și, dacă sunt ordonate categoriile multiple , prin regresie logistică ordinală (de exemplu modelul logistic ordinal cu cote proporționale). Modelul de regresie logistică în sine modelează pur și simplu probabilitatea de ieșire în termeni de intrare și nu efectuează o clasificare statistică (nu este un clasificator), deși poate fi folosit pentru a face un clasificator, de exemplu, alegând o valoare limită și clasificând intrările cu probabilitate. mai mare decât limita ca o clasă, sub limită ca cealaltă; acesta este un mod obișnuit de a face un clasificator binar . Coeficienții nu sunt în general calculați printr-o expresie de formă închisă, spre deosebire de cele mai mici pătrate liniare ; vezi § Fitingul modelului . Regresia logistică ca model statistic general a fost inițial dezvoltată și popularizată în primul rând de Joseph Berkson , începând cu Berkson (1944) , unde a inventat „logit”; vezi § Istorie . eroare harvtxt: fără țintă: CITEREFBerkson1944 ( ajutor )

Parte dintr-o serie pe
Analiza regresiei
Modele
Regresie liniara Regresie simplă Regresia polinomială Model liniar general
Model liniar generalizat Alegere discretă Regresia binomială Regresie binară Regresie logistică Regresie logistică multinomială Logit mixt Probit Probit multinomial Logit comandat Probit comandat Poisson
Model pe mai multe niveluri Efecte fixe Efecte aleatorii Model liniar cu efecte mixte Model neliniar cu efecte mixte
Regresie neliniară Nonparametric Semiparametric Robust Quantile Izotonică Componentele principale Cel mai mic unghi Local Segmentat
Erori în variabile
Estimare
Cele mai mici pătrate Liniar Neliniar
Comun Ponderat Generalizat
Parțial Total Non-negativ Regresia crestei Regularizat
Cel mai mic abateri absolute Iterativ reponderalizat Bayesian Multivariat Bayesian
fundal
Validarea regresiei Răspunsul mediu și estimat Erori și reziduuri Bunătatea potrivirii Rezidual studentizat Teorema lui Gauss – Markov
Portalul de matematică
v t e

Aplicații

Regresia logistică este utilizată în diverse domenii, inclusiv învățarea automată, majoritatea domeniilor medicale și științele sociale. De exemplu, Scorul de traumă și gravitate a leziunilor ( TRISS ), care este utilizat pe scară largă pentru a prezice mortalitatea la pacienții răniți, a fost inițial dezvoltat de Boyd și colab. folosind regresia logistică. Multe alte scale medicale utilizate pentru a evalua severitatea unui pacient au fost dezvoltate folosind regresia logistică. Regresia logistică poate fi utilizată pentru a prezice riscul de a dezvolta o anumită boală (de exemplu, diabet ; boală coronariană ), pe baza caracteristicilor observate ale pacientului (vârstă, sex, indicele de masă corporală , rezultatele diferitelor analize de sânge etc.). Un alt exemplu ar putea fi acela de a prezice dacă un alegător nepalez va vota Congresul nepalez sau Partidul Comunist din Nepal sau orice alt partid, în funcție de vârstă, venit, sex, rasă, stat de reședință, voturi la alegerile anterioare etc. utilizat în inginerie , în special pentru prezicerea probabilității de eșec al unui proces, sistem sau produs dat. De asemenea , este utilizat în introducere pe piață aplicații , cum ar fi de predicție a înclinației unui client de a cumpăra un produs sau a opri un abonament, etc. În economie poate fi folosit pentru a prezice probabilitatea unei persoane care se încheie în forța de muncă, precum și o aplicație de afaceri ar fie pentru a prezice probabilitatea ca un proprietar să își retragă ipoteca . Câmpurile aleatorii condiționate , o extensie a regresiei logistice la date secvențiale, sunt utilizate în procesarea limbajului natural .

Exemple

Model logistic

Să încercăm să înțelegem regresia logistică luând în considerare un model logistic cu parametri dați, apoi vedem cum pot fi estimate coeficienții din date. Luați în considerare un model cu doi predictori și , și o variabilă de răspuns binară (Bernoulli) , pe care o denotăm . Presupunem o relație liniară între variabilele predictive și cotele log (numite și logit) ale evenimentului care . Această relație liniară poate fi scrisă în următoarea formă matematică (unde ℓ este log-odds, este baza logaritmului și sunt parametrii modelului): ${\ displaystyle x_ {1}}$${\ displaystyle x_ {2}}$${\ displaystyle Y}$${\ displaystyle p = P (Y = 1)}$${\ displaystyle Y = 1}$${\ displaystyle b}$${\ displaystyle \ beta _ {i}}$

${\ displaystyle \ ell = \ log _ {b} {\ frac {p} {1-p}} = \ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2}}$

Putem recupera cotele prin exponențierea cotelor jurnal:

${\ displaystyle {\ frac {p} {1-p}} = b ^ {\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2}}}$.

Prin simpla manipulare algebrică (și împărțirea numărătorului și numitorului la ), probabilitatea este ${\ displaystyle b ^ {\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2}}}$${\ displaystyle Y = 1}$

${\ displaystyle p = {\ frac {b ^ {\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2}}} {b ^ {\ beta _ { 0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2}} + 1}} = {\ frac {1} {1 + b ^ {- (\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2})}}} = S_ {b} (\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2})}$.

Unde este funcția sigmoidă cu bază . Formula de mai sus arată că, odată ce sunt fixate, putem calcula cu ușurință fie cotele log care pentru o observație dată, fie probabilitatea ca pentru o observație dată. Principalul exemplu de utilizare a unui model logistic este să se acorde o observație , și estimează probabilitatea ca . În majoritatea aplicațiilor, baza logaritmului este de obicei considerată a fi e . Cu toate acestea, în unele cazuri poate fi mai ușor să comunicați rezultatele lucrând în baza 2 sau baza 10. ${\ displaystyle S_ {b}}$${\ displaystyle b}$${\ displaystyle \ beta _ {i}}$${\ displaystyle Y = 1}$${\ displaystyle Y = 1}$${\ displaystyle (x_ {1}, x_ {2})}$${\ displaystyle p}$${\ displaystyle Y = 1}$${\ displaystyle b}$

Noi considerăm un exemplu cu , și coeficienții , și . Pentru a fi concret, modelul este ${\ displaystyle b = 10}$${\ displaystyle \ beta _ {0} = - 3}$${\ displaystyle \ beta _ {1} = 1}$${\ displaystyle \ beta _ {2} = 2}$

${\ displaystyle \ log _ {10} {\ frac {p} {1-p}} = \ ell = -3 + x_ {1} + 2x_ {2}}$

unde este probabilitatea evenimentului care . ${\ displaystyle p}$${\ displaystyle Y = 1}$

Acest lucru poate fi interpretat după cum urmează:

• ${\ displaystyle \ beta _ {0} = - 3}$este interceptul y . Cotele jurnalului evenimentului sunt atunci când predictorii . Prin exponențierea, putem vedea că atunci când șansele evenimentului sunt de la 1 la 1000 sau . În mod similar, probabilitatea evenimentului , care , atunci când poate fi calculat ca .${\ displaystyle Y = 1}$${\ displaystyle x_ {1} = x_ {2} = 0}$${\ displaystyle x_ {1} = x_ {2} = 0}$${\ displaystyle Y = 1}$${\ displaystyle 10 ^ {- 3}}$${\ displaystyle Y = 1}$${\ displaystyle x_ {1} = x_ {2} = 0}$${\ displaystyle 1 / (1000 + 1) = 1/1001}$
• ${\ displaystyle \ beta _ {1} = 1}$înseamnă că creșterea cu 1 crește cotele jurnalului cu . Deci, dacă crește cu 1, șansele care cresc cu un factor de . Rețineți că a crescut și probabilitatea de a crește, dar nu a crescut cu atât cât au crescut șansele.${\ displaystyle x_ {1}}$${\ displaystyle 1}$${\ displaystyle x_ {1}}$${\ displaystyle Y = 1}$${\ displaystyle 10 ^ {1}}$${\ displaystyle Y = 1}$
• ${\ displaystyle \ beta _ {2} = 2}$înseamnă că creșterea cu 1 crește cotele jurnalului cu . Deci, dacă crește cu 1, șansele care cresc cu un factor de Notă cum efectul asupra cotelor jurnal este de două ori mai mare decât efectul , dar efectul asupra cotelor este de 10 ori mai mare. Dar efectul asupra probabilității de nu este la fel de mult ca de 10 ori mai mare, este doar efectul asupra șansele ca este de 10 ori mai mare.${\ displaystyle x_ {2}}$${\ displaystyle 2}$${\ displaystyle x_ {2}}$${\ displaystyle Y = 1}$${\ displaystyle 10 ^ {2}.}$${\ displaystyle x_ {2}}$${\ displaystyle x_ {1}}$${\ displaystyle Y = 1}$

Pentru a estima parametrii din date, trebuie să se facă regresia logistică. ${\ displaystyle \ beta _ {i}}$

Probabilitatea de a trece un examen față de orele de studiu

Pentru a răspunde la următoarea întrebare:

Un grup de 20 de studenți petrece între 0 și 6 ore studiind pentru un examen. Cum afectează numărul de ore petrecute studiind probabilitatea ca elevul să treacă examenul?

Motivul utilizării regresiei logistice pentru această problemă este că valorile variabilei dependente, trec și nu, în timp ce sunt reprezentate prin „1” și „0”, nu sunt numere cardinale . Dacă problema a fost modificată astfel încât trecerea / eșuarea să fie înlocuită cu nota 0-100 (numere cardinale), atunci ar putea fi utilizată analiza simplă de regresie .

Tabelul arată numărul de ore pe care fiecare student le-a petrecut studiind și dacă au trecut (1) sau nu (0).

Ore	0,50	0,75	1,00	1,25	1,50	1,75	1,75	2.00	2.25	2,50	2,75	3.00	3.25	3,50	4.00	4.25	4,50	4,75	5.00	5,50
Trece	0	0	0	0	0	0	1	0	1	0	1	0	1	0	1	1	1	1	1	1

Graficul arată probabilitatea de a trece examenul în funcție de numărul de ore de studiu, cu curba de regresie logistică adaptată datelor.

Analiza de regresie logistică dă următorul rezultat.

	Coeficient	Eroare standard	valoare z	Valoarea P (Wald)
Intercepta	−4,0777	1,7610	−2,316	0,0206
Ore	1,5046	0,6287	2.393	0,0167

Rezultatul indică faptul că orele de studiu sunt semnificativ asociate cu probabilitatea de a trece examenul ( , testul Wald ). Ieșirea furnizează, de asemenea, coeficienții pentru și . Acești coeficienți sunt introduși în ecuația de regresie logistică pentru a estima șansele (probabilitatea) de a trece examenul: ${\ displaystyle p = 0,0167}$${\ displaystyle {\ text {Intercept}} = - 4.0777}$${\ displaystyle {\ text {Hours}} = 1,5046}$

${\ displaystyle {\ begin {align} {\ text {Jurnal-șanse de promovare a examenului}} & = 1.5046 \ cdot {\ text {Hours}} - 4.0777 = 1.5046 \ cdot ({\ text {Hours}} - 2.71) \\ {\ text {Cote de promovare a examenului}} & = \ exp \ left (1.5046 \ cdot {\ text {Hours}} - 4.0777 \ right) = \ exp \ left (1.5046 \ cdot ({\ text {Hours} } -2.71) \ right) \\ {\ text {Probabilitatea de a trece examen}} & = {\ frac {1} {1+ \ exp \ left (- \ left (1.5046 \ cdot {\ text {Hours}} - 4.0777 \ right) \ right)}} \ end {align}}}$

Se estimează că o oră suplimentară de studiu crește log-probabilitatea de trecere cu 1,5046, deci înmulțirea șanselor de trecere cu Formularul cu interceptarea x (2,71) arată că aceasta estimează cotele pare (log-cote 0, cote 1, probabilitate 1 / 2) pentru un student care studiază 2,71 ore. ${\ displaystyle \ exp (1.5046) \ aproximativ 4.5.}$

De exemplu, pentru un student care studiază 2 ore, introducerea valorii în ecuație oferă probabilitatea estimată de promovare a examenului de 0,26: ${\ displaystyle {\ text {Hours}} = 2}$

${\ displaystyle {\ text {Probabilitatea promovării examenului}} = {\ frac {1} {1+ \ exp \ left (- \ left (1.5046 \ cdot 2-4.0777 \ right) \ right)}} = 0.26}$

În mod similar, pentru un student care studiază 4 ore, probabilitatea estimată de promovare a examenului este de 0,87:

${\ displaystyle {\ text {Probabilitatea de a trece examenul}} = {\ frac {1} {1+ \ exp \ left (- \ left (1.5046 \ cdot 4-4.0777 \ right) \ right)}} = 0,87}$

Acest tabel arată probabilitatea promovării examenului pentru mai multe valori de ore de studiu.

Ore de studiu	Promovarea examenului
	Cote de jurnal	Cote	Probabilitate
1	−2,57	0,076 ≈ 1: 13,1	0,07
2	−1.07	0,34 ≈ 1: 2,91	0,26
3	0,44	1,55	0,61
4	1,94	6,96	0,87
5	3.45	31.4	0,97

Rezultatul din analiza de regresie logistică dă o valoare p de , care se bazează pe scorul z Wald. Mai degrabă decât metoda Wald, metoda recomandată pentru a calcula valoarea p pentru regresia logistică este testul raportului de probabilitate (LRT), care oferă aceste date . ${\ displaystyle p = 0,0167}$${\ displaystyle p = 0.0006}$

Discuţie

Regresia logistică poate fi binomială, ordinală sau multinomială. Regresia logistică binomială sau binară se ocupă de situații în care rezultatul observat pentru o variabilă dependentă poate avea doar două tipuri posibile, „0” și „1” (care pot reprezenta, de exemplu, „trece” vs. „eșuează” sau „câștigă” „vs.„ pierdere ”). Regresia logistică multinomială tratează situațiile în care rezultatul poate avea trei sau mai multe tipuri posibile (de exemplu, „boala A” vs. „boala B” vs. „boala C”) care nu sunt ordonate. Regresia logistică ordinală se ocupă de variabile dependente care sunt ordonate.

În regresia logistică binară, rezultatul este de obicei codificat ca „0” sau „1”, deoarece acest lucru duce la cea mai simplă interpretare. Dacă un rezultat particular observat pentru variabila dependentă este rezultatul remarcabil posibil (denumit „succes” sau „instanță” sau „caz”), acesta este de obicei codificat ca „1” și rezultatul contrar (denumit un „eșec” sau „noninstanță” sau „noncase”) ca „0”. Regresia logistică binară este utilizată pentru a prezice șansele de a fi un caz pe baza valorilor variabilelor independente (predictori). Cotele sunt definite ca probabilitatea ca un anumit rezultat să fie un caz împărțit la probabilitatea ca acesta să fie o instanță.

La fel ca alte forme de analiză de regresie , regresia logistică folosește una sau mai multe variabile predictive care pot fi fie continue, fie categorice. Spre deosebire de regresia liniară obișnuită, cu toate acestea, regresia logistică este utilizată pentru prezicerea variabilelor dependente care iau parte dintr-un număr limitat de categorii (tratând variabila dependentă în cazul binomului ca rezultatul unui proces Bernoulli ), mai degrabă decât un rezultat continuu. Având în vedere această diferență, ipotezele de regresie liniară sunt încălcate. În special, reziduurile nu pot fi distribuite în mod normal. În plus, regresia liniară poate face predicții fără sens pentru o variabilă binară dependentă. Este necesar un mod de a converti o variabilă binară într-una continuă care poate lua orice valoare reală (negativă sau pozitivă). Pentru a face acest lucru, regresia logistică binomială calculează mai întâi șansele ca evenimentul să se întâmple pentru diferite niveluri ale fiecărei variabile independente și apoi își ia logaritmul pentru a crea un criteriu continuu ca o versiune transformată a variabilei dependente. Logaritmul cotelor este logitul probabilității, logitul este definit după cum urmează:

${\ displaystyle \ operatorname {logit} p = \ ln {\ frac {p} {1-p}} \ quad {\ text {for}} 0 <p <1 \ ,.}$

Deși variabila dependentă în regresia logistică este Bernoulli, logitul este pe o scară nerestricționată. Funcția logit este funcția de legătură în acest tip de model liniar generalizat, adică

${\ displaystyle \ operatorname {logit} \ operatorname {\ mathcal {E}} (Y) = \ beta _ {0} + \ beta _ {1} x}$

Y este variabila de răspuns distribuită de Bernoulli și x este variabila predictor; a p valorile sunt parametrii liniari.

Logit de probabilitatea de succes este apoi montat predictori. Valoarea prezisă a logitului este convertită înapoi în cote prezise, ​​prin inversul logaritmului natural - funcția exponențială . Astfel, deși variabila dependentă observată în regresia logistică binară este o variabilă 0-sau-1, regresia logistică estimează șansele, ca variabilă continuă, că variabila dependentă este un „succes”. În unele aplicații, șansele sunt tot ceea ce este necesar. În altele, este necesară o predicție specifică da-sau-nu pentru dacă variabila dependentă este sau nu un „succes”; această predicție categorică se poate baza pe șansele calculate de succes, cotele prezise peste o anumită valoare limită aleasă fiind traduse într-o predicție de succes.

Presupunerea efectelor predictive liniare poate fi ușor relaxată folosind tehnici precum funcțiile spline .

Regresia logistică vs. alte abordări

Regresia logistică măsoară relația dintre variabila dependentă categorică și una sau mai multe variabile independente prin estimarea probabilităților folosind o funcție logistică , care este funcția de distribuție cumulativă a distribuției logistice . Astfel, tratează același set de probleme ca regresia probitului folosind tehnici similare, acesta din urmă utilizând în schimb o curbă de distribuție normală cumulativă. În mod echivalent, în interpretările latente ale variabilelor acestor două metode, prima presupune o distribuție logistică standard a erorilor și a doua o distribuție normală standard a erorilor.

Regresia logistică poate fi văzută ca un caz special al modelului liniar generalizat și astfel analog regresiei liniare . Modelul de regresie logistică, totuși, se bazează pe ipoteze destul de diferite (despre relația dintre variabilele dependente și independente) de cele ale regresiei liniare. În special, diferențele cheie dintre aceste două modele pot fi văzute în următoarele două caracteristici ale regresiei logistice. În primul rând, distribuția condițională este mai degrabă o distribuție Bernoulli decât o distribuție gaussiană , deoarece variabila dependentă este binară. În al doilea rând, valorile prezise sunt probabilități și, prin urmare, sunt limitate la (0,1) prin funcția de distribuție logistică, deoarece regresia logistică prezice probabilitatea unor rezultate particulare, mai degrabă decât rezultatele în sine. ${\ displaystyle y \ mid x}$

Regresia logistică este o alternativă la metoda lui Fisher, analiza discriminantă liniară din 1936 . Dacă presupunerile analizei discriminante liniare se mențin, condiționarea poate fi inversată pentru a produce o regresie logistică. Cu toate acestea, inversul nu este adevărat, deoarece regresia logistică nu necesită presupunerea normală multivariată a analizei discriminante.

Interpretare variabilă latentă

Regresia logistică poate fi înțeleasă pur și simplu ca găsirea parametrilor care se potrivesc cel mai bine: ${\ displaystyle \ beta}$

${\ displaystyle y = {\ begin {cases} 1 & \ beta _ {0} + \ beta _ {1} x + \ varepsilon> 0 \\ 0 & {\ text {else}} \ end {cases}}}$

unde este o eroare distribuită de distribuția logistică standard . (Dacă se folosește în schimb distribuția normală standard, este un model probit .) ${\ displaystyle \ varepsilon}$

Variabila latentă asociată este . Termenul de eroare nu este respectat și , prin urmare, este, de asemenea, un element neobservabil, denumit astfel „latent” (datele observate sunt valori ale și ). Spre deosebire de regresia obișnuită, totuși, parametrii nu pot fi exprimați prin nicio formulă directă a valorilor și valorilor din datele observate. În schimb , acestea pot fi găsite printr - un proces de căutare iterativ, de obicei , implementat de un program software, care găsește maximul unui complicat „expresie probabilitate“ , care este o funcție a tuturor observate , și valorile. Abordarea estimativă este explicată mai jos. ${\ displaystyle y '= \ beta _ {0} + \ beta _ {1} x + \ varepsilon}$${\ displaystyle \ varepsilon}$${\ displaystyle y '}$${\ displaystyle y}$${\ displaystyle x}$${\ displaystyle \ beta}$${\ displaystyle y}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle x}$

Funcția logistică, cota, raportul de cote și logit

Definiția funcției logistice

O explicație a regresiei logistice poate începe cu o explicație a funcției logistice standard . Funcția logistică este o funcție sigmoidă , care ia orice intrare reală și emite o valoare între zero și una. Pentru logit, aceasta este interpretată ca luând cote de log de intrare și având probabilitate de ieșire . Funcția logistică standard este definită după cum urmează: ${\ displaystyle t}$${\ displaystyle \ sigma: \ mathbb {R} \ rightarrow (0,1)}$

${\ displaystyle \ sigma (t) = {\ frac {e ^ {t}} {e ^ {t} +1}} = {\ frac {1} {1 + e ^ {- t}}}}$

Un grafic al funcției logistice pe intervalul t (-6,6) este prezentat în Figura 1.

Să presupunem că este o funcție liniară a unei singure variabile explicative (cazul în care este o combinație liniară de variabile explicative multiple este tratat în mod similar). Apoi putem exprima astfel: ${\ displaystyle t}$ ${\ displaystyle x}$${\ displaystyle t}$${\ displaystyle t}$

${\ displaystyle t = \ beta _ {0} + \ beta _ {1} x}$

Iar funcția logistică generală poate fi acum scrisă ca: ${\ displaystyle p: \ mathbb {R} \ rightarrow (0,1)}$

${\ displaystyle p (x) = \ sigma (t) = {\ frac {1} {1 + e ^ {- (\ beta _ {0} + \ beta _ {1} x)}}}}$

În modelul logistic, este interpretat ca probabilitatea ca variabila dependentă să fie egală cu un succes / caz, mai degrabă decât cu un eșec / non-caz. Este clar că variabilele de răspuns nu sunt distribuite identic: diferă de la un punct de date la altul, deși sunt independente având în vedere matricea de proiectare și parametrii partajați . ${\ displaystyle p (x)}$${\ displaystyle Y}$ ${\ displaystyle Y_ {i}}$${\ displaystyle P (Y_ {i} = 1 \ mid X)}$${\ displaystyle X_ {i}}$ ${\ displaystyle X}$${\ displaystyle \ beta}$

Definiția inversului funcției logistice

Acum putem defini funcția logit (log odds) ca inversul funcției logistice standard. Este ușor de văzut că satisface: ${\ displaystyle g = \ sigma ^ {- 1}}$

${\ displaystyle g (p (x)) = \ sigma ^ {- 1} (p (x)) = \ operatorname {logit} p (x) = \ ln \ left ({\ frac {p (x)} { 1-p (x)}} \ right) = \ beta _ {0} + \ beta _ {1} x,}$

și echivalent, după exponențierea ambelor părți avem șansele:

${\ displaystyle {\ frac {p (x)} {1-p (x)}} = e ^ {\ beta _ {0} + \ beta _ {1} x}.}$

Interpretarea acestor termeni

În ecuațiile de mai sus, termenii sunt după cum urmează:

• ${\ displaystyle g}$este funcția logit. Ecuația pentru ilustrează că logit (adică log-cote sau logaritm natural al cotelor) este echivalent cu expresia de regresie liniară.${\ displaystyle g (p (x))}$
• ${\ displaystyle \ ln}$denotă logaritmul natural .
• ${\ displaystyle p (x)}$este probabilitatea ca variabila dependentă să fie egală cu un caz, dată fiind o combinație liniară a predictorilor. Formula pentru ilustrează că probabilitatea ca variabila dependentă să fie egală cu un caz este egală cu valoarea funcției logistice a expresiei de regresie liniară. Acest lucru este important prin faptul că arată că valoarea expresiei de regresie liniară poate varia de la infinit negativ la pozitiv și totuși, după transformare, expresia rezultată pentru probabilitatea variază între 0 și 1.${\ displaystyle p (x)}$${\ displaystyle p (x)}$
• ${\ displaystyle \ beta _ {0}}$este interceptarea din ecuația de regresie liniară (valoarea criteriului atunci când predictorul este egal cu zero).
• ${\ displaystyle \ beta _ {1} x}$ este coeficientul de regresie înmulțit cu o anumită valoare a predictorului.
• baza denotă funcția exponențială.${\ displaystyle e}$

Definiția odds

Cota variabilei dependente care este egală cu un caz (dată fiind o combinație liniară a predictorilor) este echivalentă cu funcția exponențială a expresiei de regresie liniară. Aceasta ilustrează modul în care logitul servește ca o funcție de legătură între probabilitate și expresia de regresie liniară. Având în vedere că logitul variază între infinitul negativ și pozitiv, acesta oferă un criteriu adecvat pentru a efectua regresia liniară, iar logitul este ușor convertit înapoi în cote. ${\ displaystyle x}$

Deci, definim șansele variabilei dependente egale unui caz (dată fiind o combinație liniară a predictorilor) după cum urmează: ${\ displaystyle x}$

${\ displaystyle {\ text {odds}} = e ^ {\ beta _ {0} + \ beta _ {1} x}.}$

Raportul de cote

Pentru o variabilă independentă continuă, raportul de șanse poate fi definit ca:

${\ displaystyle \ mathrm {OR} = {\ frac {\ operatorname {odds} (x + 1)} {\ operatorname {odds} (x)}} = {\ frac {\ left ({\ frac {p (x +1)} {1-p (x + 1)}} \ right)} {\ left ({\ frac {p (x)} {1-p (x)}} \ right)}} = {\ frac {e ^ {\ beta _ {0} + \ beta _ {1} (x + 1)}} {e ^ {\ beta _ {0} + \ beta _ {1} x}}} = e ^ {\ beta _ {1}}}$

Această relație exponențială oferă o interpretare pentru : Cotele se înmulțesc cu fiecare creștere de 1 unitate în x. ${\ displaystyle \ beta _ {1}}$${\ displaystyle e ^ {\ beta _ {1}}}$

Pentru o variabilă independentă binară, raportul de probabilitate este definit ca unde a , b , c și d sunt celule într-un tabel de contingență 2 × 2 . ${\ displaystyle {\ frac {ad} {bc}}}$

Variabile explicative multiple

Dacă există mai multe variabile explicative, expresia de mai sus poate fi revizuită la . Atunci când acest lucru este utilizat în ecuația care leagă șansele logice ale unui succes de valorile predictorilor, regresia liniară va fi o regresie multiplă cu m explicatori; parametrii pentru toate j = 0, 1, 2, ..., m sunt toți estimate. ${\ displaystyle \ beta _ {0} + \ beta _ {1} x}$${\ displaystyle \ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2} + \ cdots + \ beta _ {m} x_ {m} = \ beta _ { 0} + \ sum _ {i = 1} ^ {m} \ beta _ {i} x_ {i}}$${\ displaystyle \ beta _ {j}}$

Din nou, ecuațiile mai tradiționale sunt:

${\ displaystyle \ log {\ frac {p} {1-p}} = \ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2} + \ cdots + \ beta _ {m} x_ {m}}$

și

${\ displaystyle p = {\ frac {1} {1 + b ^ {- (\ beta _ {0} + \ beta _ {1} x_ {1} + \ beta _ {2} x_ {2} + \ cdots + \ beta _ {m} x_ {m})}}}}$

unde de obicei . ${\ displaystyle b = e}$

Montarea modelului

Regresia logistică este un algoritm important de învățare automată. Scopul este de a modela probabilitatea ca o variabilă aleatorie să fie 0 sau 1 date experimentale date. ${\ displaystyle Y}$

Luați în considerare o funcție de model liniar generalizată parametrizată prin , ${\ displaystyle \ theta}$

${\ displaystyle h _ {\ theta} (X) = {\ frac {1} {1 + e ^ {- \ theta ^ {T} X}}} = \ Pr (Y = 1 \ mid X; \ theta)}$

Prin urmare,

${\ displaystyle \ Pr (Y = 0 \ mid X; \ theta) = 1-h _ {\ theta} (X)}$

și din moment ce , vedem că este dat de Calculăm acum funcția de probabilitate presupunând că toate observațiile din eșantion sunt distribuite independent de Bernoulli, ${\ displaystyle Y \ in \ {0,1 \}}$${\ displaystyle \ Pr (y \ mid X; \ theta)}$${\ displaystyle \ Pr (y \ mid X; \ theta) = h _ {\ theta} (X) ^ {y} (1-h _ {\ theta} (X)) ^ {(1-y)}.}$

${\ displaystyle {\ begin {align} L (\ theta \ mid y; x) & = \ Pr (Y \ mid X; \ theta) \\ & = \ prod _ {i} \ Pr (y_ {i} \ mid x_ {i}; \ theta) \\ & = \ prod _ {i} h _ {\ theta} (x_ {i}) ^ {y_ {i}} (1-h _ {\ theta} (x_ {i} )) ^ {(1-y_ {i})} \ end {align}}}$

De obicei, probabilitatea jurnalului este maximizată,

${\ displaystyle N ^ {- 1} \ log L (\ theta \ mid y; x) = N ^ {- 1} \ sum _ {i = 1} ^ {N} \ log \ Pr (y_ {i} \ mijlocul x_ {i}; \ theta)}$

care este maximizat folosind tehnici de optimizare precum coborârea în gradient .

Presupunând că perechile sunt extrase uniform din distribuția subiacentă, apoi în limita N mare  , ${\ displaystyle (x, y)}$

${\ displaystyle {\ begin {align} & \ lim \ limits _ {N \ rightarrow + \ infty} N ^ {- 1} \ sum _ {i = 1} ^ {N} \ log \ Pr (y_ {i} \ mid x_ {i}; \ theta) = \ sum _ {x \ in {\ mathcal {X}}} \ sum _ {y \ in {\ mathcal {Y}}} \ Pr (X = x, Y = y) \ log \ Pr (Y = y \ mid X = x; \ theta) \\ [6pt] = {} & \ sum _ {x \ in {\ mathcal {X}}} \ sum _ {y \ in {\ mathcal {Y}}} \ Pr (X = x, Y = y) \ left (- \ log {\ frac {\ Pr (Y = y \ mid X = x)} {\ Pr (Y = y \ mid X = x; \ theta)}} + \ log \ Pr (Y = y \ mid X = x) \ right) \\ [6pt] = {} & - D _ {\ text {KL}} (Y \ parallel Y _ {\ theta}) - H (Y \ mid X) \ end {align}}}$

unde este entropia condițională și este divergența Kullback-Leibler . Acest lucru duce la intuiția că, maximizând probabilitatea jurnalului unui model, minimizați divergența KL a modelului dvs. de distribuția maximă a entropiei. Căutarea intuitivă a modelului care face cele mai puține ipoteze în parametrii săi. ${\ displaystyle H (Y \ mid X)}$${\ displaystyle D _ {\ text {KL}}}$

„Regula celor zece”

O regulă generală larg utilizată, „ regula unu din zece ”, afirmă că modelele de regresie logistică dau valori stabile pentru variabilele explicative dacă se bazează pe un minim de aproximativ 10 evenimente per variabilă explicativă (EPV); unde eveniment denotă cazurile aparținând categoriei mai puțin frecvente din variabila dependentă. Astfel, un studiu conceput pentru a utiliza variabile explicative pentru un eveniment (de exemplu, infarct miocardic ) așteptat să apară într-o proporție de participanți la studiu va necesita un total de participanți. Cu toate acestea, există o dezbatere considerabilă cu privire la fiabilitatea acestei reguli, care se bazează pe studii de simulare și nu are un fundament teoretic sigur. Potrivit unor autori, regula este prea conservatoare în anumite circumstanțe, autorii afirmând: „Dacă considerăm (oarecum subiectiv) acoperirea intervalului de încredere mai mică de 93%, eroarea de tip I mai mare de 7% sau tendința relativă mai mare de 15% problematică, rezultatele noastre indică faptul că problemele sunt destul de frecvente cu 2-4 EPV, mai puțin frecvente cu 5-9 EPV și încă observate cu 10-16 EPV. Cele mai grave cazuri ale fiecărei probleme nu au fost severe cu 5-9 EPV și, de obicei, comparabile cu cei cu 10-16 EPV ". ${\ displaystyle k}$${\ displaystyle p}$${\ displaystyle 10k / p}$

Alții au găsit rezultate care nu sunt în concordanță cu cele de mai sus, utilizând criterii diferite. Un criteriu util este dacă modelul adaptat va fi de așteptat să obțină aceeași discriminare predictivă într-un eșantion nou, așa cum pare să realizeze în eșantionul de dezvoltare a modelului. Pentru acest criteriu, pot fi necesare 20 de evenimente pentru fiecare variabilă candidată. De asemenea, se poate argumenta că 96 de observații sunt necesare numai pentru a estima interceptarea modelului suficient de precis încât marja de eroare în probabilitățile prezise este de ± 0,1 cu un nivel de încredere de 0,95.

Estimarea maximă a probabilității (MLE)

Coeficienții de regresie sunt de obicei estimate utilizând estimarea maximă a probabilității . Spre deosebire de regresia liniară cu reziduuri distribuite în mod normal, nu este posibil să se găsească o expresie de formă închisă pentru valorile coeficientului care maximizează funcția de probabilitate, astfel încât în ​​loc să fie utilizat un proces iterativ; de exemplu metoda lui Newton . Acest proces începe cu o soluție provizorie, îl revizuiește ușor pentru a vedea dacă poate fi îmbunătățit și repetă această revizuire până când nu se mai face nici o îmbunătățire, moment în care se spune că procesul converg.

În unele cazuri, este posibil ca modelul să nu ajungă la convergență. Non-convergența unui model indică faptul că coeficienții nu sunt semnificativi, deoarece procesul iterativ nu a putut găsi soluții adecvate. Eșecul convergenței poate apărea din mai multe motive: având un raport mare de predictori la cazuri, multicoliniaritate , raritate sau separare completă .

• Având un raport mare de variabile și cazuri rezultă o statistică Wald prea conservatoare (discutată mai jos) și poate duce la non-convergență. Regresia logistică regularizată este destinată în mod special să fie utilizată în această situație.
• Multicoliniaritatea se referă la corelații inacceptabil de mari între predictori. Pe măsură ce multicoliniaritatea crește, coeficienții rămân imparțiali, dar erorile standard cresc și probabilitatea convergenței modelului scade. Pentru a detecta multicolinearitatea printre predictori, se poate efectua o analiză de regresie liniară cu predictorii de interes în singurul scop de a examina statisticile de toleranță utilizate pentru a evalua dacă multicolinearitatea este inacceptabil de mare.
• Raritatea datelor se referă la faptul că există o proporție mare de celule goale (celule cu număr zero). Numărul de celule zero este deosebit de problematic cu predictorii categorici. Cu predictori continui, modelul poate deduce valori pentru numărul de celule zero, dar acest lucru nu este cazul cu predictori categorici. Modelul nu va converge cu numărul de celule zero pentru predictori categorici, deoarece logaritmul natural al zero este o valoare nedefinită, astfel încât soluția finală a modelului nu poate fi atinsă. Pentru a remedia această problemă, cercetătorii pot prăbuși categoriile într-un mod semnificativ teoretic sau pot adăuga o constantă la toate celulele.
• O altă problemă numerică care poate duce la o lipsă de convergență este separarea completă, care se referă la situația în care predictorii prezic perfect criteriul - toate cazurile sunt clasificate cu exactitate. În astfel de cazuri, ar trebui să reexaminați datele, deoarece există probabil un fel de eroare.
• Se poate lua, de asemenea, abordări semi-parametrice sau non-parametrice, de exemplu, prin metode de probabilitate locală sau nonparametrică de cvasi-probabilitate, care evită ipotezele unei forme parametrice pentru funcția index și sunt robuste la alegerea funcției de legătură (de exemplu, probit sau logit).

Funcția de pierdere a entropiei încrucișate

În aplicațiile de învățare automată în care regresia logistică este utilizată pentru clasificarea binară, MLE minimizează funcția de pierdere a entropiei încrucișate .

Cele mai mici pătrate replicate în mod iterativ (IRLS)

Regresia logistică binară ( sau ) poate fi, de exemplu, calculată folosind cele mai mici pătrate iterativ reponderate (IRLS), ceea ce este echivalent cu maximizarea probabilității log a unui proces distribuit Bernoulli folosind metoda Newton . Dacă problema este scrisă sub formă de matrice vectorială, cu parametri , variabile explicative și valoarea așteptată a distribuției Bernoulli , parametrii pot fi găsiți folosind următorul algoritm iterativ: ${\ displaystyle y = 0}$${\ displaystyle y = 1}$${\ displaystyle \ mathbf {w} ^ {T} = [\ beta _ {0}, \ beta _ {1}, \ beta _ {2}, \ ldots]}$${\ displaystyle \ mathbf {x} (i) = [1, x_ {1} (i), x_ {2} (i), \ ldots] ^ {T}}$${\ displaystyle \ mu (i) = {\ frac {1} {1 + e ^ {- \ mathbf {w} ^ {T} \ mathbf {x} (i)}}}}$${\ displaystyle \ mathbf {w}}$

${\ displaystyle \ mathbf {w} _ {k + 1} = \ left (\ mathbf {X} ^ {T} \ mathbf {S} _ {k} \ mathbf {X} \ right) ^ {- 1} \ mathbf {X} ^ {T} \ left (\ mathbf {S} _ {k} \ mathbf {X} \ mathbf {w} _ {k} + \ mathbf {y} - \ mathbf {\ boldsymbol {\ mu} } _ {k} \ dreapta)}$

unde este o matrice diagonală de ponderare, vectorul valorilor așteptate, ${\ displaystyle \ mathbf {S} = \ operatorname {diag} (\ mu (i) (1- \ mu (i)))}$${\ displaystyle {\ boldsymbol {\ mu}} = [\ mu (1), \ mu (2), \ ldots]}$

${\ displaystyle \ mathbf {X} = {\ begin {bmatrix} 1 & x_ {1} (1) & x_ {2} (1) & \ ldots \\ 1 & x_ {1} (2) & x_ {2} (2) & \ ldots \\\ vdots & \ vdots & \ vdots \ end {bmatrix}}}$

Matricea regresorului și vectorul variabilelor de răspuns. Mai multe detalii pot fi găsite în literatura de specialitate. ${\ displaystyle \ mathbf {y} (i) = [y (1), y (2), \ ldots] ^ {T}}$

Evaluarea bunătății potrivite

Buna potrivire în modelele de regresie liniară este măsurată în general utilizând R ² . Deoarece acest lucru nu are analog direct în regresia logistică, pot fi utilizate în schimb diferite metode, inclusiv următoarele.

Teste de devianță și de probabilitate

În analiza de regresie liniară, unul este preocupat de partiționarea varianței prin suma calculelor pătratelor - varianța criteriului este în esență împărțită în varianță contabilizată de predictori și varianță reziduală. În analiza de regresie logistică, devianța este utilizată în locul unei sume de calcule pătrate. Devianța este analogă cu suma calculelor pătratelor în regresie liniară și este o măsură a lipsei de potrivire a datelor într-un model de regresie logistică. Când este disponibil un model „saturat” (un model cu o potrivire teoretică perfectă), deviația este calculată prin compararea unui model dat cu modelul saturat. Acest calcul oferă testul raportului de probabilitate :

${\ displaystyle D = -2 \ ln {\ frac {\ text {probabilitatea modelului adaptat}} {\ text {probabilitatea modelului saturat}}}.}$

În ecuația de mai sus, D reprezintă devianța și ln reprezintă logaritmul natural. Jurnalul acestui raport de probabilitate (raportul dintre modelul adaptat și modelul saturat) va produce o valoare negativă, de unde necesitatea unui semn negativ. Se poate arăta că D urmărește o distribuție aproximată chi-pătrat . Valorile mai mici indică o potrivire mai bună, deoarece modelul montat se abate mai puțin de la modelul saturat. Atunci când sunt evaluate pe o distribuție chi-pătrat, valorile nesemnificative ale chi-pătratului indică o varianță foarte puțin inexplicabilă și, prin urmare, o potrivire bună a modelului. În schimb, o valoare chi-pătrată semnificativă indică faptul că o cantitate semnificativă a varianței este inexplicabilă.

Atunci când modelul saturat nu este disponibil (un caz obișnuit), deviația se calculează pur și simplu ca −2 · (probabilitatea de log a modelului adaptat), iar referința la probabilitatea de log a modelului saturat poate fi eliminată fără a aduce atingere.

Două măsuri ale devianței sunt deosebit de importante în regresia logistică: devianța nulă și devianța modelului. Devianța nulă reprezintă diferența dintre un model cu numai interceptarea (care înseamnă „fără predictori”) și modelul saturat. Devianța modelului reprezintă diferența dintre un model cu cel puțin un predictor și modelul saturat. În acest sens, modelul nul oferă o linie de bază pe care să se compare modelele predictive. Având în vedere că devianța este o măsură a diferenței dintre un model dat și modelul saturat, valorile mai mici indică o potrivire mai bună. Astfel, pentru a evalua contribuția unui predictor sau a unui set de predictori, se poate scădea deviația modelului de la devianța nulă și se poate evalua diferența pe o distribuție chi-pătrat cu grade de libertate egale cu diferența dintre numărul de parametri estimat. ${\ displaystyle \ chi _ {sp} ^ {2},}$

Lăsa

${\ displaystyle {\ begin {align} D _ {\ text {null}} & = - 2 \ ln {\ frac {\ text {probabilitatea modelului nul}} {\ text {probabilitatea modelului saturat}}} \\ [6pt] D _ {\ text {adapter}} & = - 2 \ ln {\ frac {\ text {probabilitatea modelului adaptat}} {\ text {probabilitatea modelului saturat}}}. \ End {align}}}$

Atunci diferența ambelor este:

${\ displaystyle {\ begin {align} D _ {\ text {null}} - D _ {\ text {fitted}} & = - 2 \ left (\ ln {\ frac {\ text {probabilitatea modelului nul}} {\ text {probabilitatea modelului saturat}}} - \ ln {\ frac {\ text {probabilitatea modelului adaptat}} {\ text {probabilitatea modelului saturat}}} \ right) \\ [6pt] & = - 2 \ ln {\ frac {\ left ({\ dfrac {\ text {probabilitatea modelului nul}} {\ text {probabilitatea modelului saturat}}} \ right)} {\ left ({\ dfrac {\ text {probabilitatea modelului adaptat}} {\ text {probabilitatea modelului saturat}}} \ right)}} \\ [6pt] & = - 2 \ ln {\ frac {\ text {probabilitatea modelului nul}} {\ text {probabilitatea unui model adaptat}}}. \ end {align}}}$

Dacă deviația modelului este semnificativ mai mică decât deviația nulă, atunci se poate concluziona că predictorul sau setul de predictori îmbunătățesc semnificativ potrivirea modelului. Acest lucru este analog testului F utilizat în analiza de regresie liniară pentru a evalua semnificația predicției.

Pseudo-R-pătrat

În regresie liniară corelația multiplă la pătrat, R ² este utilizat pentru a evalua buna potrivire deoarece reprezintă proporția de varianță în criteriul care se explică prin predictori. În analiza regresiei logistice, nu există o măsură analogă convenită, dar există mai multe măsuri concurente, fiecare cu limitări.

Patru dintre cei mai frecvent utilizați indici și unul mai puțin utilizat sunt examinați pe această pagină:

• Raportul Risc R ² _L
• Cox și Snell R ² _CS
• Nagelkerke R ² _N
• McFadden R ² _MCF
• Tjur R ² _T

R ² _L este dată de Cohen:

${\ displaystyle R _ {\ text {L}} ^ {2} = {\ frac {D _ {\ text {null}} - D _ {\ text {potrivit}}} {D _ {\ text {null}}}}. }$

Acesta este cel mai analog indice la corelațiile multiple pătrate în regresie liniară. Reprezintă reducerea proporțională a devianței în care deviația este tratată ca o măsură de variație analogă, dar nu identică cu varianța în analiza de regresie liniară . O limitare a raportului de probabilitate R ² este că nu este legată monoton de raportul de probabilități, ceea ce înseamnă că nu crește neapărat odată cu creșterea raportului de probabilități și nu scade neapărat odată cu scăderea raportului de probabilități.

R ² _CS este un indice alternativ de buna potrivire legate de R valoarea ² de regresie liniară. Este dat de:

${\ displaystyle {\ begin {align} R _ {\ text {CS}} ^ {2} & = 1- \ left ({\ frac {L_ {0}} {L_ {M}}} \ right) ^ {2 / n} \\ [5pt] & = 1-e ^ {2 (\ ln (L_ {0}) - \ ln (L_ {M})) / n} \ end {align}}}$

unde L _M și L ₀ sunt probabilitățile pentru modelul de montare și respectiv pentru modelul nul. Indicele Cox și Snell este problematic, deoarece valoarea sa maximă este . Cea mai mare limită superioară poate fi de 0,75, dar poate fi cu ușurință de până la 0,48 atunci când proporția marginală de cazuri este mică. ${\ displaystyle 1-L_ {0} ^ {2 / n}}$

R ² _N furnizează o corecție pentru Cox și Snell R ² , astfel încât valoarea maximă este egală cu 1. Cu toate acestea, Cox și Snell și raportul risc R ² s prezintă o mai mare acord reciproc decât fie face cu Nagelkerke R ². Desigur, s-ar putea să nu fie cazul pentru valori care depășesc 0,75, deoarece indicele Cox și Snell este limitat la această valoare. Raportul de probabilitate R ² este adesea preferat alternativelor, deoarece este cel mai analog R ² în regresie liniară , este independent de rata de bază (atât Cox și Snell, cât și Nagelkerke R ² cresc odată cu creșterea proporției de cazuri de la 0 la 0,5) și variază între 0 și 1.

R ² _MCF este definit ca

${\ displaystyle R _ {\ text {McF}} ^ {2} = 1 - {\ frac {\ ln (L_ {M})} {\ ln (L_ {0})}},}$

și este de preferat peste R ² _CS de către Allison. Cele două expresii R ² _MCF și R ² _CS sunt apoi legate respectiv,

${\ displaystyle {\ begin {matrix} R _ {\ text {CS}} ^ {2} = 1- \ left ({\ dfrac {1} {L_ {0}}} \ right) ^ {\ frac {2 ( R _ {\ text {McF}} ^ {2})} {n}} \\ [1.5em] R _ {\ text {McF}} ^ {2} = - {\ dfrac {n} {2}} \ cdot {\ dfrac {\ ln (1-R _ {\ text {CS}} ^ {2})} {\ ln L_ {0}}} \ end {matrix}}}$

Cu toate acestea, Allison acum preferă R ² _T , care este o măsură relativ nou dezvoltată de Tjur. Poate fi calculat în doi pași:

1. Pentru fiecare nivel al variabilei dependente, găsiți media probabilităților prezise ale unui eveniment.
2. Luați valoarea absolută a diferenței dintre aceste mijloace

Un cuvânt de precauție este în ordine , la interpretarea pseudo- R ² statistici. Motivul pentru care acești indici de potrivire sunt denumite pseudo R ² este că ele nu reprezintă reducerea proporțională în mod eronat ca R ² în regresie liniară nu. Regresia liniară presupune omoscedasticitate , că varianța erorii este aceeași pentru toate valorile criteriului. Regresia logistică va fi întotdeauna heteroscedastică - variațiile de eroare diferă pentru fiecare valoare a scorului prezis. Pentru fiecare valoare a scorului prezis ar exista o valoare diferită a reducerii proporționale a erorii. Prin urmare, este nepotrivit să se gândească la R ² ca o reducere proporțională din greșeală într - un sens universal în regresie logistică.

Test Hosmer – Lemeshow

Testul Hosmer – Lemeshow folosește o statistică de test care urmează asimptotic o distribuție pentru a evalua dacă ratele de evenimente observate se potrivesc sau nu cu ratele de evenimente așteptate în subgrupuri ale populației model. Acest test este considerat a fi învechit de unii statisticieni din cauza dependenței sale de combinarea arbitrară a probabilităților prezise și a puterii relative reduse. ${\ displaystyle \ chi ^ {2}}$

Coeficienți

După adaptarea modelului, este probabil ca cercetătorii să dorească să examineze contribuția predictorilor individuali. Pentru a face acest lucru, vor dori să examineze coeficienții de regresie. În regresia liniară, coeficienții de regresie reprezintă schimbarea criteriului pentru fiecare modificare a unității în predictor. Cu toate acestea, în regresia logistică, coeficienții de regresie reprezintă modificarea logitului pentru fiecare modificare a unității în predictor. Având în vedere că logitul nu este intuitiv, este probabil ca cercetătorii să se concentreze asupra efectului predictorului asupra funcției exponențiale a coeficientului de regresie - raportul de probabilitate (a se vedea definiția ). În regresia liniară, semnificația unui coeficient de regresie este evaluată prin calculul unui test t . În regresia logistică, există mai multe teste diferite concepute pentru a evalua semnificația unui predictor individual, în special testul raportului de probabilitate și statistica Wald.

Testul raportului de probabilitate

Testul raportului de probabilitate discutat mai sus pentru a evalua potrivirea modelului este, de asemenea, procedura recomandată pentru a evalua contribuția „predictorilor” individuali la un model dat. În cazul unui singur model predictor, se compară pur și simplu abaterea modelului predictor cu cea a modelului nul pe o distribuție chi-pătrat cu un singur grad de libertate. Dacă modelul predictor are o deviație semnificativ mai mică (cf chi-pătrat utilizând diferența în grade de libertate a celor două modele), atunci se poate concluziona că există o asociere semnificativă între „predictor” și rezultat. Deși unele pachete statistice obișnuite (de exemplu, SPSS) oferă statistici de testare a raportului de probabilitate, fără acest test de calcul intensiv, ar fi mai dificil să se evalueze contribuția predictorilor individuali în cazul regresiei logistice multiple. Pentru a evalua contribuția predictorilor individuali, puteți introduce predictorii ierarhic, comparând fiecare model nou cu precedentul pentru a determina contribuția fiecărui predictor. Există unele dezbateri în rândul statisticienilor cu privire la caracterul adecvat al așa-numitelor proceduri „în trepte”. Teama este că acestea nu pot păstra proprietățile statistice nominale și pot deveni înșelătoare.

Statistica Wald

Alternativ, atunci când se evaluează contribuția predictorilor individuali într-un model dat, se poate examina semnificația statisticii Wald . Statistica Wald, analogă cu testul t în regresie liniară, este utilizată pentru a evalua semnificația coeficienților. Statistica Wald este raportul dintre pătratul coeficientului de regresie și pătratul erorii standard a coeficientului și este distribuit asimptotic ca o distribuție chi-pătrat.

${\ displaystyle W_ {j} = {\ frac {\ beta _ {j} ^ {2}} {SE _ {\ beta _ {j}} ^ {2}}}}$

Deși mai multe pachete statistice (de exemplu, SPSS, SAS) raportează statistica Wald pentru a evalua contribuția predictorilor individuali, statistica Wald are limitări. Când coeficientul de regresie este mare, eroarea standard a coeficientului de regresie tinde, de asemenea, să fie mai mare, crescând probabilitatea de eroare de tip II . Statistica Wald tinde, de asemenea, să fie părtinitoare atunci când datele sunt rare.

Eșantionarea caz-control

Să presupunem că cazurile sunt rare. Apoi am putea dori să le prelevăm mai frecvent decât prevalența lor în populație. De exemplu, să presupunem că există o boală care afectează o persoană din 10.000 și pentru a colecta datele noastre trebuie să facem un fizic complet. Poate fi prea scump să faci mii de persoane fizice sănătoase pentru a obține date doar pentru câțiva indivizi bolnavi. Astfel, putem evalua mai mulți indivizi bolnavi, poate toate rezultatele rare. Aceasta este, de asemenea, eșantionare retrospectivă sau, în mod echivalent, se numește date dezechilibrate. De regulă, eșantionarea controalelor la o rată de cinci ori mai mare decât numărul de cazuri va produce suficiente date de control.

Regresia logistică este unică prin faptul că poate fi estimată pe date dezechilibrate, mai degrabă decât date eșantionate aleatoriu, și totuși produce estimări corecte ale coeficientului efectelor fiecărei variabile independente asupra rezultatului. Adică, dacă formăm un model logistic din astfel de date, dacă modelul este corect în populația generală, parametrii sunt toți corecți, cu excepția . Putem corecta dacă cunoaștem adevărata prevalență după cum urmează: ${\ displaystyle \ beta _ {j}}$${\ displaystyle \ beta _ {0}}$${\ displaystyle \ beta _ {0}}$

${\ displaystyle {\ widehat {\ beta}} _ {0} ^ {*} = {\ widehat {\ beta}} _ {0} + \ log {\ frac {\ pi} {1- \ pi}} - \ log {{\ tilde {\ pi}} \ over {1 - {\ tilde {\ pi}}}}}$

unde este adevărata prevalență și este prevalența în eșantion. ${\ displaystyle \ pi}$${\ displaystyle {\ tilde {\ pi}}}$

Specificație matematică formală

Există diferite specificații echivalente ale regresiei logistice, care se încadrează în diferite tipuri de modele mai generale. Aceste specificații diferite permit diferite tipuri de generalizări utile.

Înființat

Configurarea de bază a regresiei logistice este următoarea. Ni se oferă un set de date care conține N puncte. Fiecare punct i constă dintr-un set de m variabile de intrare x _{1, i} ... x _{m, i} (numite și variabile independente , variabile predictive, caracteristici sau atribute) și o variabilă de rezultat binar Y _i (cunoscută și ca dependentă variabilă , variabilă de răspuns, variabilă de ieșire sau clasă), adică poate presupune doar cele două valori posibile 0 (adesea însemnând „nu” sau „eșec”) sau 1 (adesea însemnând „da” sau „succes”). Scopul regresiei logistice este de a utiliza setul de date pentru a crea un model predictiv al variabilei de rezultat.

Ca și în regresia liniară, se presupune că variabilele de rezultat Y _i depind de variabilele explicative x _{1, i} ... x _{m, i} .

Variabile explicative

Variabilele explicative pot fi de orice tip : reale , binare , categorice etc. Principala distincție este între variabile continue și variabile discrete .

(Variabilele discrete care se referă la mai mult de două opțiuni posibile sunt de obicei codificate folosind variabile fictive (sau variabile indicator ), adică se creează variabile explicative separate care iau valoarea 0 sau 1 pentru fiecare valoare posibilă a variabilei discrete, cu un 1 semnificație " variabila are valoarea dată "și 0 înseamnă" variabila nu are acea valoare ".)

Variabile de rezultat

În mod formal, rezultatele Y _i sunt descrise ca fiind date distribuite de Bernoulli , unde fiecare rezultat este determinat de o probabilitate p _i neobservată care este specifică rezultatului în cauză, dar legată de variabilele explicative. Acest lucru poate fi exprimat în oricare dintre următoarele forme echivalente:

${\ displaystyle {\ begin {align} Y_ {i} \ mid x_ {1, i}, \ ldots, x_ {m, i} \ & \ sim \ operatorname {Bernoulli} (p_ {i}) \\\ operatorname {\ mathcal {E}} [Y_ {i} \ mid x_ {1, i}, \ ldots, x_ {m, i}] & = p_ {i} \\\ Pr (Y_ {i} = y \ mid x_ {1, i}, \ ldots, x_ {m, i}) & = {\ begin {cases} p_ {i} & {\ text {if}} y = 1 \\ 1-p_ {i} & { \ text {if}} y = 0 \ end {cases}} \\\ Pr (Y_ {i} = y \ mid x_ {1, i}, \ ldots, x_ {m, i}) & = p_ {i } ^ {y} (1-p_ {i}) ^ {(1-y)} \ end {align}}}$

Semnificațiile acestor patru linii sunt:

1. Prima linie exprimă distribuția probabilității fiecărei Y _i : condiționată de variabilele explicative, urmează o distribuție Bernoulli cu parametrii p _i , probabilitatea rezultatului 1 pentru încercarea i . După cum sa menționat mai sus, fiecare proces separat are propria probabilitate de succes, la fel cum fiecare proces are propriile variabile explicative. Probabilitatea de succes p _i nu este respectată, ci doar rezultatul unui studiu individual Bernoulli care utilizează această probabilitate.
2. A doua linie exprimă faptul că valoarea așteptată a fiecărui Y _i este egală cu probabilitatea de succes p _i , care este o proprietate generală a distribuției Bernoulli. Cu alte cuvinte, dacă efectuăm un număr mare de studii Bernoulli folosind aceeași probabilitate de succes p _i , atunci luăm media tuturor rezultatelor 1 și 0, atunci rezultatul ar fi aproape de p _i . Acest lucru se datorează faptului că realizarea unei medii în acest mod calculează pur și simplu proporția succeselor observate, pe care ne așteptăm să le convergă la probabilitatea de succes a succesului.
3. A treia linie scrie funcția de masă a probabilității distribuției Bernoulli, specificând probabilitatea de a vedea fiecare dintre cele două rezultate posibile.
4. A patra linie este un alt mod de scriere a funcției de masă a probabilității, care evită să fie nevoie să scrie cazuri separate și este mai convenabil pentru anumite tipuri de calcule. Aceasta se bazează pe faptul că Y _i poate lua doar valoarea 0 sau 1. În fiecare caz, unul dintre exponenți va fi 1, „alegând” valoarea de sub ea, în timp ce celălalt este 0, „anulând” valoarea de sub aceasta. Prin urmare, rezultatul este fie p _i, fie 1 -  p _i , ca în linia anterioară.

Funcția predictor liniar

Ideea de bază a regresiei logistice este de a utiliza mecanismul deja dezvoltat pentru regresia liniară prin modelarea probabilității p _i folosind o funcție predictivă liniară , adică o combinație liniară a variabilelor explicative și un set de coeficienți de regresie care sunt specifici modelului la îndemână dar la fel pentru toate încercările. Funcția predictor liniar pentru un anumit punct de date i este scrisă ca: ${\ displaystyle f (i)}$

${\ displaystyle f (i) = \ beta _ {0} + \ beta _ {1} x_ {1, i} + \ cdots + \ beta _ {m} x_ {m, i},}$

unde sunt coeficienții de regresie care indică efectul relativ al unei anumite variabile explicative asupra rezultatului. ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {m}}$

Modelul este de obicei pus într-o formă mai compactă după cum urmează:

• Coeficienții de regresie β ₀ , β ₁ , ..., β _m sunt grupați într-un singur vector β de dimensiunea m  + 1.
• Pentru fiecare punct de date i , se adaugă o pseudo-variabilă explicativă suplimentară x _{0, i} , cu o valoare fixă ​​de 1, corespunzătoare coeficientului de interceptare β ₀ .
• Variabilele explicative rezultate x _{0, i} , x _{1, i} , ..., x _{m, i} sunt apoi grupate într-un singur vector X _i de dimensiunea m  + 1.

Acest lucru face posibilă scrierea funcției predictive liniare după cum urmează:

${\ displaystyle f (i) = {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i},}$

folosind notația pentru un produs punct între doi vectori.

Ca model liniar generalizat

Modelul particular utilizat de regresia logistică, care o deosebește de regresia liniară standard și de alte tipuri de analize de regresie utilizate pentru rezultatele cu valoare binară , este modul în care probabilitatea unui anumit rezultat este legată de funcția predictor liniar:

${\ displaystyle \ operatorname {logit} (\ operatorname {\ mathcal {E}} [Y_ {i} \ mid x_ {1, i}, \ ldots, x_ {m, i}]) = \ operatorname {logit} ( p_ {i}) = \ ln \ left ({\ frac {p_ {i}} {1-p_ {i}}} \ right) = \ beta _ {0} + \ beta _ {1} x_ {1, i} + \ cdots + \ beta _ {m} x_ {m, i}}$

Scris folosind notația mai compactă descrisă mai sus, aceasta este:

${\ displaystyle \ operatorname {logit} (\ operatorname {\ mathcal {E}} [Y_ {i} \ mid \ mathbf {X} _ {i}]) = \ operatorname {logit} (p_ {i}) = \ ln \ left ({\ frac {p_ {i}} {1-p_ {i}}} \ right) = {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}$

Această formulare exprimă regresia logistică ca un tip de model liniar generalizat , care prezice variabile cu diferite tipuri de distribuții de probabilitate prin adaptarea unei funcții predictive liniare a formei de mai sus la un fel de transformare arbitrară a valorii așteptate a variabilei.

Intuiția pentru transformare folosind funcția logit (jurnalul natural al cotelor) a fost explicată mai sus. De asemenea, are efectul practic de a converti probabilitatea (care este limitată între 0 și 1) la o variabilă care variază peste - potrivind astfel gama potențială a funcției de predicție liniară pe partea dreaptă a ecuației. ${\ displaystyle (- \ infty, + \ infty)}$

Rețineți că atât probabilitățile p _{i cât} și coeficienții de regresie nu sunt observați, iar mijloacele de determinare a acestora nu fac parte din modelul în sine. Acestea sunt de obicei determinate de un fel de procedură de optimizare, de exemplu, estimarea maximă a probabilității , care găsește valori care se potrivesc cel mai bine datelor observate (adică care oferă cele mai precise predicții pentru datele deja observate), de obicei supuse condițiilor de regularizare care încearcă să excludă improbabilele. valori, de exemplu valori extrem de mari pentru oricare dintre coeficienții de regresie. Utilizarea unei condiții de regularizare este echivalentă cu efectuarea unei estimări maxime a posteriori (MAP), o extensie a probabilității maxime. (Regularizarea se face cel mai frecvent folosind o funcție de regularizare pătrată , care este echivalentă cu plasarea unei coeficienți de distribuție anterioară Gauss mediană zero , dar sunt posibile și alte regulatoare.) Indiferent dacă se utilizează sau nu regularizarea, de obicei nu este posibil să se găsească o soluție în formă închisă; în schimb, trebuie utilizată o metodă numerică iterativă, cum ar fi greutatea redusă iterată a celor mai mici pătrate (IRLS) sau, mai frecvent în aceste zile, o metodă cvasi-newtoniană, cum ar fi metoda L-BFGS .

Interpretarea estimărilor parametrului β _j este ca efect aditiv asupra jurnalului cotelor pentru o modificare a unității în j variabila explicativă. În cazul unei variabile explicative dihotomice, de exemplu, genul este estimarea șanselor de a avea rezultatul, să zicem, bărbați în comparație cu femeile. ${\ displaystyle e ^ {\ beta}}$

O formulă echivalentă utilizează inversa funcției logit, care este funcția logistică , adică:

${\ displaystyle \ operatorname {\ mathcal {E}} [Y_ {i} \ mid \ mathbf {X} _ {i}] = p_ {i} = \ operatorname {logit} ^ {- 1} ({\ boldsymbol { \ beta}} \ cdot \ mathbf {X} _ {i}) = {\ frac {1} {1 + e ^ {- {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}} }}}$

Formula poate fi scrisă și ca distribuție de probabilitate (în mod specific, folosind o funcție de masă de probabilitate ):

${\ displaystyle \ Pr (Y_ {i} = y \ mid \ mathbf {X} _ {i}) = {p_ {i}} ^ {y} (1-p_ {i}) ^ {1-y} = \ left ({\ frac {e ^ {{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}} {1 + e ^ {{\ boldsymbol {\ beta}} \ cdot \ mathbf { X} _ {i}}}} \ right) ^ {y} \ left (1 - {\ frac {e ^ {{boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}} { 1 + e ^ {{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}}} \ right) ^ {1-y} = {\ frac {e ^ {{\ boldsymbol {\ beta }} \ cdot \ mathbf {X} _ {i} \ cdot y}} {1 + e ^ {{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}}}}$

Ca model latent-variabil

Modelul de mai sus are o formulare echivalentă ca un model latent-variabil . Această formulare este comună în teoria modelelor de alegere discretă și facilitează extinderea la anumite modele mai complicate cu alegeri multiple, corelate, precum și compararea regresiei logistice cu modelul probit strâns legat .

Imaginați-vă că, pentru fiecare proces i , există o variabilă latentă continuă Y _i ^* (adică o variabilă aleatorie neobservată ) care este distribuită după cum urmează:

${\ displaystyle Y_ {i} ^ {\ ast} = {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i} + \ varepsilon \,}$

Unde

${\ displaystyle \ varepsilon \ sim \ operatorname {Logistic} (0,1) \,}$

adică variabila latentă poate fi scrisă direct în termeni de funcție predictor liniar și o variabilă de eroare aleatorie aditivă care este distribuită în conformitate cu o distribuție logistică standard .

Apoi Y _i poate fi văzut ca un indicator pentru a vedea dacă această variabilă latentă este pozitivă:

${\ displaystyle Y_ {i} = {\ begin {cases} 1 & {\ text {if}} Y_ {i} ^ {\ ast}> 0 \ {\ text {ie}} - \ varepsilon <{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}, \\ 0 & {\ text {altfel.}} \ end {cases}}}$

Alegerea modelării variabilei de eroare în mod specific cu o distribuție logistică standard, mai degrabă decât o distribuție logistică generală cu locația și scara setate la valori arbitrare, pare restrictivă, dar, de fapt, nu este. Trebuie avut în vedere faptul că putem alege noi înșine coeficienții de regresie și de foarte multe ori îi putem folosi pentru a compensa modificările parametrilor distribuției variabilei de eroare. De exemplu, o distribuție logică-variabilă de eroare cu un parametru de locație diferit de zero μ (care stabilește media) este echivalentă cu o distribuție cu un parametru de localizare zero, unde μ a fost adăugat la coeficientul de interceptare. Ambele situații produc aceeași valoare pentru Y _i ^*, indiferent de setările variabilelor explicative. În mod similar, un parametru de scară arbitrar s este echivalent cu setarea parametrului scării la 1 și apoi împărțirea tuturor coeficienților de regresie la s . În acest din urmă caz, valoarea rezultată a lui Y _i ^* va fi mai mică cu un factor de s decât în ​​primul caz, pentru toate seturile de variabile explicative - dar critic, va rămâne întotdeauna pe aceeași parte a lui 0 și, prin urmare, conduce la aceeași alegere Y _i .

(Rețineți că acest lucru prezice că irelevanța parametrului scalei nu poate fi transferată în modele mai complexe în care sunt disponibile mai mult de două opțiuni.)

Se pare că această formulare este exact echivalentă cu cea precedentă, formulată în termenii modelului liniar generalizat și fără variabile latente . Acest lucru poate fi arătat după cum urmează, folosind faptul că funcția de distribuție cumulativă (CDF) a distribuției logistice standard este funcția logistică , care este inversa funcției logit , adică

${\ displaystyle \ Pr (\ varepsilon <x) = \ operatorname {logit} ^ {- 1} (x)}$

Atunci:

${\ displaystyle {\ begin {align} \ Pr (Y_ {i} = 1 \ mid \ mathbf {X} _ {i}) & = \ Pr (Y_ {i} ^ {\ ast}> 0 \ mid \ mathbf {X} _ {i}) \\ [5pt] & = \ Pr ({\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i} + \ varepsilon> 0) \\ [5pt] & = \ Pr (\ varepsilon> - {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}) \\ [5pt] & = \ Pr (\ varepsilon <{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}) && {\ text {(deoarece distribuția logistică este simetrică)}} \\ [5pt] & = \ operatorname {logit} ^ {- 1} ({\ boldsymbol {\ beta} } \ cdot \ mathbf {X} _ {i}) & \\ [5pt] & = p_ {i} && {\ text {(a se vedea mai sus)}} \ end {align}}}$

Această formulare - care este standard în modelele de alegere discretă - clarifică relația dintre regresia logistică („modelul logit”) și modelul probit , care utilizează o variabilă de eroare distribuită conform unei distribuții normale standard în locul unei distribuții logistice standard. Atât distribuțiile logistice, cât și cele normale sunt simetrice cu o formă de bază unimodală, „curbă clopot”. Singura diferență este că distribuția logistică are cozi ceva mai grele , ceea ce înseamnă că este mai puțin sensibilă la datele periferice (și, prin urmare, oarecum mai robustă pentru modelarea specificațiilor greșite sau a datelor eronate).

Model bidimensional latent-variabil

O altă formulare utilizează două variabile latente separate:

${\ displaystyle {\ begin {align} Y_ {i} ^ {0 \ ast} & = {\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i} + \ varepsilon _ {0 } \, \\ Y_ {i} ^ {1 \ ast} & = {\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i} + \ varepsilon _ {1} \, \ sfârșit {aliniat}}}$

Unde

${\ displaystyle {\ begin {align} \ varepsilon _ {0} & \ sim \ operatorname {EV} _ {1} (0,1) \\\ varepsilon _ {1} & \ sim \ operatorname {EV} _ { 1} (0,1) \ end {align}}}$

unde EV ₁ (0,1) este o distribuție standard a valorii extreme de tip 1 : adică

${\ displaystyle \ Pr (\ varepsilon _ {0} = x) = \ Pr (\ varepsilon _ {1} = x) = e ^ {- x} e ^ {- e ^ {- x}}}$

Atunci

${\ displaystyle Y_ {i} = {\ begin {cases} 1 & {\ text {if}} Y_ {i} ^ {1 \ ast}> Y_ {i} ^ {0 \ ast}, \\ 0 & {\ text {altfel.}} \ end {cases}}}$

Acest model are o variabilă latentă separată și un set separat de coeficienți de regresie pentru fiecare posibil rezultat al variabilei dependente. Motivul acestei separări este că facilitează extinderea regresiei logistice la variabilele categorice multi-rezultate, ca în modelul logit multinomial . Într-un astfel de model, este firesc să modelăm fiecare posibil rezultat folosind un set diferit de coeficienți de regresie. De asemenea, este posibil să se motiveze fiecare dintre variabilele latente separate ca utilitate teoretică asociată cu alegerea asociată și, astfel, să se motiveze regresia logistică în ceea ce privește teoria utilității . (În ceea ce privește teoria utilității, un actor rațional alege întotdeauna alegerea cu cea mai mare utilitate asociată.) Aceasta este abordarea adoptată de economiști atunci când formulează modele de alegere discrete , deoarece oferă atât o bază teoretic puternică, cât și facilitează intuițiile despre model, care la rândul său, facilitează luarea în considerare a diferitelor tipuri de extensii. (A se vedea exemplul de mai jos.)

Alegerea distribuției valorii extreme de tip 1 pare destul de arbitrară, dar face ca matematica să funcționeze și poate fi justificată utilizarea acesteia prin teoria alegerii raționale .

Se pare că acest model este echivalent cu modelul anterior, deși acest lucru pare neevident, deoarece există acum două seturi de coeficienți de regresie și variabile de eroare, iar variabilele de eroare au o distribuție diferită. De fapt, acest model se reduce direct la precedent cu următoarele substituții:

${\ displaystyle {\ boldsymbol {\ beta}} = {\ boldsymbol {\ beta}} _ {1} - {\ boldsymbol {\ beta}} _ {0}}$

${\ displaystyle \ varepsilon = \ varepsilon _ {1} - \ varepsilon _ {0}}$

O intuiție pentru acest lucru vine din faptul că, din moment ce alegem pe baza a maxim două valori, contează doar diferența lor, nu valorile exacte - și acest lucru elimină efectiv un grad de libertate . Un alt fapt critic este că diferența dintre două variabile de tip-1 distribuite cu valori extreme este o distribuție logistică, adică putem demonstra echivalentul după cum urmează: ${\ displaystyle \ varepsilon = \ varepsilon _ {1} - \ varepsilon _ {0} \ sim \ operatorname {Logistic} (0,1).}$

${\ displaystyle {\ begin {align} \ Pr (Y_ {i} = 1 \ mid \ mathbf {X} _ {i}) = {} & \ Pr \ left (Y_ {i} ^ {1 \ ast}> Y_ {i} ^ {0 \ ast} \ mid \ mathbf {X} _ {i} \ right) & \\ [5pt] = {} & \ Pr \ left (Y_ {i} ^ {1 \ ast} - Y_ {i} ^ {0 \ ast}> 0 \ mid \ mathbf {X} _ {i} \ right) & \\ [5pt] = {} & \ Pr \ left ({\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i} + \ varepsilon _ {1} - \ left ({\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i} + \ varepsilon _ {0} \ right)> 0 \ right) & \\ [5pt] = {} & \ Pr \ left (({\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ { i} - {\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}) + (\ varepsilon _ {1} - \ varepsilon _ {0})> 0 \ right) & \ \ [5pt] = {} & \ Pr (({\ boldsymbol {\ beta}} _ {1} - {\ boldsymbol {\ beta}} _ {0}) \ cdot \ mathbf {X} _ {i} + (\ varepsilon _ {1} - \ varepsilon _ {0})> 0) & \\ [5pt] = {} & \ Pr (({\ boldsymbol {\ beta}} _ {1} - {\ boldsymbol {\ beta}} _ {0}) \ cdot \ mathbf {X} _ {i} + \ varepsilon> 0) && {\ text {(substitut}} \ varepsilon {\ text {ca mai sus)}} \\ [5pt] = {} & \ Pr ({\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i} + \ varepsilon> 0) && {\ text {(substitut}} {\ boldsymbol {\ beta}} { \ text {ca mai sus)}} \\ [5pt] = { } & \ Pr (\ varepsilon> - {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}) && {\ text {(acum, la fel ca modelul de mai sus)}} \\ [5pt] = {} & \ Pr (\ varepsilon <{\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}) & \\ [5pt] = {} & \ operatorname {logit} ^ {- 1} ( {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}) \\ [5pt] = {} & p_ {i} \ end {align}}}$

Exemplu

De exemplu, luați în considerare alegerile la nivel de provincie în care alegerea este între un partid de dreapta de centru, un partid de stânga de centru și un partid secesionist (de exemplu, Partidul Québécois , care dorește ca Quebecul să se separe de Canada ). Apoi am folosi trei variabile latente, una pentru fiecare alegere. Apoi, în conformitate cu teoria utilității , putem interpreta apoi variabilele latente ca exprimând utilitatea care rezultă din efectuarea fiecărei alegeri. De asemenea, putem interpreta coeficienții de regresie ca indicând puterea pe care factorul asociat (adică variabila explicativă) o are în contribuția la utilitate - sau mai corect, cantitatea cu care o unitate de schimbare a unei variabile explicative modifică utilitatea unei alegeri date. Un alegător s-ar putea aștepta ca partidul de dreapta de centru să reducă impozitele, în special pentru oamenii bogați. Acest lucru nu ar oferi persoanelor cu venituri mici niciun beneficiu, adică nicio modificare a utilității (deoarece de obicei nu plătesc impozite); ar provoca beneficii moderate (adică ceva mai mulți bani sau creștere moderată a utilității) pentru persoanele cu venituri medii; ar provoca beneficii semnificative pentru persoanele cu venituri mari. Pe de altă parte, s-ar putea aștepta ca partidul din stânga centrului să crească impozitele și să-l compenseze cu asistență socială sporită și alte asistențe pentru clasele de jos și de mijloc. Acest lucru ar provoca beneficii pozitive semnificative persoanelor cu venituri mici, poate un beneficiu slab pentru persoanele cu venituri medii și beneficii negative semnificative pentru persoanele cu venituri mici. În cele din urmă, partidul secesionist nu va întreprinde acțiuni directe asupra economiei, ci pur și simplu se va separa. Un alegător cu venituri mici sau cu venituri medii s-ar putea aștepta, practic, la nici un câștig sau pierdere clară din utilitate, dar un alegător cu venituri ridicate s-ar putea aștepta la o utilitate negativă, deoarece este probabil să dețină companii, care vor avea mai mult timp să facă afaceri în un astfel de mediu și probabil pierdeți bani.

Aceste intuiții pot fi exprimate după cum urmează:

Puterea estimată a coeficientului de regresie pentru diferite rezultate (alegeri ale partidului) și diferite valori ale variabilelor explicative

	Centru-dreapta	Centru-stânga	Secesionist
Venit mare	puternic +	puternic -	puternic -
Venituri medii	moderat +	slab +	nici unul
Venit mic	nici unul	puternic +	nici unul

Acest lucru arată clar că

1. Trebuie să existe seturi separate de coeficienți de regresie pentru fiecare alegere. Când este formulat în termeni de utilitate, acest lucru poate fi văzut foarte ușor. Diferite alegeri au efecte diferite asupra utilității nete; în plus, efectele variază în moduri complexe care depind de caracteristicile fiecărui individ, deci trebuie să existe seturi separate de coeficienți pentru fiecare caracteristică, nu pur și simplu o singură caracteristică extra per alegere.
2. Chiar dacă venitul este o variabilă continuă, efectul său asupra utilității este prea complex pentru a fi tratat ca o singură variabilă. Fie trebuie împărțit direct în intervale, fie trebuie adăugate puteri mai mari de venit, astfel încât regresia polinomială a venitului să se efectueze efectiv.

Ca model „log-linear”

O altă formulare combină formularea variabilă latentă bidirecțională de mai sus cu formularea originală mai sus fără variabile latente și, în acest proces, oferă o legătură cu una dintre formulările standard ale logitului multinomial .

Aici, în loc să scriem logitul probabilităților p _i ca predictor liniar, separăm predictorul liniar în doi, unul pentru fiecare dintre cele două rezultate:

${\ displaystyle {\ begin {align} \ ln \ Pr (Y_ {i} = 0) & = {\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i} - \ ln Z \\\ ln \ Pr (Y_ {i} = 1) & = {\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i} - \ ln Z \ end {align}}}$

Rețineți că au fost introduse două seturi separate de coeficienți de regresie, la fel ca în modelul variabilelor latente bidirecționale, iar cele două ecuații apar ca o formă care scrie logaritmul probabilității asociate ca predictor liniar, cu un termen suplimentar la sfârșit . Acest termen, după cum se dovedește, servește ca factor de normalizare care asigură că rezultatul este o distribuție. Acest lucru poate fi văzut prin exponențierea ambelor părți: ${\ displaystyle - \ ln Z}$

${\ displaystyle {\ begin {align} \ Pr (Y_ {i} = 0) & = {\ frac {1} {Z}} e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} \\ [5pt] \ Pr (Y_ {i} = 1) & = {\ frac {1} {Z}} e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} \ end {align}}}$

În această formă este clar că scopul lui Z este de a se asigura că distribuția rezultată pe Y _i este de fapt o distribuție de probabilitate , adică se rezumă la 1. Acest lucru înseamnă că Z este pur și simplu suma tuturor probabilităților ne-normalizate și împărțind fiecare probabilitate la Z , probabilitățile devin „ normalizate ”. Acesta este:

${\ displaystyle Z = e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}$

iar ecuațiile rezultate sunt

${\ displaystyle {\ begin {align} \ Pr (Y_ {i} = 0) & = {\ frac {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i }}} {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}} \\ [5pt] \ Pr (Y_ {i} = 1) & = {\ frac {e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}} {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}}. \ End {align}}}$

Sau, în general:

${\ displaystyle \ Pr (Y_ {i} = c) = {\ frac {e ^ {{boldsymbol {\ beta}} _ {c} \ cdot \ mathbf {X} _ {i}}} {\ sum _ {h} e ^ {{\ boldsymbol {\ beta}} _ {h} \ cdot \ mathbf {X} _ {i}}}}}$

Acest lucru arată clar cum să generalizați această formulare la mai mult de două rezultate, ca în logit multinomial . Rețineți că această formulare generală este exact funcția softmax ca în

${\ displaystyle \ Pr (Y_ {i} = c) = \ operatorname {softmax} (c, {\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}, {\ boldsymbol { \ beta}} _ {1} \ cdot \ mathbf {X} _ {i}, \ dots).}$

Pentru a demonstra că acest lucru este echivalent cu modelul anterior, rețineți că modelul de mai sus este supra-specificat în acest sens și nu poate fi specificat independent: mai degrabă așa cunoașterea unuia îl determină automat pe celălalt. Ca rezultat, modelul este neidentificabil , deoarece combinațiile multiple de β ₀ și β ₁ vor produce aceleași probabilități pentru toate variabilele explicative posibile. De fapt, se poate vedea că adăugarea oricărui vector constant la amândoi va produce aceleași probabilități: ${\ displaystyle \ Pr (Y_ {i} = 0)}$${\ displaystyle \ Pr (Y_ {i} = 1)}$${\ displaystyle \ Pr (Y_ {i} = 0) + \ Pr (Y_ {i} = 1) = 1}$

${\ displaystyle {\ begin {align} \ Pr (Y_ {i} = 1) & = {\ frac {e ^ {({\ boldsymbol {\ beta}} _ {1} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}}} {e ^ {({\ boldsymbol {\ beta}} _ {0} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}} + e ^ {({\ boldsymbol {\ beta}} _ {1} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}}} \\ [5pt] & = {\ frac {e ^ {{ \ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}}} {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol { \ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}}}} \\ [5pt] & = { \ frac {e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} } {e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} (e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}})}} \\ [5pt] & = {\ frac {e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}} {e ^ {{boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}}. \ end {align}} }$

Ca rezultat, putem simplifica lucrurile și restabili identificabilitatea, alegând o valoare arbitrară pentru unul dintre cei doi vectori. Alegem să setăm Apoi, ${\ displaystyle {\ boldsymbol {\ beta}} _ {0} = \ mathbf {0}.}$

${\ displaystyle e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} = e ^ {\ mathbf {0} \ cdot \ mathbf {X} _ {i} } = 1}$

Așadar

${\ displaystyle \ Pr (Y_ {i} = 1) = {\ frac {e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}} {1 + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}} = {\ frac {1} {1 + e ^ {- {\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}} = p_ {i}}$

ceea ce arată că această formulare este într-adevăr echivalentă cu formularea anterioară. (Ca și în formularea variabilă latentă bidirecțională, orice setări unde vor produce rezultate echivalente.) ${\ displaystyle {\ boldsymbol {\ beta}} = {\ boldsymbol {\ beta}} _ {1} - {\ boldsymbol {\ beta}} _ {0}}$

Rețineți că majoritatea tratamentelor modelului logit multinomial încep fie prin extinderea formulării „log-liniare” prezentate aici, fie prin formularea variabilă latentă bidirecțională prezentată mai sus, deoarece ambele arată clar modul în care modelul ar putea fi extins la mai multe căi rezultate. În general, prezentarea cu variabile latente este mai frecventă în econometrie și științe politice , unde domină modele de alegere discrete și teoria utilității , în timp ce formularea „log-liniară” este mai frecventă în informatică , de exemplu învățarea automată și prelucrarea limbajului natural .

Ca perceptron cu un singur strat

Modelul are o formulare echivalentă

${\ displaystyle p_ {i} = {\ frac {1} {1 + e ^ {- (\ beta _ {0} + \ beta _ {1} x_ {1, i} + \ cdots + \ beta _ {k } x_ {k, i})}}}. \,}$

Această formă funcțională este denumită în mod obișnuit perceptron cu un singur strat sau rețea neuronală artificială cu un singur strat . O rețea neuronală cu un singur strat calculează o ieșire continuă în loc de o funcție pas . Derivata lui p _i față de X  = ( x ₁ , ..., x _k ) se calculează din forma generală:

${\ displaystyle y = {\ frac {1} {1 + e ^ {- f (X)}}}}$

unde f ( X ) este o funcție analitică în X . Cu această alegere, rețeaua neuronală cu un singur strat este identică cu modelul de regresie logistică. Această funcție are o derivată continuă, care permite utilizarea acesteia în propagarea înapoi . Această funcție este, de asemenea, preferată, deoarece derivatul său este ușor de calculat:

${\ displaystyle {\ frac {\ mathrm {d} y} {\ mathrm {d} X}} = y (1-y) {\ frac {\ mathrm {d} f} {\ mathrm {d} X}} . \,}$

În ceea ce privește datele binomiale

Un model strâns legat presupune că fiecare i este asociat nu cu un singur studiu Bernoulli, ci cu n _i studii independente distribuite identic , unde observația Y _i este numărul de succese observate (suma variabilelor aleatorii distribuite individual Bernoulli) și deci urmează o distribuție binomială :

${\ displaystyle Y_ {i} \, \ sim \ operatorname {Bin} (n_ {i}, p_ {i}), {\ text {for}} i = 1, \ dots, n}$

Un exemplu al acestei distribuții este fracția de semințe ( p _i ) care germinează după plantarea n _i .

În ceea ce privește valorile așteptate , acest model este exprimat după cum urmează:

${\ displaystyle p_ {i} = \ operatorname {\ mathcal {E}} \ left [\ left. {\ frac {Y_ {i}} {n_ {i}}}, \ right | \, \ mathbf {X } _ {i} \ dreapta] \ ,,}$

astfel încât

${\ displaystyle \ operatorname {logit} \ left (\ operatorname {\ mathcal {E}} \ left [\ left. {\ frac {Y_ {i}} {n_ {i}}} \, \ right | \, \ mathbf {X} _ {i} \ right] \ right) = \ operatorname {logit} (p_ {i}) = \ ln \ left ({\ frac {p_ {i}} {1-p_ {i}}} \ right) = {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i} \ ,,}$

Sau echivalent:

${\ displaystyle \ Pr (Y_ {i} = y \ mid \ mathbf {X} _ {i}) = {n_ {i} \ alege y} p_ {i} ^ {y} (1-p_ {i}) ^ {n_ {i} -y} = {n_ {i} \ alege y} \ left ({\ frac {1} {1 + e ^ {- {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i}}}} \ right) ^ {y} \ left (1 - {\ frac {1} {1 + e ^ {- {\ boldsymbol {\ beta}} \ cdot \ mathbf {X} _ {i }}}} \ right) ^ {n_ {i} -y} \ ,.}$

Acest model poate fi potrivit utilizând aceleași tipuri de metode ca și modelul de bază de mai sus.

Bayesian

În contextul statistic Bayesian , distribuțiile anterioare sunt plasate în mod normal pe coeficienții de regresie, de obicei sub formă de distribuții gaussiene . Nu există nici un conjugat prealabil al funcției de probabilitate în regresie logistică. Când inferența bayesiană a fost efectuată analitic, acest lucru a făcut ca distribuția posterioară să fie dificil de calculat, cu excepția dimensiunilor foarte mici. Acum, totuși, software-ul automat, cum ar fi OpenBUGS , JAGS , PyMC3 , Stan sau Turing.jl, permite ca acești posteriori să fie calculați utilizând simulare, deci lipsa conjugării nu este o problemă. Cu toate acestea, atunci când dimensiunea eșantionului sau numărul parametrilor este mare, simularea Bayesiană completă poate fi lentă, iar oamenii folosesc adesea metode aproximative, cum ar fi metodele Bayesiene variaționale și propagarea așteptărilor .

Istorie

O istorie detaliată a regresiei logistice este prezentată în Cramer (2002) . Funcția logistică a fost dezvoltată ca model de creștere a populației și denumită „logistică” de Pierre François Verhulst în anii 1830 și 1840, sub îndrumarea lui Adolphe Quetelet ; vezi Funcția logistică § Istoric pentru detalii. În prima sa lucrare (1838), Verhulst nu a specificat modul în care adaptează curbele la date. În lucrarea sa mai detaliată (1845), Verhulst a determinat cei trei parametri ai modelului făcând curba să treacă prin trei puncte observate, ceea ce a dat predicții slabe.

Funcția logistică a fost dezvoltată independent în chimie ca model de autocataliză ( Wilhelm Ostwald , 1883). O reacție autocatalitică este una în care unul dintre produse este el însuși un catalizator pentru aceeași reacție, în timp ce alimentarea unuia dintre reactanți este fixă. Acest lucru dă naștere ecuației logistice din același motiv ca și creșterea populației: reacția se auto-întărește, dar constrânge.

Funcția logistică a fost redescoperită independent ca model de creștere a populației în 1920 de Raymond Pearl și Lowell Reed , publicat sub numele de Pearl & Reed (1920) , ceea ce a dus la utilizarea acesteia în statistica modernă. Inițial, ei nu erau conștienți de opera lui Verhulst și probabil că au aflat despre aceasta de la L. Gustave du Pasquier , dar nu i-au acordat puțin credit și nu i-au adoptat terminologia. Prioritatea lui Verhulst a fost recunoscută, iar termenul „logistică” a fost reînviat de Udny Yule în 1925 și a fost urmat de atunci. Pearl și Reed au aplicat mai întâi modelul populației Statelor Unite și, de asemenea, au adaptat inițial curba făcându-l să treacă prin trei puncte; ca și în cazul Verhulst, acest lucru a dat din nou rezultate slabe. eroare harvtxt: fără țintă: CITEREFPearlReed1920 ( ajutor )

În anii 1930, modelul probit a fost dezvoltat și sistematizat de Chester Ittner Bliss , care a inventat termenul „probit” în Bliss (1934) și de John Gaddum în Gaddum (1933) , iar modelul se potrivea prin estimarea maximă a probabilității de către Ronald A Fisher în Fisher (1935) , ca adaos la opera lui Bliss. Modelul probit a fost utilizat în principal în bio-test și a fost precedat de lucrări anterioare datând din 1860; vezi modelul Probit § Istorie . Modelul probit a influențat dezvoltarea ulterioară a modelului logit și aceste modele au concurat între ele. eroare harvtxt: fără țintă: CITEREFBliss1934 ( ajutor )eroare harvtxt: fără țintă: CITEREFGaddum1933 ( ajutor )eroare harvtxt: fără țintă: CITEREFFisher1935 ( ajutor )

Modelul logistic a fost probabil folosit pentru prima dată ca alternativă la modelul probit în bioanaliză de către Edwin Bidwell Wilson și studenta sa Jane Worcester în Wilson & Worcester (1943) . Cu toate acestea, dezvoltarea modelului logistic ca alternativă generală la modelul probit s-a datorat în principal activității lui Joseph Berkson de-a lungul mai multor decenii, începând cu Berkson (1944) , unde a inventat „logit”, prin analogie cu „probit”, și continuând prin Berkson (1951) și în anii următori. Modelul logit a fost inițial respins ca inferior modelului probit, dar „a obținut treptat o poziție egală cu logitul”, în special între 1960 și 1970. Până în 1970, modelul logit a atins paritatea cu modelul probit utilizat în revistele statistice și ulterior l-a depășit. Această popularitate relativă s-a datorat adoptării logitului în afara testului bio, mai degrabă decât deplasării probitului în cadrul testării bio, și utilizării sale informale în practică; popularitatea logitului este atribuită simplității de calcul, proprietăților matematice și generalității modelului logit, permițând utilizarea acestuia în domenii variate. eroare harvtxt: fără țintă: CITEREFBerkson1944 ( ajutor )eroare harvtxt: fără țintă: CITEREFBerkson1951 ( ajutor )

Diferite îmbunătățiri au avut loc în acel timp, în special de David Cox , ca în Cox (1958) .

Modelul logit multinomial a fost introdus în mod independent în Cox (1966) și Thiel (1969) , ceea ce a mărit mult domeniul de aplicare și popularitatea modelului logit. În 1973, Daniel McFadden a legat logitul multinomial de teoria alegerii discrete , în mod specific axioma alegerii lui Luce , arătând că logitul multinomial a urmat de la presupunerea independenței alternativelor irelevante și interpretând șansele alternativelor ca preferințe relative; aceasta a dat o bază teoretică pentru regresia logistică.

Extensii

Există un număr mare de extensii:

• Regresia logistică multinomială (sau logit multinomial ) tratează cazul unei variabile dependente categorice multi-mod (cu valori neordonate, numită și „clasificare”). Rețineți că cazul general de a avea variabile dependente cu mai mult de două valori se numește regresie politomică .
• Regresia logistică ordonată (sau logit ordonat ) gestionează variabilele dependente ordinale (valori ordonate).
• Logit mixt este o extensie a logit multinomial care permite corelații între opțiunile variabilei dependente.
• O extensie a modelului logistic la seturi de variabile interdependente este câmpul aleator condiționat .
• Regresia logistică condițională tratează datele potrivite sau stratificate atunci când straturile sunt mici. Este utilizat mai ales în analiza studiilor observaționale .

Software

Majoritatea programelor statistice pot face regresie logistică binară.

• SPSS
  • [1] pentru regresia logistică de bază.
• Stata
• SAS
  • PROC LOGISTIC pentru regresia logistică de bază.
  • PROC CATMOD când toate variabilele sunt categorice.
  • PROC GLIMMIX pentru regresia logistică a modelului pe mai multe niveluri .
• R
  • glm în pachetul de statistici (folosind family = binom)
  • lrmîn pachetul RMS
  • Pachet GLMNET pentru o implementare eficientă regresie logistică regularizată
  • Lmer pentru regresia logistică a efectelor mixte
  • Comandă pachet gm_logisticrapid pentru calcule rapide și grele care implică date la scară largă.
  • pachet arm pentru regresie logistică bayesiană
• Piton
  • Logitîn modulul Statsmodels .
  • LogisticRegressionîn modulul Scikit-learn .
  • LogisticRegressorîn modulul TensorFlow .
  • Exemplu complet de regresie logistică în tutorialul Theano [2]
  • Regresie logistică bayesiană cu cod anterior ARD , tutorial
  • Regresie logistică Bayes variațională cu cod anterior ARD , tutorial
  • Cod de regresie logistică bayesiană , tutorial
• NCSS
  • Regresia logistică în NCSS
• Matlab
  • mnrfitîn caseta de instrumente Statistică și învățare automată (cu „incorect” codat ca 2 în loc de 0)
  • fminunc/fmincon, fitglm, mnrfit, fitclinear, mle toți pot face regresie logistică.
• Java ( JVM )
  • LibLinear
  • Apache Flink
  • Apache Spark
    • SparkML acceptă regresia logistică
• FPGA
  • Logistic Regresesion IP coreîn HLS pentru FPGA .

În special, pachetul de extensii statistice Microsoft Excel nu îl include.

Vezi si

• Funcția logistică
• Alegere discretă
• Modelul Jarrow – Turnbull
• Variabilă dependentă limitată
• Model logit multinomial
• Logit comandat
• Test Hosmer – Lemeshow
• Scorul Brier
• mlpack - conține o implementare C ++ a regresiei logistice
• Eșantionare locală de caz-control
• Arborele modelului logistic

Referințe

Lecturi suplimentare

linkuri externe

• Medii legate de regresia logistică la Wikimedia Commons
• Lectură de econometrie (subiect: Model Logit) pe YouTube de Mark Thoma
• Tutorial de regresie logistică
• mlelr : software în C pentru scopuri didactice