Wald -test - Wald test

I statistikk , den Wald test (oppkalt etter Abraham Wald ) vurderer begrensninger på statistiske parametere basert på veiet avstanden mellom de frie anslag og dens Hypotetisk verdi under nullhypotese , hvor vekten er presisjonen av anslaget. Intuitivt, jo større denne veide avstanden er, desto mindre sannsynlig er det at begrensningen er sann. Selv om de endelige prøvefordelingene av Wald -tester generelt er ukjente, har den en asymptotisk χ ² -fordeling under nullhypotesen, et faktum som kan brukes til å bestemme statistisk signifikans .

Sammen med Lagrange-multiplikator-testen og sannsynlighetsforholdstesten er Wald-testen en av tre klassiske tilnærminger til hypotesetesting . En fordel med Wald-testen fremfor de to andre er at den bare krever estimering av den ubegrensede modellen, noe som senker beregningsbyrden sammenlignet med sannsynlighetsforholdstesten. Imidlertid er en stor ulempe at (i begrensede prøver) det ikke er uforanderlig for endringer i representasjonen av nullhypotesen; med andre ord, algebraisk ekvivalente uttrykk for ikke-lineær parameterbegrensning kan føre til forskjellige verdier av teststatistikken. Det er fordi Wald -statistikken er avledet fra en Taylor -ekspansjon , og forskjellige måter å skrive likeverdige ikke -lineære uttrykk på fører til ikke -kommersielle forskjeller i de tilsvarende Taylor -koeffisientene. En annen avvik, kjent som Hauck - Donner -effekten, kan forekomme i binomiske modeller når den estimerte (ubegrensede) parameteren er nær grensen til parameterrommet - for eksempel en tilpasset sannsynlighet er ekstremt nær null eller en - noe som resulterer i Wald -testen øker ikke lenger monotont i avstanden mellom den ubegrensede og begrensede parameteren.

Matematiske detaljer

Under Wald -testen blir estimatet som ble funnet som det maksimerende argumentet for den ubegrensede sannsynlighetsfunksjonen, sammenlignet med en hypotetisert verdi . Spesielt er den kvadratiske forskjellen vektet av krumningen av log-sannsynlighetsfunksjonen. ${\ displaystyle {\ hat {\ theta}}}$ ${\ displaystyle \ theta _ {0}}$ ${\ displaystyle {\ hat {\ theta}}-\ theta _ {0}}$

Test på en enkelt parameter

Hvis hypotesen bare involverer en enkelt parameterbegrensning, tar Wald -statistikken følgende form:

{\ displaystyle W = {\ frac {{({\ widehat {\ theta}}-\ theta _ {0})}^{2}} {\ operatorname {var} ({\ hat {\ theta}})} }}

som under nullhypotesen følger en asymptotisk χ ² -fordeling med én grad av frihet. Kvadratroten til Wald -statistikken med enkel restriksjon kan forstås som en (pseudo) t -forhold som imidlertid ikke er t -distribuert bortsett fra det spesielle tilfellet av lineær regresjon med normalfordelte feil. Generelt følger den en asymptotisk z -fordeling .

{\ displaystyle {\ sqrt {W}} = {\ frac {{\ widehat {\ theta}}-\ theta _ {0}} {\ operatorname {se} ({\ hat {\ theta}})}}}}}

hvor er standardfeilen for estimatet for maksimal sannsynlighet (MLE), kvadratroten til variansen. Det er flere måter å konsekvent beregne den variansen matrise som i endelig prøver fører til alternative estimater av standardfeilene og tilhørende teststatistikk og p -verdier . ${\ displaystyle \ operatorname {se} ({\ widehat {\ theta}})}$

Test (er) på flere parametere

Wald -testen kan brukes til å teste en enkelt hypotese på flere parametere, samt å teste flere hypoteser i fellesskap på enkelt/flere parametere. La være vår prøve estimator av P parametere (dvs. er en vektor), noe som er ment å følge asymptotisk en normalfordeling med kovariansmatrise V , . Testen av Q -hypoteser på P -parameterne uttrykkes med en matrise R : ${\ displaystyle {\ hat {\ theta}} _ {n}}$ ${\ displaystyle {\ hat {\ theta}} _ {n}}$ ${\ displaystyle P \ ganger 1}$ ${\ displaystyle {\ sqrt {n}} ({\ hat {\ theta}} _ {n}-\ theta) \, \ xrightarrow {\ mathcal {D}} \, N (0, V)}$ ${\ displaystyle Q \ ganger P}$

{\ displaystyle H_ {0}: R \ theta = r}

{\ displaystyle H_ {1}: R \ theta \ neq r}

Teststatistikken er:

{\ displaystyle (R {\ hat {\ theta}} _ {n} -r) '[R ({\ hat {V}} _ {n}/n) R']^{-1} (R {\ hatt {\ theta}} _ {n} -r) \ quad \ xrightarrow {\ mathcal {D}} \ quad \ chi _ {Q}^{2}}

hvor er en estimator av kovariansmatrisen. ${\ displaystyle {\ hat {V}} _ {n}}$

Bevis

Anta . Deretter, med Slutskys teorem og med egenskapene til normalfordelingen , multipliserer med R har fordelingen: ${\ displaystyle {\ sqrt {n}} ({\ hat {\ theta}} _ {n}-\ theta) \, \ xrightarrow {\ mathcal {D}} \, N (0, V)}$

{\ displaystyle R {\ sqrt {n}} ({\ hat {\ theta}} _ {n}-\ theta) = {\ sqrt {n}} (R {\ hat {\ theta}} _ {n} -r) \, \ xrightarrow {\ mathcal {D}} \, N (0, RVR ')}

Minner om at en kvadratisk form for normalfordeling har en Chi-kvadratfordeling :

{\ displaystyle {\ sqrt {n}} (R {\ hat {\ theta}} _ {n} -r) '[RVR']^{-1} {\ sqrt {n}} (R {\ hat { \ theta}} _ {n} -r) \, \ xrightarrow {\ mathcal {D}} \, \ chi _ {Q}^{2}}

Omorganisering n gir til slutt:

{\ displaystyle (R {\ hat {\ theta}} _ {n} -r) '[R (V/n) R']^{-1} (R {\ hat {\ theta}} _ {n} -r) \ quad \ xrightarrow {\ mathcal {D}} \ quad \ chi _ {Q}^{2}}

Hva om kovariansmatrisen ikke er kjent a-priori og må estimeres ut fra dataene? Hvis vi har en konsekvent estimator av , har vi ved uavhengigheten til kovariansestimatoren og ligningen ovenfor: ${\ displaystyle {\ hat {V}} _ {n} \ sim \ chi _ {nP}^{2}}$ ${\ displaystyle V}$

{\ displaystyle (R {\ hat {\ theta}} _ {n} -r) '[R ({\ hat {V}} _ {n}/n) R']^{-1} (R {\ hatt {\ theta}} _ {n} -r) \ quad \ xrightarrow {\ mathcal {D}} \ quad F (Q, nP)}

Ikke -lineær hypotese

I standardform, blir den Wald testen brukes til å teste lineære hypoteser som kan representeres ved en enkelt matrise R . Hvis man ønsker å teste en ikke-lineær hypotese om skjemaet:

{\ displaystyle H_ {0}: c (\ theta) = 0}

{\ displaystyle H_ {1}: c (\ theta) \ neq 0}

Teststatistikken blir:

{\ displaystyle c \ left ({\ hat {\ theta}} _ {n} \ right) '\ left [c' \ left ({\ hat {\ theta}} _ {n} \ right) \ left ({ \ hat {V}} _ {n}/n \ høyre) c '\ venstre ({\ hat {\ theta}} _ {n} \ høyre)' \ høyre]^{-1} c \ venstre ({\ hatt {\ theta}} _ {n} \ right) \ quad {\ xrightarrow {\ mathcal {D}}} \ quad \ chi _ {Q}^{2}}

hvor er derivatet av c evaluert ved prøveestimatoren. Dette resultatet oppnås ved bruk av delta -metoden , som bruker en tilnærming til første ordre av variansen. ${\ displaystyle c '({\ hat {\ theta}} _ {n})}$

Ikke-invarians til re-parameteriseringer

Det faktum at man bruker en tilnærming til variansen har den ulempen at Wald-statistikken ikke er invariant for en ikke-lineær transformasjon/reparametrisering av hypotesen: den kan gi forskjellige svar på det samme spørsmålet, avhengig av hvordan spørsmålet er formulert . For eksempel spør om R = 1 er det samme som å spørre om logg R = 0; men Wald -statistikken for R = 1 er ikke den samme som Wald -statistikken for logg R = 0 (fordi det generelt ikke er et pent forhold mellom standardfeilene til R og log R , så den må tilnærmes).

Alternativer til Wald -testen

Det finnes flere alternativer til Wald-testen, nemlig sannsynlighetsforholdstesten og Lagrange-multiplikator-testen (også kjent som score-testen). Robert F. Engle viste at disse tre testene, Wald-testen, sannsynlighetsforholdstesten og Lagrange-multiplikator-testen er asymptotisk ekvivalente . Selv om de er asymptotisk likeverdige, i endelige prøver, kan de være uenige nok til å føre til forskjellige konklusjoner.

Det er flere grunner til å foretrekke sannsynlighetsforholdstesten eller Lagrange -multiplikatoren fremfor Wald -testen:

Non-invarians: Som hevdet ovenfor, Wald testen er ikke invariant henhold reparametrization, mens sannsynligheten ratio testene vil gi nøyaktig det samme svaret om vi jobbe med R , logg R eller annen monoton transformasjon av R .
Den andre grunnen er at Wald -testen bruker to tilnærminger (at vi kjenner standardfeilen, og at fordelingen er χ ² ), mens sannsynlighetsforholdstesten bruker en tilnærming (at fordelingen er χ ² ).
Wald -testen krever et estimat under den alternative hypotesen, som tilsvarer den "fulle" modellen. I noen tilfeller er modellen enklere under nullhypotesen, slik at man kanskje foretrekker å bruke score -testen (også kalt Lagrange multiplier test), som har fordelen at den kan formuleres i situasjoner der variabiliteten er vanskelig å estimere; f.eks. er Cochran – Mantel – Haenzel -testen en poengsumtest.

Se også

Referanser

Videre lesning

Greene, William H. (2012). Econometric Analysis (syvende internasjonale utg.). Boston: Pearson. s. 155 –161. ISBN 978-0-273-75356-8.
Kmenta, Jan (1986). Elements of Econometrics (andre utg.). New York: Macmillan. s. 492–493 . ISBN 0-02-365070-2.
Thomas, RL (1993). Introductory Econometrics: Theory and Application (andre utg.). London: Longman. s. 73–77. ISBN 0-582-07378-2.

Eksterne linker

Wald -test på de tidligste kjente bruksområdene til noen av matematikkordene

Languages

In other projects