Lineær forudsigelsesfunktion - Linear predictor function

I statistik og i maskinindlæring er en lineær forudsigelsesfunktion en lineær funktion ( lineær kombination ) af et sæt koefficienter og forklarende variabler ( uafhængige variabler ), hvis værdi bruges til at forudsige resultatet af en afhængig variabel . Denne form for funktion kommer normalt i lineær regression , hvor koefficienterne kaldes regressionskoefficienter . Imidlertid forekommer de også i forskellige typer lineære klassifikatorer (f.eks. Logistisk regression , perceptroner , understøttelsesvektormaskiner og lineær diskriminantanalyse ) såvel som i forskellige andre modeller, såsom hovedkomponentanalyse og faktoranalyse . I mange af disse modeller omtales koefficienterne som "vægte".

Definition

Den grundlæggende form for en lineær forudsigelsesfunktion for datapunkt i (bestående af p VOs.2.1-variabler ), for i = 1, ..., n , er ${\ displaystyle f (i)}$

{\ displaystyle f (i) = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip},}

hvor , for k = 1, ..., p , er værdien af den k- th forklarende variabel for datapunkt i og er koefficienterne (regressionskoefficienter, vægte osv.), der angiver den relative effekt af en bestemt forklarende variabel på resultatet . ${\ displaystyle x_ {ik}}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {p}}$

Notationer

Det er almindeligt at skrive forudsigelsesfunktionen i en mere kompakt form som følger:

Koefficienterne β ₀ , β ₁ , ..., β _p er grupperet i en enkelt vektor β af størrelse p + 1.
For hvert datapunkt i en yderligere forklarende pseudo-variabel x _{i 0} tilsættes, med en fast værdi på 1, svarende til skæringspunktet koefficienten β ₀ .
De resulterende forklarende variabler x _i0 (= 1), x _{i 1} , ..., x _ip grupperes derefter i en enkelt vektor x _i størrelse p + 1.

Vector notation

Dette gør det muligt at skrive den lineære forudsigelsesfunktion som følger:

{\ displaystyle f (i) = {\ boldsymbol {\ beta}} \ cdot \ mathbf {x} _ {i}}

ved hjælp af notationen til et prikprodukt mellem to vektorer.

Matrixnotation

En ækvivalent form ved hjælp af matrixnotation er som følger:

{\ displaystyle f (i) = {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} = \ mathbf {x} _ {i} ^ {\ mathrm {T} } {\ boldsymbol {\ beta}}}

hvor og antages at være en (p + 1) -by-1 søjlevektorer , er matrixen transponeret af (så er en 1-ved- (p + 1) rækkevektor ) og indikerer matrixmultiplikation mellem 1-by - (p + 1) rækkevektor og (p + 1) -by-1 søjlevektoren, der producerer en 1-for-1 matrix, der anses for at være en skalar . ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i}}$

Lineær regression

Et eksempel på brugen af en lineær forudsigelsesfunktion er i lineær regression , hvor hvert datapunkt er forbundet med et kontinuerligt resultat y _i , og forholdet er skrevet

{\ displaystyle y_ {i} = f (i) + \ varepsilon _ {i} = {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} \ + \ varepsilon _ {jeg},}

hvor er en forstyrrelsesperiode eller fejlvariabel - en ikke- observeret tilfældig variabel, der tilføjer støj til det lineære forhold mellem den afhængige variabel og forudsigelsesfunktionen. ${\ displaystyle \ varepsilon _ {i}}$

Stabler

I nogle modeller (især standard lineær regression) stables ligningerne for hvert af datapunkterne i = 1, ..., n og skrives i vektorform som

{\ displaystyle \ mathbf {y} = \ mathbf {X} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \,}

hvor

{\ displaystyle \ mathbf {y} = {\ begin {pmatrix} y_ {1} \\ y_ {2} \\\ vdots \\ y_ {n} \ end {pmatrix}}, \ quad \ mathbf {X} = {\ begin {pmatrix} \ mathbf {x} '_ {1} \\\ mathbf {x}' _ {2} \\\ vdots \\\ mathbf {x} '_ {n} \ end {pmatrix}} = {\ begin {pmatrix} x_ {11} & \ cdots & x_ {1p} \\ x_ {21} & \ cdots & x_ {2p} \\\ vdots & \ ddots & \ vdots \\ x_ {n1} & \ cdots & x_ {np} \ end {pmatrix}}, \ quad {\ boldsymbol {\ beta}} = {\ begin {pmatrix} \ beta _ {1} \\\ vdots \\\ beta _ {p} \ end {pmatrix }}, \ quad {\ boldsymbol {\ varepsilon}} = {\ begin {pmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ vdots \\\ varepsilon _ {n} \ end {pmatrix }}.}

Matrixen X er kendt som designmatrixen og koder for al kendt information om de uafhængige variabler . Variablerne er tilfældige variabler , som i standard lineær regression er fordelt efter en standardnormalfordeling ; de udtrykker indflydelsen fra ukendte faktorer på resultatet. ${\ displaystyle \ varepsilon _ {i}}$

Dette gør det muligt at finde optimale koefficienter gennem metoden med mindste kvadrater ved hjælp af enkle matrixoperationer. Især kan de optimale koefficienter, som estimeres af mindst kvadrater, skrives som følger: ${\ displaystyle {\ boldsymbol {\ hat {\ beta}}}}$

{\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}} \ mathbf {y}.}

Matrixen er kendt som Moore-Penrose pseudoinverse af X . Anvendelsen af invers matrix i denne formel kræver, at X er af fuld rang , dvs. der er ikke perfekt multikollinearitet blandt forskellige forklarende variabler (dvs. ingen forklarende variabel kan forudsiges perfekt fra de andre). I sådanne tilfælde kan nedbrydningen af entalværdien bruges til at beregne pseudoinversen. ${\ displaystyle (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}}}$

De forklarende variabler

Selvom resultaterne (afhængige variabler), der skal forudsiges, antages at være tilfældige variabler , antages de forklarende variabler normalt ikke at være tilfældige. I stedet antages de at være faste værdier, og eventuelle tilfældige variabler (f.eks. Resultaterne) antages at være betingede af dem. Som et resultat er dataanalytikeren fri til at transformere de forklarende variabler på vilkårlige måder, herunder at oprette flere kopier af en given forklarende variabel, hver transformeret ved hjælp af en anden funktion. Andre almindelige teknikker er at oprette nye forklarende variabler i form af interaktionsvariabler ved at tage produkter af to (eller nogle gange flere) eksisterende forklarende variabler.

Når et fast sæt af ikke-lineære funktioner bruges til at omdanne værdien / værdierne for et datapunkt, er disse funktioner kendt som basisfunktioner . Et eksempel er polynomregression , der bruger en lineær forudsigelsesfunktion til at passe til en vilkårlig grad af polynomisk forhold (op til en given rækkefølge) mellem to sæt datapunkter (dvs. en enkelt reelt vurderet forklaringsvariabel og en relateret realværdiafhængig variabel) ved at tilføje flere forklarende variabler svarende til forskellige beføjelser i den eksisterende forklarende variabel. Matematisk ser formen sådan ud:

{\ displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {p} x_ {i} ^ {p}.}

I dette tilfælde oprettes et sæt forklarende variabler for hvert datapunkt i som følger:

{\ displaystyle (x_ {i1} = x_ {i}, \ quad x_ {i2} = x_ {i} ^ {2}, \ quad \ ldots, \ quad x_ {ip} = x_ {i} ^ {p} )}

og derefter køres standard lineær regression . Grundfunktionerne i dette eksempel ville være

{\ displaystyle {\ boldsymbol {\ phi}} (x) = (\ phi _ {1} (x), \ phi _ {2} (x), \ ldots, \ phi _ {p} (x)) = (x, x ^ {2}, \ ldots, x ^ {p}).}

Dette eksempel viser, at en lineær forudsigelsesfunktion faktisk kan være meget kraftigere, end den først ser ud: Den skal kun virkelig være lineær i koefficienterne . Alle mulige ikke-lineære funktioner i de forklarende variabler kan tilpasses af modellen.

Der er ikke noget specielt behov for, at input til basisfunktioner er univariate eller enkeltdimensionale (eller deres output for den sags skyld, selvom en K- dimensionel outputværdi sandsynligvis i et sådant tilfælde vil blive behandlet som K separat skalar-output basisfunktioner). Et eksempel på dette er radiale basisfunktioner (RBF'er), der beregner en transformeret version af afstanden til et eller andet fast punkt:

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = \ phi (|| \ mathbf {x} - \ mathbf {c} ||) = \ phi ({\ sqrt {(x_ {1) } -c_ {1}) ^ {2} + \ ldots + (x_ {K} -c_ {K}) ^ {2}}})}

Et eksempel er den Gaussiske RBF, som har den samme funktionelle form som normalfordelingen :

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = e ^ {- b || \ mathbf {x} - \ mathbf {c} || ^ {2}}}

som falder hurtigt ned, når afstanden fra c øges.

En mulig brug af RBF'er er at oprette en for hvert observerede datapunkt. Dette betyder, at resultatet af en RBF anvendt på et nyt datapunkt vil være tæt på 0, medmindre det nye punkt er tæt på det punkt, hvor RBF blev anvendt. Det vil sige, anvendelsen af de radiale basisfunktioner vælger det nærmeste punkt, og dets regressionskoefficient vil dominere. Resultatet vil være en form for nærmeste nabointerpolation , hvor forudsigelser foretages ved simpelthen at bruge forudsigelsen af det nærmeste observerede datapunkt, muligvis interpolere mellem flere nærliggende datapunkter, når de alle er ens afstande væk. Denne type nærmeste nabometode til forudsigelse betragtes ofte som diametralt modsat den type forudsigelse, der anvendes i standard lineær regression: Men faktisk er de transformationer, der kan anvendes på de forklarende variabler i en lineær forudsigelsesfunktion, så kraftige, at selv den nærmeste nabometoden kan implementeres som en type lineær regression.

Det er endda muligt at tilpasse nogle funktioner, der vises ikke-lineære i koefficienterne ved at omdanne koefficienterne til nye koefficienter, der synes lineære. For eksempel kan en funktion af formen for koefficienter omdannes til den passende lineære funktion ved at anvende de substitutioner, der fører til hvilke er lineære. Lineær regression og lignende teknikker kunne anvendes og vil ofte stadig finde de optimale koefficienter, men deres fejlestimater og sådan vil være forkert. ${\ displaystyle a + b ^ {2} x_ {i1} + {\ sqrt {c}} x_ {i2}}$ ${\ displaystyle a, b, c}$ ${\ displaystyle b '= b ^ {2}, c' = {\ sqrt {c}},}$ ${\ displaystyle a + b'x_ {i1} + c'x_ {i2},}$

De forklarende variabler kan være af enhver art : reelt vurderet , binært , kategorisk osv. Den væsentligste forskel er mellem kontinuerlige variabler (f.eks. Indkomst, alder, blodtryk osv.) Og diskrete variabler (f.eks. Køn, race, politisk parti, etc.). Diskrete variabler, der henviser til mere end to mulige valg, kodes typisk ved hjælp af dummyvariabler (eller indikatorvariabler ), dvs. separate forklarende variabler, der tager værdien 0 eller 1, oprettes for hver mulige værdi af den diskrete variabel, med en 1, der betyder "variabel har den givne værdi "og en 0, der betyder" variabel har ikke den givne værdi ". For eksempel vil en firevejs diskret variabel af blodtype med de mulige værdier "A, B, AB, O" blive konverteret til separate tovejs dummyvariabler, "er-A, er-B, er-AB, er -O ", hvor kun en af dem har værdien 1 og resten har værdien 0. Dette giver mulighed for at matche separate regressionskoefficienter for hver mulige værdi af den diskrete variabel.

Bemærk, at for K- kategorier er ikke alle K- dummy-variabler uafhængige af hinanden. For eksempel i ovenstående blodtypeeksempel er kun tre af de fire dummyvariabler uafhængige, i den forstand at når først værdierne for tre af variablerne er kendt, bestemmes den fjerde automatisk. Således er det egentlig kun nødvendigt at kode tre af de fire muligheder som dummyvariabler, og faktisk, hvis alle fire muligheder er kodet, bliver den overordnede model ikke- identificerbar . Dette medfører problemer for en række metoder, såsom den enkle løsning med lukket form, der anvendes i lineær regression. Løsningen er enten at undgå sådanne tilfælde ved at eliminere en af dummy-variablerne og / eller indføre en reguleringsbegrænsning (hvilket nødvendiggør en mere kraftfuld, typisk iterativ metode til at finde de optimale koefficienter).

Languages

In other projects