Linjär prediktorfunktion - Linear predictor function

I statistik och maskininlärning är en linjär prediktorfunktion en linjär funktion ( linjär kombination ) av en uppsättning koefficienter och förklarande variabler ( oberoende variabler ), vars värde används för att förutsäga resultatet av en beroende variabel . Denna typ av funktion kommer vanligtvis i linjär regression , där koefficienterna kallas regressionskoefficienter . De förekommer dock också i olika typer av linjära klassificeringsapparater (t.ex. logistisk regression , perceptroner , stödvektormaskiner och linjär diskriminantanalys ), liksom i olika andra modeller, såsom huvudkomponentanalys och faktoranalys . I många av dessa modeller kallas koefficienterna "vikter".

Definition

Grundformen för en linjär prediktorfunktion för datapunkt i (som består av p VOs.2.1-variabler ), för i = 1, ..., n , är ${\ displaystyle f (i)}$

{\ displaystyle f (i) = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip},}

där , för k = 1, ..., p , är värdet på den k- förklarande variabeln för datapunkt i , och är koefficienterna (regressionskoefficienter, vikter etc.) som indikerar den relativa effekten av en viss förklarande variabel på resultatet . ${\ displaystyle x_ {ik}}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {p}}$

Noteringar

Det är vanligt att skriva prediktorfunktionen i en mer kompakt form enligt följande:

Koefficienterna β ₀ , β ₁ , ..., β _p grupperas i en enda vektor β av storlek p + 1.
För varje datapunkt i ett ytterligare förklarande pseudo variabel x _{i 0} tillsättes, med ett fast värde på 1, som motsvarar den intercept koefficienten β ₀ .
De resulterande förklarande variablerna x _i0 (= 1), x _{i 1} , ..., x _ip grupperas sedan i en enda vektor x _i storlek p + 1.

Vector notation

Detta gör det möjligt att skriva den linjära prediktorfunktionen på följande sätt:

{\ displaystyle f (i) = {\ boldsymbol {\ beta}} \ cdot \ mathbf {x} _ {i}}

använder notationen för en punktprodukt mellan två vektorer.

Matrisnotation

En motsvarande form som använder matrisnotering är som följer:

{\ displaystyle f (i) = {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} = \ mathbf {x} _ {i} ^ {\ mathrm {T} } {\ boldsymbol {\ beta}}}

där och antas vara en (p + 1) -by-1 kolumnvektorer , är matrisen transponerad av (så är en 1-by- (p + 1) radvektor ) och indikerar matrixmultiplikation mellan 1-by - (p + 1) radvektor och (p + 1) -by-1-kolumnvektorn, vilket ger en 1-för-1-matris som anses vara en skalär . ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i}}$

Linjär regression

Ett exempel på användningen av en linjär prediktorfunktion är i linjär regression , där varje datapunkt är associerad med ett kontinuerligt resultat y _i , och förhållandet skrivet

{\ displaystyle y_ {i} = f (i) + \ varepsilon _ {i} = {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} \ + \ varepsilon _ {i},}

var är en störningsterm eller felvariabel - en obemärkt slumpmässig variabel som lägger till brus i det linjära förhållandet mellan den beroende variabeln och prediktorfunktionen. ${\ displaystyle \ varepsilon _ {i}}$

Stapling

I vissa modeller (i synnerhet standard linjär regression) staplas ekvationerna för var och en av datapunkterna i = 1, ..., n tillsammans och skrivs i vektorform som

{\ displaystyle \ mathbf {y} = \ mathbf {X} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \,}

var

{\ displaystyle \ mathbf {y} = {\ begin {pmatrix} y_ {1} \\ y_ {2} \\\ vdots \\ y_ {n} \ end {pmatrix}}, \ quad \ mathbf {X} = {\ begin {pmatrix} \ mathbf {x} '_ {1} \\\ mathbf {x}' _ {2} \\\ vdots \\\ mathbf {x} '_ {n} \ end {pmatrix}} = {\ begin {pmatrix} x_ {11} & \ cdots & x_ {1p} \\ x_ {21} & \ cdots & x_ {2p} \\\ vdots & \ ddots & \ vdots \\ x_ {n1} & \ cdots & x_ {np} \ end {pmatrix}}, \ quad {\ boldsymbol {\ beta}} = {\ begin {pmatrix} \ beta _ {1} \\\ vdots \\\ beta _ {p} \ end {pmatrix }}, \ quad {\ boldsymbol {\ varepsilon}} = {\ begin {pmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ vdots \\\ varepsilon _ {n} \ end {pmatrix }}.}

Matrisen X är känd som designmatrisen och kodar all känd information om de oberoende variablerna . Variablerna är slumpmässiga variabler , som i standard linjär regression fördelas enligt en normal normalfördelning ; de uttrycker påverkan av okända faktorer på resultatet. ${\ displaystyle \ varepsilon _ {i}}$

Detta gör det möjligt att hitta optimala koefficienter genom metoden för minsta kvadrater med enkla matrisoperationer. I synnerhet kan de optimala koefficienterna som uppskattas av minsta kvadrater skrivas enligt följande: ${\ displaystyle {\ boldsymbol {\ hat {\ beta}}}}$

{\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}} \ mathbf {y}.}

Matrisen är känd som Moore-Penrose pseudoinverse av X . Användningen av matrisen invers i denna formel kräver att X har full rang , dvs det finns inte perfekt multikollinearitet bland olika förklarande variabler (dvs ingen förklarande variabel kan perfekt förutsägas från de andra). I sådana fall kan nedbrytningen av singulärt värde användas för att beräkna pseudoinversen. ${\ displaystyle (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}}}$

De förklarande variablerna

Även om resultaten (beroende variabler) som ska förutses antas vara slumpmässiga variabler antas de förklarande variablerna vanligtvis inte vara slumpmässiga. Istället antas de vara fasta värden, och alla slumpmässiga variabler (t.ex. resultaten) antas vara villkorade av dem. Som ett resultat är dataanalytikern fri att transformera de förklarande variablerna på godtyckliga sätt, inklusive att skapa flera kopior av en given förklarande variabel, var och en transformerad med en annan funktion. Andra vanliga tekniker är att skapa nya förklarande variabler i form av interaktionsvariabler genom att ta produkter av två (eller ibland fler) befintliga förklarande variabler.

När en fast uppsättning icke-linjära funktioner används för att omvandla värdet / värdena för en datapunkt, är dessa funktioner kända som basfunktioner . Ett exempel är polynomregression , som använder en linjär prediktorfunktion för att passa en godtycklig grad av polynomförhållande (upp till en given ordning) mellan två uppsättningar datapunkter (dvs. en enda realvärderad förklarande variabel och en relaterad realvärderad beroende variabel) , genom att lägga till flera förklarande variabler motsvarande olika befogenheter hos den befintliga förklarande variabeln. Matematiskt ser formen ut så här:

{\ displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {p} x_ {i} ^ {p}.}

I detta fall skapas för varje datapunkt i en uppsättning förklarande variabler enligt följande:

{\ displaystyle (x_ {i1} = x_ {i}, \ quad x_ {i2} = x_ {i} ^ {2}, \ quad \ ldots, \ quad x_ {ip} = x_ {i} ^ {p} )}

och sedan körs standard linjär regression . Grundfunktionerna i detta exempel skulle vara

{\ displaystyle {\ boldsymbol {\ phi}} (x) = (\ phi _ {1} (x), \ phi _ {2} (x), \ ldots, \ phi _ {p} (x)) = (x, x ^ {2}, \ ldots, x ^ {p}).}

Det här exemplet visar att en linjär prediktorfunktion faktiskt kan vara mycket kraftfullare än den först verkar: Den behöver bara vara linjär i koefficienterna . Alla typer av icke-linjära funktioner i de förklarande variablerna kan passas av modellen.

Det finns inget särskilt behov av att ingångarna ska basera funktioner för att vara univariata eller endimensionella (eller deras utgångar för den delen, även om i ett sådant fall sannolikt ett K- dimensionellt utgångsvärde sannolikt kommer att behandlas som K separat skalarutgång basfunktioner). Ett exempel på detta är radiella basfunktioner (RBF), som beräknar någon transformerad version av avståndet till någon fast punkt:

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = \ phi (|| \ mathbf {x} - \ mathbf {c} ||) = \ phi ({\ sqrt {(x_ {1) } -c_ {1}) ^ {2} + \ ldots + (x_ {K} -c_ {K}) ^ {2}}})}

Ett exempel är Gauss RBF, som har samma funktionella form som normalfördelningen :

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = e ^ {- b || \ mathbf {x} - \ mathbf {c} || ^ {2}}}

som sjunker snabbt när avståndet från c ökar.

En möjlig användning av RBF är att skapa en för varje observerad datapunkt. Detta innebär att resultatet av en RBF som appliceras på en ny datapunkt kommer att vara nära 0 såvida inte den nya punkten är nära den punkt runt vilken RBF applicerades. Användningen av de radiella basfunktionerna kommer att välja den närmaste punkten och dess regressionskoefficient kommer att dominera. Resultatet blir en form av närmaste granneinterpolering , där förutsägelser görs genom att helt enkelt använda förutsägelsen av närmaste observerade datapunkt, eventuellt interpolera mellan flera närliggande datapunkter när de alla är lika avstånd bort. Denna typ av närmaste grannmetod för förutsägelse anses ofta vara diametralt motsatt den typ av förutsägelse som används i standard linjär regression: Men faktiskt är de transformationer som kan tillämpas på de förklarande variablerna i en linjär prediktorfunktion så kraftiga att även de närmaste grannmetoden kan implementeras som en typ av linjär regression.

Det är till och med möjligt att passa in vissa funktioner som verkar olinjära i koefficienterna genom att omvandla koefficienterna till nya koefficienter som verkar linjära. Till exempel kan en funktion av formen för koefficienter omvandlas till lämplig linjär funktion genom att tillämpa de substitutioner som leder till vilka är linjära. Linjär regression och liknande tekniker kan tillämpas och kommer ofta fortfarande att hitta de optimala koefficienterna, men deras felberäkningar och sådana kommer att vara fel. ${\ displaystyle a + b ^ {2} x_ {i1} + {\ sqrt {c}} x_ {i2}}$ ${\ displaystyle a, b, c}$ ${\ displaystyle b '= b ^ {2}, c' = {\ sqrt {c}},}$ ${\ displaystyle a + b'x_ {i1} + c'x_ {i2},}$

De förklarande variablerna kan vara av vilken typ som helst : verkligt värderade , binära , kategoriska etc. Den huvudsakliga skillnaden är mellan kontinuerliga variabler (t.ex. inkomst, ålder, blodtryck , etc.) och diskreta variabler (t.ex. kön, ras, politiskt parti, etc.). Diskreta variabler som hänvisar till mer än två möjliga val kodas vanligtvis med dummyvariabler (eller indikatorvariabler ), dvs separata förklarande variabler som tar värdet 0 eller 1 skapas för varje möjligt värde för den diskreta variabeln, med en 1 som betyder "variabel har det givna värdet "och en 0 som betyder" variabeln har inte det givna värdet ". Till exempel skulle en fyrvägs diskret variabel av blodtyp med de möjliga värdena "A, B, AB, O" omvandlas till separata tvåvägs dummyvariabler, "är-A, är-B, är-AB, är -O ", där endast en av dem har värdet 1 och resten har värdet 0. Detta möjliggör att separata regressionskoefficienter kan matchas för varje möjligt värde för den diskreta variabeln.

Observera att för K- kategorier är inte alla K- dummyvariabler oberoende av varandra. Till exempel, i ovanstående blodtypsexempel är endast tre av de fyra dummyvariablerna oberoende, i den meningen att när väl värdena för tre av variablerna är kända, bestäms den fjärde automatiskt. Därför är det egentligen bara nödvändigt för att koda tre av de fyra möjligheter som dummyvariabler, och i själva verket om alla fyra möjligheter kodas blir den totala modellen icke identifierbara . Detta orsakar problem för ett antal metoder, såsom den enkla slutna lösningen som används vid linjär regression. Lösningen är antingen att undvika sådana fall genom att eliminera en av dummyvariablerna och / eller införa en regelbundenhetsbegränsning (vilket kräver en mer kraftfull, typiskt iterativ, metod för att hitta de optimala koefficienterna).

Languages

In other projects