Lineaarinen ennustintoiminto - Linear predictor function

In tilastojen ja kone oppimiseen , joka on lineaarinen ennustin funktio on lineaarinen funktio ( lineaarinen yhdistelmä ), joka on joukko kertoimia, ja selittävien muuttujien ( riippumattomia muuttujia ), jonka arvoa käytetään ennustaa on riippuva muuttuja . Tällainen funktio tulee yleensä lineaarisessa regressiossa , jossa kertoimia kutsutaan regressiokertoimiksi . Niitä esiintyy kuitenkin myös erityyppisissä lineaarisissa luokittelijoissa (esim. Logistinen regressio , perceptronit , tukivektorikoneet ja lineaarinen diskriminanttianalyysi ) sekä monissa muissa malleissa, kuten pääkomponenttianalyysi ja tekijäanalyysi . Monissa näistä malleista kertoimia kutsutaan "painoksi".

Määritelmä

Lineaarisen ennustefunktion perusmuoto datapisteelle i (joka koostuu p VO.2.1-muuttujista ), kun i = 1, ..., n , on ${\ displaystyle f (i)}$

{\ displaystyle f (i) = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip},}

jossa , sillä k = 1, ..., p , on arvo k: nnen selittävänä muuttujana tietojen kohta i , ja ovat kertoimet (regressiokertoimet, painot, jne.), joka osoittaa suhteellinen vaikutus tietyn selittävän muuttujan on lopputulos . ${\ displaystyle x_ {ik}}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {p}}$

Merkinnät

Ennustefunktio on tavallista kirjoittaa kompaktimmassa muodossa seuraavasti:

Kertoimet β ₀ , β ₁ , ..., β _p on ryhmitelty yhdeksi vektoriksi p , jonka koko on p + 1.
Kullekin aineiston pisteelle i , ylimääräinen selittävä pseudo-muuttuja x _{i 0} lisätään, jossa on kiinteä arvo on 1, joka vastaa leikkauspiste kertoimen β ₀ .
Tuloksena selittävät muuttujat x _i0 (= 1), x _{i 1} , ..., x _ip ryhmitellään sitten yksittäinen vektori x _i , jonka koko on s + 1.

Vektorimerkintä

Tämä mahdollistaa lineaarisen ennustefunktion kirjoittamisen seuraavasti:

{\ displaystyle f (i) = {\ lihavoitu symboli {\ beta}} \ cdot \ mathbf {x} _ {i}}

käyttämällä kahden vektorin välisen pistetuotteen merkintää .

Matriisikirjaus

Vastaava matriisimerkintää käyttävä muoto on seuraava:

{\ displaystyle f (i) = {\ lihavoitu symboli {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} = \ mathbf {x} _ {i} ^ {\ mathrm {T} } {\ boldsymbol {\ beta}}}

jossa ja oletetaan olevan (p + 1) -by-1 sarakevektoreita , on matriisi transpoosi on (niin on 1-by- (p + 1) rivi vektori ), ja osoittaa matriisikertolasku välillä 1-by - (p + 1) rivivektori ja (p + 1) -by-1-pylväsvektori, jolloin saadaan yksi kerrallaan matriisi, joka otetaan skalaariksi . ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}}}$ ${\ displaystyle {\ boldsymbol {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i}}$

Lineaarinen regressio

Esimerkki lineaarisen ennustefunktion käytöstä on lineaarinen regressio , jossa kukin datapiste liittyy jatkuvaan tulokseen y _i ja kirjoitettu suhde

{\ displaystyle y_ {i} = f (i) + \ varepsilon _ {i} = {\ lihavoitu symboli {\ beta}} ^ {\ mathrm {T}} \ mathbf {x} _ {i} \ + \ varepsilon _ {i},}

missä on häiriötermi tai virhemuuttuja - tarkkailematon satunnaismuuttuja, joka lisää kohinaa riippuvan muuttujan ja ennustefunktion väliseen lineaariseen suhteeseen. ${\ displaystyle \ varepsilon _ {i}}$

Pinoaminen

Joissakin malleissa (erityisesti tavallinen lineaarinen regressio) kunkin datapisteen i = 1, ..., n yhtälöt pinotaan yhteen ja kirjoitetaan vektorimuodossa

{\ displaystyle \ mathbf {y} = \ mathbf {X} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \,}

missä

{\ displaystyle \ mathbf {y} = {\ begin {pmatrix} y_ {1} \\ y_ {2} \\\ vdots \\ y_ {n} \ end {pmatrix}}, \ quad \ mathbf {X} = {\ begin {pmatrix} \ mathbf {x} '_ {1} \\\ mathbf {x}' _ {2} \\\ vdots \\\ mathbf {x} '_ {n} \ end {pmatrix}} = {\ aloita {pmatrix} x_ {11} & \ cdots & x_ {1p} \\ x_ {21} & \ cdots & x_ {2p} \\\ vdots & \ ddots & \ vdots \\ x_ {n1} & \ cdots & x_ {np} \ end {pmatrix}}, \ quad {\ boldsymbol {\ beta}} = {\ begin {pmatrix} \ beta _ {1} \\\ vdots \\\ beta _ {p} \ end {pmatrix }}, \ quad {\ boldsymbol {\ varepsilon}} = {\ begin {pmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ vdots \\\ varepsilon _ {n} \ end {pmatrix }}.}

Matriisi X tunnetaan suunnittelumatriisina ja koodaa kaiken tunnetun informaation riippumattomista muuttujista . Muuttujat ovat satunnaismuuttujia , jotka tavallisessa lineaarisessa regressiossa jaetaan normaalin normaalijakauman mukaan ; ne ilmaisevat tuntemattomien tekijöiden vaikutuksen lopputulokseen. ${\ displaystyle \ varepsilon _ {i}}$

Tämä mahdollistaa optimaalisten kertoimien löytämisen pienimmän neliösumman menetelmällä yksinkertaisten matriisitoimintojen avulla. Erityisesti vähimmäisruutujen avulla arvioidut optimaaliset kertoimet voidaan kirjoittaa seuraavasti: ${\ displaystyle {\ lihavoitu symboli {\ hattu {\ beta}}}}$

{\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}} \ mathbf {y}.}

Matriisi tunnetaan Moore-Penrose pseudoinverssi on X . Käyttö matriisin käänteisen tässä kaavassa edellyttää, että X on täynnä sijoitus , toisin sanoen ei ole täydellinen multikollineaarisuus eri selittävät muuttujat (eli ei selittävänä muuttujana voidaan täydellisesti ennustaa muista). Tällaisissa tapauksissa yksittäisen arvon hajoamista voidaan käyttää pseudoinverssin laskemiseen. ${\ displaystyle (X ^ {\ mathrm {T}} X) ^ {- 1} X ^ {\ mathrm {T}}}$

Selittävät muuttujat

Vaikka ennustettavien tulosten (riippuvien muuttujien) oletetaan olevan satunnaisia muuttujia , itse selittävien muuttujien ei yleensä oleteta olevan satunnaisia. Sen sijaan niiden oletetaan olevan kiinteitä arvoja, ja mahdollisten satunnaismuuttujien (esim. Tulokset) oletetaan olevan ehdollisia niille. Tämän seurauksena data-analyytikko voi vapaasti muuttaa selittäviä muuttujia mielivaltaisilla tavoilla, mukaan lukien luoda useita kopioita annetusta selittävästä muuttujasta, joista kukin on muunnettu käyttämällä eri toimintoa. Muita yleisiä tekniikoita ovat uusien selittävien muuttujien luominen vuorovaikutusmuuttujien muodossa ottamalla kahden (tai joskus useamman) olemassa olevan selittävän muuttujan tuotteet.

Kun kiinteää epälineaaristen toimintojen joukkoa käytetään datapisteen arvon muuttamiseen, nämä funktiot tunnetaan perustoiminnoina . Esimerkki on polynomiregressio , joka käyttää lineaarista ennustintoimintoa mielivaltaisen asteen polynomisuhteen (tiettyyn järjestykseen saakka) sovittamiseksi kahden datapistejoukon (eli yhden reaaliarvoisen selittävän muuttujan ja siihen liittyvän reaaliarvoisen riippuvan muuttujan) välille. , lisäämällä useita selittäviä muuttujia, jotka vastaavat olemassa olevan selittävän muuttujan eri voimia. Matemaattisesti lomake näyttää tältä:

{\ displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {p} x_ {i} ^ {p}.}

Tässä tapauksessa jokaiselle datapisteelle i luodaan joukko selittäviä muuttujia seuraavasti:

{\ displaystyle (x_ {i1} = x_ {i}, \ quad x_ {i2} = x_ {i} ^ {2}, \ quad \ ldots, \ quad x_ {ip} = x_ {i} ^ {p} )}

ja sitten suoritetaan tavallinen lineaarinen regressio . Tämän esimerkin perustoiminnot olisivat

{\ displaystyle {\ lihavoitu symboli {\ phi}} (x) = (\ phi _ {1} (x), \ phi _ {2} (x), \ ldots, \ phi _ {p} (x)) = (x, x ^ {2}, \ ldots, x ^ {p}).}

Tämä esimerkki osoittaa, että lineaarinen ennustefunktio voi itse asiassa olla paljon tehokkaampi kuin se ensin näyttää: Sen on todellakin oltava lineaarinen kertoimissa . Mallin mukaan voidaan sovittaa kaikenlaisia selittävien muuttujien epälineaarisia toimintoja.

Ei ole erityistä tarvetta perustoimintojen tulojen olla yksimuuttuisia tai yksidimensionaalisia (tai niiden ulostuloja tältä osin, vaikka tällöin K- ulotteista lähtöarvoa todennäköisesti käsitellään K: n erillisenä skalaarilähtönä perustoiminnot). Esimerkki tästä ovat säteittäiset perustoiminnot (RBF), jotka laskevat jonkin muunnetun version etäisyydestä johonkin kiinteään pisteeseen:

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = \ phi (|| \ mathbf {x} - \ mathbf {c} ||) = \ phi ({\ sqrt {(x_ {1 } -c_ {1}) ^ {2} + \ ldots + (x_ {K} -c_ {K}) ^ {2}}})}}

Esimerkki on Gaussin RBF, jolla on sama toiminnallinen muoto kuin normaalijakaumalla :

{\ displaystyle \ phi (\ mathbf {x}; \ mathbf {c}) = e ^ {- b || \ mathbf {x} - \ mathbf {c} || ^ {2}}}

joka putoaa nopeasti, kun etäisyys c kasvaa.

Mahdollinen RBF: n käyttö on luoda jokaiselle havaitulle datapisteelle. Tämä tarkoittaa, että uuteen datapisteeseen käytetyn RBF: n tulos on lähellä nollaa, ellei uusi piste ole lähellä sitä pisteitä, jonka ympärillä RBF: ää sovellettiin. Toisin sanoen säteittäisten perustoimintojen soveltaminen valitsee lähimmän pisteen ja sen regressiokerroin hallitsee. Tuloksena on muoto lähimmän naapurin interpoloinnista , jossa ennusteet tehdään yksinkertaisesti käyttämällä lähimmän havaitun datapisteen ennustusta, mahdollisesti interpoloimalla useiden lähellä olevien datapisteiden välillä, kun ne ovat kaikki samanlaisia etäisyyksiä. Tämän tyyppistä lähimmän naapurin menetelmää ennustamiseksi pidetään usein täysin vastakkaisena tavanomaisessa lineaarisessa regressiossa käytetyn ennusteen kanssa: Mutta itse asiassa transformaatiot, joita voidaan soveltaa selittäviin muuttujiin lineaarisessa ennustintoiminnossa, ovat niin voimakkaita, että jopa lähimmät naapurimenetelmä voidaan toteuttaa lineaarisen regressiotyyppinä.

Joitakin toimintoja, jotka vaikuttavat epälineaarisilta kertoimissa, voidaan jopa sovittaa muuntamalla kertoimet uusiksi kertoimiksi, jotka vaikuttavat lineaarisilta. Esimerkiksi kertoimien muodon funktio voitaisiin muuntaa sopivaksi lineaariseksi funktioksi soveltamalla lineaarisia johtavia substituutioita . Lineaarista regressiota ja vastaavia tekniikoita voitaisiin soveltaa, ja ne usein löytävät edelleen optimaaliset kertoimet, mutta niiden virheennusteet ja vastaavat ovat väärät. ${\ displaystyle a + b ^ {2} x_ {i1} + {\ sqrt {c}} x_ {i2}}$ ${\ displaystyle a, b, c}$ ${\ displaystyle b '= b ^ {2}, c' = {\ sqrt {c}},}$ ${\ displaystyle a + b'x_ {i1} + c'x_ {i2},}$

Selittävät muuttujat voivat olla minkä tahansa tyyppisiä : reaaliarvotut , binääriset , kategoriset jne. Tärkein ero on jatkuvien muuttujien (esim. Tulot, ikä, verenpaine jne.) Ja erillisten muuttujien (esim. Sukupuoli, rotu, poliittinen puolue, jne.). Erillisen muuttujan viitaten enemmän kuin kaksi mahdollista vaihtoehtoa koodataan tyypillisesti käyttäen osoitinmuuttujia (tai indikaattorimuuttujien ), eli erillinen selittävät muuttujat ottamalla arvo 0 tai 1 luodaan jokaista mahdollista arvoa diskreetti muuttuja, jossa on 1, joka tarkoittaa "muuttuja ei ole annettu arvo "ja 0, joka tarkoittaa" muuttujaa ei ole annettua arvoa ". Esimerkiksi nelisuuntainen erillinen veriryhmämuuttuja mahdollisilla arvoilla "A, B, AB, O" muunnettaisiin erillisiksi kaksisuuntaisiksi nuken muuttujiksi "is-A, is-B, is-AB, on -O ", jossa vain yhdellä niistä on arvo 1 ja kaikilla muilla arvo 0. Tämä mahdollistaa erillisten regressiokertoimien sovittamisen erillisen muuttujan jokaiselle mahdolliselle arvolle.

Huomaa, että K- luokissa kaikki K- nuken muuttujat eivät ole toisistaan riippumattomia. Esimerkiksi yllä olevassa veriryhmäesimerkissä vain kolme neljästä nuken muuttujasta on riippumattomia siinä mielessä, että kun kolmen muuttujan arvot tiedetään, neljäs määritetään automaattisesti. Siksi on todellakin välttämätöntä koodata vain kolme neljästä mahdollisuudesta nukkeina muuttujina, ja itse asiassa, jos kaikki neljä mahdollisuutta koodataan, koko mallista tulee tunnistamaton . Tämä aiheuttaa ongelmia useille menetelmille, kuten yksinkertaiselle suljetussa muodossa olevalle ratkaisulle, jota käytetään lineaarisessa regressiossa. Ratkaisu on joko välttää tällaiset tapaukset eliminoimalla yksi nuken muuttujista ja / tai ottaa käyttöön laillistamisrajoitus (mikä edellyttää tehokkaampaa, tyypillisesti iteratiivista menetelmää optimaalisten kertoimien löytämiseksi).

Languages

In other projects