Funkcja predyktora liniowego - Linear predictor function

W statystykach i uczenia maszynowego , o liniową funkcją prognostykiem jest funkcja liniowa ( kombinacja liniowa ) z zestawem współczynników i zmiennych objaśniających ( zmiennych niezależnych ), którego wartość jest używana do przewidywania wyniku w zmiennej zależnej . Ten rodzaj funkcji zwykle występuje w regresji liniowej , gdzie współczynniki nazywane są współczynnikami regresji . Występują jednak również w różnych typach klasyfikatorów liniowych (np. regresja logistyczna , perceptrony , maszyny wektorów nośnych i liniowa analiza dyskryminacyjna ), a także w różnych innych modelach, takich jak analiza głównych składowych i analiza czynnikowa . W wielu z tych modeli współczynniki są określane jako „wagi”.

Definicja

Podstawowa forma funkcji predyktora liniowego dla punktu danych i (składającego się z p VOs.2.1 zmiennych ), dla i = 1, ..., n , jest ${\ Displaystyle f (i)}$

{\ Displaystyle f (i) = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {IP}}

gdzie , dla k = 1, ..., p , jest wartością k -tej zmiennej objaśniającej dla punktu danych i i są współczynnikami (współczynnikami regresji, wagami itp.) wskazującymi względny wpływ określonej zmiennej objaśniającej na wynik . $x_{ik}$ ${\ Displaystyle \ beta _ {0} \ ldots \ beta _ {p}}$

Notacje

Często zapisuje się funkcję predykcyjną w bardziej zwięzłej formie w następujący sposób:

Współczynniki β ₀ , β ₁ , ..., β _p są zgrupowane w pojedynczy wektor β o rozmiarze p + 1.
Dla każdego punktu danych i dodawana jest dodatkowa objaśniająca pseudozmienna x _{i 0} o stałej wartości 1, odpowiadająca współczynnikowi przecięcia β ₀ .
Otrzymane zmienne objaśniające x _i0 (=1), x _{i 1} , ..., x _ip są następnie grupowane w pojedynczy wektor x _i o rozmiarze p + 1.

Notacja wektorowa

Umożliwia to zapisanie funkcji predyktora liniowego w następujący sposób:

{\ Displaystyle f (i) = {\ pogrubienie {\ beta}} \ cdot \ mathbf {x} _ {i}}

używając notacji dla iloczynu skalarnego między dwoma wektorami.

Notacja macierzowa

Równoważna forma wykorzystująca notację macierzową jest następująca:

{\ Displaystyle f (i) = {\ pogrubiony symbol {\ beta}} ^ {\ operatorname {T}} \ mathbf {x} _ {i} = \ mathbf {x} _ {i} ^ {\ operatorname {T} }{\symbol pogrubienia {\beta }}}

gdzie i przyjmuje się (p + 1) -by-1 wektorów kolumny , jest transpozycją matrycy z (to jest 1-kroku (p + 1) wierszowy wektor ) i oznacza mnożenie macierzy między 1 po - (p+1) wektor wierszowy i (p+1) wektor kolumnowy -na 1, tworząc macierz 1 na 1, która jest uważana za skalar . ${\boldsymbol {\beta}}$ ${\ Displaystyle \ mathbf {x} _ {i}}$ ${\boldsymbol {\beta}}^{\mathrm {T}}$ ${\boldsymbol {\beta}}$ ${\boldsymbol {\beta}}^{\mathrm {T}}$ ${\ Displaystyle {\ boldsymbol {\ beta}} ^ {\ operatorname {T}} \ mathbf {x} _ {i}}$

Regresja liniowa

Przykładem użycia funkcji predyktora liniowego jest regresja liniowa , gdzie każdy punkt danych jest powiązany z wynikiem ciągłym y _i , a zależność zapisana

{\ Displaystyle y_ {i} = f (i) + \ varepsilon _ {i} = {\ boldsymbol {\ beta}} ^ {\ operatorname {T}} \ mathbf {x} _ {i} \ + \ varepsilon _ {ja},}

gdzie jest członem zakłócającym lub zmienną błędu — nieobserwowaną zmienną losową, która dodaje szum do liniowej relacji między zmienną zależną a funkcją predykcyjną. ${\ Displaystyle \ varepsilon _ {i}}$

Układanie

W niektórych modelach (w szczególności standardowej regresji liniowej) równania dla każdego z punktów danych i = 1, ..., n są zestawiane razem i zapisywane w postaci wektorowej jako

\mathbf {y} =\mathbf {X} {\boldsymbol {\beta}}+{\boldsymbol {\varepsilon}},\,

gdzie

{\ Displaystyle \ mathbf {y} = {\ zacząć {pmatrix} y_ {1} \ \ y_ {2} \ \ \ vdots \ \ y_ {n} \ koniec {pmatrix}}, \ quad \ mathbf {X} = {\begin{pmatrix}\mathbf {x} '_{1}\\\mathbf {x} '_{2}\\\vdots \\\mathbf {x} '_{n}\end{pmatrix}} ={\begin{pmatrix}x_{11}&\cdots &x_{1p}\\x_{21}&\cdots &x_{2p}\\\vdots &\ddots &\vdots \\x_{n1}&\cdots &x_{np}\end{pmatrix}},\quad {\boldsymbol {\beta }}={\begin{pmatrix}\beta _{1}\\\vdots \\\beta _{p}\end{pmatrix }},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix }}.}

Macierz X jest znana jako macierz projektu i koduje wszystkie znane informacje o zmiennych niezależnych . Zmienne są zmiennymi losowymi , które w standardowej regresji liniowej mają rozkład według standardowego rozkładu normalnego ; wyrażają wpływ wszelkich nieznanych czynników na wynik. ${\ Displaystyle \ varepsilon _ {i}}$

Umożliwia to znalezienie optymalnych współczynników metodą najmniejszych kwadratów przy użyciu prostych operacji macierzowych. W szczególności optymalne współczynniki oszacowane metodą najmniejszych kwadratów można zapisać w następujący sposób: ${\boldsymbol {\kapelusz {\beta}}}$

{\ Displaystyle {\ boldsymbol {\ kapelusz {\ beta}}} = (X ^ {\ operatorname {T}} X) ^ {-1} X ^ {\ operatorname {T}} \ mathbf {y}.}

Matryca jest znany jako pseudoinverse Moore-Penrose'a z X . Użycie macierzy odwrotnej w tym wzorze wymaga, aby X był pełnego rzędu , tj. nie ma doskonałej współliniowości między różnymi zmiennymi objaśniającymi (tzn. nie można idealnie przewidzieć żadnej zmiennej objaśniającej na podstawie pozostałych). W takich przypadkach do obliczenia pseudoodwrotności można użyć dekompozycji na wartości osobliwe . ${\ Displaystyle (X ^ {\ operatorname {T}} X) ^ {-1} X ^ {\ operatorname {T}}}$

Zmienne objaśniające

Chociaż zakłada się, że przewidywane wyniki (zmienne zależne) są zmiennymi losowymi , same zmienne objaśniające zwykle nie są zakładane jako losowe. Zamiast tego zakłada się, że są one wartościami stałymi, a wszelkie zmienne losowe (np. wyniki) są od nich uzależnione . W rezultacie analityk danych może dowolnie przekształcać zmienne objaśniające, w tym tworzyć wiele kopii danej zmiennej objaśniającej, z których każda jest przekształcana przy użyciu innej funkcji. Innymi powszechnymi technikami są tworzenie nowych zmiennych objaśniających w postaci zmiennych interakcji poprzez pobranie iloczynów dwóch (lub czasem więcej) istniejących zmiennych objaśniających.

Gdy do przekształcenia wartości punktu danych używany jest ustalony zestaw funkcji nieliniowych, funkcje te są nazywane funkcjami bazowymi . Przykładem jest regresja wielomianowa , która wykorzystuje funkcję predykcyjną liniową w celu dopasowania relacji wielomianowej dowolnego stopnia (do określonego rzędu) między dwoma zestawami punktów danych (tj. pojedynczą zmienną objaśniającą o wartościach rzeczywistych i powiązaną zmienną zależną o wartości rzeczywistej) , dodając wiele zmiennych objaśniających odpowiadających różnym mocom istniejącej zmiennej objaśniającej. Matematycznie formularz wygląda tak:

{\ Displaystyle y_ {i} = \ beta _ {0}+ \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {p} x_{i}^{p}.}

W takim przypadku dla każdego punktu danych i tworzony jest zestaw zmiennych objaśniających w następujący sposób:

{\ Displaystyle (x_ {i1} = x_ {i}, \ quad x_ {i2} = x_ {i} ^ {2}, \ quad \ ldots, \ quad x_ {ip} = x_ {i} ^ {p} )}

a następnie uruchamiana jest standardowa regresja liniowa . Podstawowymi funkcjami w tym przykładzie byłyby

{\boldsymbol {\phi}}(x)=(\phi_{1}(x),\phi _{2}(x),\ldots,\phi_{p}(x))= (x,x^{2},\ldots ,x^{p}).

Ten przykład pokazuje, że funkcja predyktora liniowego może być w rzeczywistości znacznie potężniejsza niż się wydaje na pierwszy rzut oka: tak naprawdę musi być liniowa tylko we współczynnikach . W modelu można dopasować wszystkie rodzaje nieliniowych funkcji zmiennych objaśniających.

Nie ma szczególnej potrzeby, aby dane wejściowe funkcji bazowych były jednowymiarowe lub jednowymiarowe (lub ich dane wyjściowe, chociaż w takim przypadku K- wymiarowa wartość wyjściowa może być traktowana jako K oddzielne dane wyjściowe podstawowe funkcje). Przykładem tego są radialne funkcje bazowe (RBF), które obliczają przekształconą wersję odległości do pewnego punktu stałego:

{\ Displaystyle \ phi ( \ mathbf {x} ; \ mathbf {c} ) = \ phi (| | \ mathbf {x} - \ mathbf {c} | | |) = \ phi ( {\ sqrt {(x_ {1) }-c_{1})^{2}+\ldots +(x_{K}-c_{K})^{2}}})}

Przykładem jest Gaussian RBF, który ma taką samą formę funkcjonalną jak rozkład normalny :

{\ Displaystyle \ phi ( \ mathbf {x} ; \ mathbf {c} ) = e ^ {-b | | \ mathbf {x} - \ mathbf {c} | | ^ {2}}}

który szybko spada wraz ze wzrostem odległości od c .

Możliwym zastosowaniem RBF jest utworzenie jednego dla każdego obserwowanego punktu danych. Oznacza to, że wynik RBF zastosowanego do nowego punktu danych będzie bliski 0, chyba że nowy punkt jest blisko punktu, wokół którego zastosowano RBF. Oznacza to, że zastosowanie radialnych funkcji bazowych wskaże najbliższy punkt, a jego współczynnik regresji będzie dominował. Rezultatem będzie interpolacja najbliższego sąsiada , w której prognozy są dokonywane po prostu przy użyciu przewidywania najbliższego obserwowanego punktu danych, prawdopodobnie interpolując między wieloma pobliskimi punktami danych, gdy wszystkie znajdują się w podobnej odległości. Ten rodzaj metody najbliższego sąsiada do przewidywania jest często uważany za diametralnie przeciwny do rodzaju przewidywania stosowanego w standardowej regresji liniowej: w rzeczywistości jednak przekształcenia, które można zastosować do zmiennych objaśniających w funkcji predyktora liniowego, są tak silne, że nawet najbliższa Metoda sąsiada może być zaimplementowana jako rodzaj regresji liniowej.

Możliwe jest nawet dopasowanie niektórych funkcji do współczynników, które wydają się nieliniowe, poprzez przekształcenie współczynników na nowe współczynniki, które wydają się liniowe. Na przykład funkcję postaci współczynników można przekształcić w odpowiednią funkcję liniową, stosując podstawienia, które prowadzą do tego, że jest liniowa. Można zastosować regresję liniową i podobne techniki i często nadal znajdują one optymalne współczynniki, ale ich oszacowania błędów i tym podobne będą błędne. ${\ Displaystyle a + b ^ {2} x_ {i1} + {\ sqrt {c}} x_ {i2}}$ $a,b,c$ $b'=b^{2},c'={\sqrt {c}}$ ${\ Displaystyle a + b'x_ {i1} + c'x_ {i2},}$

Zmienne objaśniające mogą być dowolnego typu : wartości rzeczywiste , binarne , kategoryczne itp. Główne rozróżnienie dotyczy zmiennych ciągłych (np. dochód, wiek, ciśnienie krwi itp.) oraz zmiennych dyskretnych (np. płeć, rasa, partia polityczna, itp.). Zmienne dyskretne odnoszące się do więcej niż dwóch możliwych wyborów są zazwyczaj kodowane przy użyciu zmiennych fikcyjnych (lub zmiennych wskaźnikowych ), tj. dla każdej możliwej wartości zmiennej dyskretnej tworzone są oddzielne zmienne objaśniające przyjmujące wartość 0 lub 1, przy czym 1 oznacza „zmienna ma podana wartość” i 0 oznaczające „zmienna nie ma podanej wartości”. Na przykład czteroczynnikowa zmienna dyskretna typu krwi z możliwymi wartościami „A, B, AB, O” zostałaby przekonwertowana na oddzielne dwukierunkowe zmienne fikcyjne „is-A, is-B, is-AB, is -O", gdzie tylko jeden z nich ma wartość 1, a wszystkie pozostałe mają wartość 0. Pozwala to na dopasowanie oddzielnych współczynników regresji dla każdej możliwej wartości zmiennej dyskretnej.

Zwróć uwagę, że w przypadku kategorii K nie wszystkie zmienne fikcyjne K są od siebie niezależne. Na przykład, w powyższym przykładzie grupy krwi, tylko trzy z czterech fikcyjnych zmiennych są niezależne, w tym sensie, że po poznaniu wartości trzech zmiennych automatycznie określana jest czwarta. Tak więc, jest to naprawdę konieczne tylko do kodowania trzy z czterech możliwości jak zmiennych binarnych, w rzeczywistości, jeśli wszystkie cztery możliwości są kodowane, ogólny wzór staje się nie- rozpoznawalne . Powoduje to problemy dla wielu metod, takich jak proste rozwiązanie formy zamkniętej stosowane w regresji liniowej. Rozwiązaniem jest albo uniknięcie takich przypadków przez wyeliminowanie jednej ze zmiennych fikcyjnych i/lub wprowadzenie ograniczenia regularyzacji (co wymaga silniejszej, zazwyczaj iteracyjnej metody znajdowania optymalnych współczynników).

Languages

In other projects